Парсер сайтов на заказ: сбор цен, товаров и остатков
Соберём данные с сайтов поставщиков и конкурентов и выгрузим туда, где они нужны: в Excel, в интернет-магазин или в 1С. Разово или каждый день по расписанию.
- Цена запуска до 31 декабряот 3 900 ₽
- Срокиот 2 рабочих дней
- Оформлениедоговор, оплата по счёту
Парсер сайтов на заказ чаще всего просят, когда поставщик не даёт нормальный прайс и менеджер переносит цены с его сайта руками. Вторая частая причина: нужно следить за ценами конкурентов и реагировать раньше, чем покупатель уйдёт к ним. Бывает и разовая задача, например перенести каталог на несколько тысяч товаров в новый магазин. Программа делает за час то, на что у человека уходит неделя, и не путает запятые в ценах.
Прежде чем писать код, мы открываем сайт-источник в инструментах разработчика и смотрим, откуда он сам берёт данные. Часто страница каталога подгружает товары из внутреннего JSON-запроса, и забирать их оттуда в разы быстрее и надёжнее, чем разбирать HTML. Если у сайта есть открытый API или фид в формате YML для Яндекс Маркета, используем их. Браузер на Playwright подключаем только там, где без него никак: когда контент рисуется скриптами или сайт не отвечает на простые запросы.
Регулярный парсер отличается от разового тем, что должен месяцами работать без присмотра. Поэтому мы закладываем проверки: если вчера собрали 3 200 товаров, а сегодня 40, парсер не перезапишет ваши цены, а пришлёт уведомление в Telegram. Так же ловим смену вёрстки, пустые цены и подозрительные скачки, например падение цены в десять раз из-за опечатки на сайте-доноре. Без таких проверок парсер однажды тихо сломается, и вы узнаете об этом от покупателя.
Отдельно о законности. Собираем только открытые данные, которые видит любой посетитель без регистрации: цены, наличие, характеристики. Смотрим robots.txt и пользовательское соглашение сайта, а частоту запросов держим такой, чтобы не создавать заметной нагрузки на чужой сервер. Персональные данные (имена, телефоны, email людей) не собираем ни в каком виде. Тексты описаний и фотографии защищены авторским правом, их для своего сайта лучше переписать, а копирование чужой базы целиком может нарушить право её изготовителя по статье 1334 ГК РФ.
Состав работ
Что входит
Анализ источника
Изучаем структуру сайта, ищем API и внутренние запросы, оцениваем защиту от ботов. По итогам говорим, какие данные получится собрать и сколько времени займёт один проход.
Сбор нужных полей
Название, артикул, цена, старая цена, наличие, характеристики, категории, ссылки на фото. Состав полей согласуем заранее в виде образца таблицы.
Сопоставление товаров
Связываем товары донора с вашим каталогом по артикулу, штрихкоду или названию. Спорные совпадения выносим в отдельный список для ручной проверки.
Запуск по расписанию
Раз в день, раз в час или по кнопке. Время подбираем так, чтобы не нагружать сайт-источник в часы пик.
Сайты с защитой от ботов
Эмуляция браузера, прокси, паузы между запросами, повторные попытки при сбоях. Разделы, закрытые чужой авторизацией, не трогаем.
Выгрузка в ваши системы
Excel, CSV, Google Таблицы, YML, CommerceML для 1С или загрузка напрямую в магазин на Webasyst, WordPress с WooCommerce, Битрикс.
Контроль качества данных
Проверка количества записей, пустых полей и резких скачков цен. При аномалии парсер останавливает выгрузку и сообщает об этом.
Отчёт после запуска
Сколько товаров собрано, сколько изменилось, какие ошибки встретились. Отчёт приходит в Telegram или на почту.
Процесс
Как работаем
- 1
Задача и образец
Вы присылаете ссылки на сайты и пример таблицы, которую хотите получить. Если образца нет, составим его по вашему описанию.
- 2
Пробный сбор
За 1-2 дня собираем 50-100 товаров и показываем результат. На этом шаге видно, все ли поля доступны и нет ли сюрпризов с защитой.
- 3
Полный парсер
Дописываем обход всего каталога, сопоставление, выгрузку и проверки. Делаем несколько полных прогонов и вручную сверяем выборку с сайтом.
- 4
Запуск на сервере
Разворачиваем парсер, настраиваем расписание и уведомления. Для разовой выгрузки этот шаг пропускаем и просто передаём файл.
- 5
Передача
Отдаём код, инструкцию по запуску и описание, какие места править при смене вёрстки донора.
Пакеты
Стоимость и пакеты
Это цены запуска, они действуют до 31 декабря: мы новая студия и набираем первых клиентов. Цены указаны «от», точную сумму называем после того, как посмотрим проект, и фиксируем в договоре.
Разовая выгрузка
от 3 900 ₽
Нужно один раз собрать данные с одного сайта и получить таблицу.
- Один сайт-источник без сложной защиты
- До 10 полей на товар
- Выгрузка в Excel или CSV
- Ссылки на фото или скачанные изображения
- Ручная проверка выборки перед сдачей
Мониторинг
от 9 900 ₽
Нужно регулярно следить за ценами и остатками поставщиков или конкурентов.
- До 3 сайтов-источников
- Запуск по расписанию на сервере
- Сопоставление с вашим каталогом по артикулу
- Отчёт об изменениях цен и наличия
- Выгрузка в Google Таблицы или Excel
- Уведомления в Telegram при сбоях
Интеграция
от 27 900 ₽
Данные должны сами попадать в магазин или 1С, а источники защищены от ботов.
- Сайты с защитой от ботов: Playwright, прокси, паузы
- Загрузка товаров и цен в интернет-магазин по API
- Обмен с 1С через CommerceML или OData
- Правила наценки и округления цен
- Остановка выгрузки при аномалиях в данных
- История запусков и изменений
Результат
Что будет у вас на руках
- Таблица или фид с данными в согласованном формате
- Исходный код парсера с комментариями
- Настроенный запуск по расписанию на вашем или нашем сервере
- Инструкция: как запустить вручную и что делать при ошибке
- Список несопоставленных товаров для ручной проверки
Частые вопросы
Законно ли парсить сайты конкурентов?
Сбор общедоступной информации вроде цен и наличия сам по себе не запрещён. Риски появляются, когда собирают персональные данные, копируют чужие тексты и фото для публикации или нагружают сайт так, что он начинает тормозить. Мы работаем только с открытыми данными, держим разумную частоту запросов и отказываемся от задач, где нужно собирать контакты людей или входить под чужими аккаунтами. Это не юридическая консультация: если собираетесь публиковать собранное, покажите задачу юристу.
Что будет, если сайт-донор поменяет вёрстку?
Парсер перестанет находить часть данных, проверки это заметят и пришлют уведомление, а в вашу таблицу не попадут пустые цены. Исправление обычно занимает от получаса до нескольких часов. На абонентской поддержке чиним в течение рабочего дня, без поддержки оцениваем как разовую доработку.
Сколько стоит поддержка регулярного парсера?
От 1 500 ₽ в месяц за один источник. Сюда входят мелкие правки при смене вёрстки, контроль запусков и сервер, если парсер работает у нас. Крупные изменения, например новый сайт или новые поля, оцениваем отдельно.
Нужен ли мне свой сервер?
Для разовой выгрузки нет: мы запускаем парсер у себя и присылаем файл. Регулярному парсеру нужен сервер, подойдёт недорогой VPS. Если парсинг идёт через браузер Playwright, памяти нужно больше, от 2 ГБ. Можем разместить парсер у себя, тогда за хостинг отдельно платить не придётся.
Какие сайты спарсить не получится?
Чаще всего это данные за авторизацией в чужих личных кабинетах, сайты с капчей на каждой странице и мобильные приложения без веб-версии. Иногда собрать технически можно, но стоимость прокси и время работы делают задачу невыгодной. Это выясняется на пробном сборе, до основной оплаты.
Как быстро будет готов парсер сайта?
Разовая выгрузка с простого сайта занимает 1-2 рабочих дня. Регулярный парсер на несколько источников с отчётом делаем за 4-7 дней. Сложные проекты с защищёнными сайтами и загрузкой в 1С требуют от двух недель, потому что много времени уходит на сопоставление товаров.
Кому принадлежит код парсера?
Вам. Передаём исходники, инструкцию и все доступы. Код написан на Python, настройки источников вынесены отдельно, поэтому поменять адрес сайта или добавить поле сможет любой Python-разработчик.
Что ещё может пригодиться
Наполнение интернет-магазина
Заводим товары руками и скриптами: от сотни позиций из прайса до каталога на десятки тысяч артикулов с сайта поставщика.
Анализ конкурентов
Разбираем, за счёт чего сайты из топа Яндекса стоят выше вашего, и что из этого можно повторить за разумные деньги.
Интеграция с 1С
Настраиваем обмен между 1С, сайтом и CRM, чтобы остатки, цены, заказы и документы переходили между системами без ручного ввода.
Заявка
Парсер сайтов на заказ: обсудим задачу
Опишите, что нужно, и пришлите адрес сайта, если он есть. Посмотрим, предложим решение и назовём цену и срок. Консультация бесплатная.
- Ответим в течение рабочего дня
- Работаем по договору, оплата по счёту
- Сначала план и смета, потом работа
Или напишите: hello@sitekod.ru