Веб-скрейпинг

Веб-скрейпинг — это автоматическое извлечение конкретных данных с веб-страниц в структурированный формат, например таблицу или базу данных. Программа загружает страницу, находит такие элементы, как название товара, цена и наличие, и сохраняет их. В ценообразовании он собирает публичные цены конкурентов в масштабе, недоступном ручным проверкам.

От страницы к таблице

Веб-страница создана для чтения людьми: вокруг фактов — вёрстка, изображения и навигация. Скрейпинг всё это отбрасывает. Программа запрашивает страницу, читает её разметку, находит заданные поля и записывает их в виде чистых значений: название, число, валюта, дата и время.

  1. Получение: запрос страницы, иногда с выполнением скриптов, чтобы появились и цены, загружаемые позже.
  2. Разбор: чтение структуры страницы и поиск полей по их положению, подписям или встроенным данным о товаре.
  3. Извлечение: получение значений и их преобразование, например превращение цены со знаком валюты в число.
  4. Сохранение: запись каждого значения вместе с исходной страницей и временем сбора.

Скрейпинг, краулинг и API

Скрейпинг часто путают с краулингом. Краулер обнаруживает страницы, переходя по ссылкам на сайте, а скрейпер извлекает данные со страниц, которые уже известны. Во многих проектах используют оба подхода: краулинг — чтобы найти товарные страницы, скрейпинг — чтобы их прочитать.

API — совсем другой путь. Когда сайт или платформа предлагает официальный интерфейс к своим данным, он обычно стабильнее и явно разрешён. Скрейпинг, как правило, используют там, где подходящего API для нужных данных нет.

Многие товарные страницы также содержат в разметке структурированные данные о товаре, предназначенные для поисковых систем. Обычно там в едином формате указаны название, бренд, цена, валюта и наличие. Если такие данные есть и они точны, их проще и надёжнее читать, чем видимую вёрстку, хотя они могут отставать от фактически показанной цены.

Почему на него полагаются ценовые команды

Цены конкурентов меняются часто, и каталог из нескольких тысяч товаров в нескольких магазинах-соперниках быстро становится слишком большим для ручной проверки. Автоматический сбор делает регулярное сравнение возможным, а оно, в свою очередь, лежит в основе индексов цен, оповещений и решений о переоценке.

Например, допустим, магазин велозапчастей отслеживает 600 товаров у пяти конкурентов и хочет получать цены дважды в день. Это 6,000 считываний страниц ежедневно. Вручную, даже при 20 секундах на проверку, это заняло бы более 33 часов в день. Автоматизация превращает это в фоновую задачу, а такие сервисы, как отслеживание цен , предоставляют этот сбор продавцам в готовом виде.

Правила ответственного скрейпинга

  • Читайте и соблюдайте условия использования сайта, которые могут ограничивать автоматический доступ.
  • Проверяйте файл правил для роботов, где владельцы сайтов указывают, каких путей автоматическим агентам следует избегать.
  • Ограничивайте частоту запросов и распределяйте их во времени, чтобы сайт не замедлялся для реальных посетителей.
  • Честно идентифицируйте своего агента, а не маскируйте автоматический трафик.
  • Собирайте только нужные вам публичные данные и избегайте страниц, требующих входа.
  • Избегайте персональных данных, если у вас нет чёткого законного основания, поскольку на них распространяются правила о конфиденциальности.

Эти привычки — проявление вежливости, а заодно они снижают технические и правовые риски.

Законность разная

Законность скрейпинга зависит от страны, типа данных, способа доступа и того, что с ними делают потом. Вопросы могут возникать в связи с договорными условиями, законами о неправомерном использовании компьютеров, правами на базы данных, авторским правом и правилами защиты данных. К публичным ценам часто относятся иначе, чем к персональным данным или защищённому авторским правом контенту, но единого глобального ответа нет. Всем, кто планирует проект по скрейпингу, стоит проконсультироваться с юристом, знакомым с соответствующими рынками.

Подводные камни качества данных

  • Изменения вёрстки, которые незаметно ломают извлечение, и поле возвращает пустые или неверные значения
  • Цены, различающиеся по региону, валюте, статусу входа или выбранному варианту
  • Цены со скидкой, собранные без исходной цены, или наоборот
  • Цены наборов или мультиупаковок, сравниваемые с ценами отдельных единиц
  • Страницы товаров, которых нет в наличии, но на которых всё равно показана цена

Хорошие скрейперы проверяют собранное. Цена, внезапно упавшая на 90 процентов, скорее ошибка извлечения, чем реальное изменение, и её нужно пометить, прежде чем кто-то начнёт действовать. Отметка времени и источник у каждого значения делают такие проверки возможными.

Сопоставление — вторая половина качества. Скрейпер может идеально считать цену и всё равно ввести в заблуждение, если страница относится к немного другому товару, например более новой модели, другому размеру или восстановленному экземпляру. Сравнение идентификаторов, таких как номера моделей или штрихкоды, где они есть, и ручная проверка сомнительных совпадений сохраняют корректность сравнений.

Разумный старт

Начните с чёткого списка товаров и конкурентов, точно определите, какие поля важны, и договоритесь, как часто их нужно обновлять. Многим товарам не нужны ежечасные проверки. Небольшой, хорошо проверенный набор данных полезнее огромного и зашумлённого, и он гораздо меньше нагружает чужие сайты.

Планируйте обслуживание с первого дня. Сайты меняют вёрстку, добавляют новые защиты и переносят товарные страницы, поэтому правила извлечения нужно регулярно проверять. Простой показатель исправности — доля страниц, ежедневно возвращающих корректную цену: резкое падение для одного сайта обычно означает, что его вёрстка изменилась и правила нужно обновить.

Главное

  • Веб-скрейпинг автоматически извлекает конкретные данные с веб-страниц в структурированные записи.
  • Он позволяет ценовым командам сравнивать цены конкурентов в масштабе, недостижимом для ручных проверок.
  • Соблюдайте условия использования, правила для роботов и лимиты частоты запросов и избегайте персональных данных.
  • Законность зависит от страны и способа использования, поэтому перед началом получите юридическую консультацию.
  • Проверяйте собранные значения и храните отметки времени, чтобы ошибки выявлялись до принятия решений.

Частые вопросы

Законен ли веб-скрейпинг?

Это зависит от юрисдикции, данных и того, как они собираются и используются. К публичным данным о ценах часто относятся иначе, чем к персональным данным или контенту, защищённому авторским правом. Соблюдайте условия сайтов и обращайтесь за юридической консультацией по вашему конкретному случаю.

Чем веб-скрейпинг отличается от веб-краулинга?

Краулинг обнаруживает страницы, переходя по ссылкам, а скрейпинг извлекает с них конкретные данные. Система мониторинга цен часто сначала сканирует сайт, чтобы найти товарные страницы, а затем считывает с каждой из них цену и наличие.

Как часто собирать цены конкурентов?

Так часто, как требует решение. В быстро меняющихся категориях может быть оправдано несколько проверок в день, а стабильные товары можно проверять ежедневно или еженедельно. Меньшая частота также снижает нагрузку на читаемые сайты.

Связанные термины

В BlackAha Store Platform Integration помогает подключить ваш магазин, чтобы автоматически синхронизировать цены товаров.

Назад к словарю ценообразования