Сканирование сайта

Сканирование сайта — это автоматический обход веб-сайта, при котором программа, называемая краулером или пауком, начинает с одной или нескольких страниц и переходит по ссылкам, чтобы обнаружить остальные, составляя список найденных страниц с такими данными, как коды ответа, заголовки и ссылки. На нём основаны поисковые системы, SEO-аудиты и исследования цен.

Как краулер перемещается по сайту

Сканирование начинается с исходных адресов, обычно главной страницы или карты сайта. Краулер запрашивает страницу, записывает ответ, собирает все ссылки на ней и добавляет новые адреса в очередь. Затем он берёт из очереди следующий адрес и повторяет процесс, пропуская уже просмотренные страницы. Процесс продолжается, пока очередь не опустеет или не будет достигнут лимит.

  • Исходные адреса: начальные точки, часто дополняемые XML-картой сайта.
  • Очередь: список найденных адресов, которые ещё ждут посещения.
  • Правила охвата: в какие домены, папки или типы страниц может заходить сканирование.
  • Лимиты: максимальная глубина, число страниц и частота запросов.

Порядок очереди определяет результат. Сканирование в ширину посещает все страницы в одном клике от начала, прежде чем углубляться, и быстро составляет карту основных разделов. Сканирование в глубину проходит одну ветку до конца, прежде чем вернуться. Для магазинов обычно предпочтительнее обход в ширину, потому что страницы категорий и списков вверху структуры эффективно ведут к товарам.

Сканирование в сравнении со скрейпингом

Сканирование отвечает за обнаружение и структуру, скрейпинг — за извлечение конкретных значений. Краулер отвечает на вопрос, какие страницы существуют и как они связаны. Скрейпер отвечает на вопрос, что написано на конкретной странице, например какова цена. В проекте по ценам конкурентов сканирование находит товарные страницы в категории соперника, а скрейпер затем считывает цену с каждой найденной страницы.

Эти два шага также выполняются по разным графикам. Списки товаров меняются медленно по сравнению с ценами, поэтому команда может сканировать категории конкурента раз в неделю, чтобы обновить список страниц, а цены с уже известных страниц считывать ежедневно. Разделение задач делает частую задачу лёгкой и избавляет от повторного обнаружения одних и тех же страниц снова и снова.

Применение в SEO и проверке состояния сайта

Владельцы сайтов сканируют собственные магазины, чтобы увидеть их так, как видит поисковая система. Сканирование выявляет битые ссылки, цепочки редиректов, дублирующиеся заголовки, отсутствующие описания, страницы-сироты, на которые не ведёт ни одна внутренняя ссылка, и страницы, по ошибке закрытые от индексации.

В интернет-магазине результаты сканирования часто показывают товарные страницы, до которых трудно добраться. Если товар находится в пяти-шести кликах от главной или появляется только через фильтр, поисковые системы могут посещать его редко. Исправление внутренних ссылок может вернуть такие страницы в поле зрения.

Сканирование полезно и для проверки после переезда на другую платформу или крупного импорта каталога. Сравнение списков страниц до и после показывает, какие старые адреса теперь возвращают ошибки и нуждаются в редиректах, — это защищает и видимость в поиске, и покупателей, приходящих по сохранённым ссылкам или с сайтов сравнения цен.

Применение в анализе цен и ассортимента

Сканирование публичных страниц категорий конкурента показывает, что он продаёт, а не только сколько берёт. Сравнение найденных товаров с собственным каталогом может выявить пробелы — позиции, которые есть у него, но нет у вас. В BlackAha поиск пробелов в ассортименте — инструмент, построенный именно вокруг такого сравнения.

Обнаружение также поддерживает актуальность сравнения цен. Конкуренты добавляют новые товары, убирают старые и меняют адреса страниц. Периодическое сканирование нужных разделов обновляет список отслеживаемых страниц, чтобы проверки цен не продолжали считывать удалённые страницы и не пропускали новые.

Сканирование: пример оценки объёма

Допустим, для примера, магазин товаров для сада хочет составить карту раздела садовой мебели у конкурента. В разделе 12 страниц списков по 40 товаров на каждой, то есть около 480 товарных страниц плюс сами страницы списков. При щадящей частоте один запрос каждые две секунды полный проход занимает примерно 16 минут. Сканирование всего магазина, скажем 30,000 страниц, с той же частотой заняло бы более 16 часов — вот почему важны правила охвата.

Узкий охват экономит время обеим сторонам. Сканирование, ограниченное разделами, в которых вы действительно конкурируете, даёт более быстрый и чистый результат и меньше нагружает читаемый сайт.

Ответственное сканирование

  • Соблюдайте файл правил для роботов и условия использования сайта.
  • Держите частоту запросов низкой и по возможности избегайте часов пиковой нагрузки.
  • Не заходите в разделы, требующие входа, корзины и страницы аккаунтов.
  • Честно идентифицируйте краулер, а не выдавайте его за пользователя браузера.
  • Остановитесь или снизьте скорость, если сайт начинает возвращать ошибки.

Правила автоматизированного доступа различаются по странам и зависят от того, как используются собранные данные. При сканировании чужих сайтов разумно получить юридическую консультацию по вашим конкретным планам.

Частые проблемы сканирования

  • Бесконечные пространства, например календари или комбинации фильтров, порождающие бесконечное число новых адресов
  • Дубли страниц, доступные через параметры отслеживания или варианты сортировки
  • Контент, появляющийся только после выполнения скриптов, который пропускают простые краулеры
  • Страницы, которые выглядят по-разному в зависимости от региона, языка или валюты
  • Сканирование идёт так долго, что первые страницы устаревают к тому моменту, когда завершаются последние

Нормализация адресов, удаление ненужных параметров и жёсткий лимит страниц решают большинство этих проблем. Для работы с ценами также полезно записывать дату сканирования для каждой найденной страницы, чтобы устаревшие записи перепроверялись в первую очередь.

Наконец, проверьте результат на пробелы. Если раздел, где должны быть сотни товаров, выдаёт лишь несколько, краулер, вероятно, пропустил схему пагинации или список, загружаемый скриптом, и правила охвата нужно скорректировать до использования данных.

Главное

  • Сканирование сайта автоматически переходит по ссылкам, чтобы обнаружить страницы веб-сайта.
  • Сканирование находит страницы, а скрейпинг считывает с них конкретные значения, например цены.
  • Владельцы магазинов сканируют свои сайты, чтобы находить битые ссылки и труднодоступные товары.
  • Сканирование разделов конкурентов выявляет пробелы в ассортименте и поддерживает актуальность сравнения цен.
  • Узкий охват, низкая частота запросов и соблюдение правил сайта делают сканирование быстрее и корректнее.

Частые вопросы

Чем сканирование сайта отличается от индексирования?

Сканирование — это этап обнаружения, на котором страницы посещаются, а ссылки отслеживаются. Индексирование — более поздний этап, на котором поисковая система сохраняет и упорядочивает содержимое страниц, чтобы оно могло появляться в выдаче. Страница может быть просканирована, но так и не попасть в индекс.

Как часто сканировать собственный магазин?

Многие магазины проводят полное сканирование раз в месяц и облегчённую проверку после крупных изменений, например обновления темы или импорта каталога. Крупные магазины, которые меняются ежедневно, могут сканировать ключевые разделы чаще.

Заменяет ли карта сайта сканирование?

Нет, но помогает. Карта сайта перечисляет страницы, которые владелец хочет сделать доступными для поиска, и ускоряет их обнаружение. Сканирование же показывает, как страницы связаны между собой, и находит страницы, отсутствующие в карте сайта.

Связанные термины

В BlackAha Store Platform Integration помогает подключить ваш магазин, чтобы автоматически синхронизировать цены товаров.

Назад к словарю ценообразования