Crawling witryny

Crawling witryny to automatyczne przejście przez stronę internetową, w którym program zwany crawlerem lub pająkiem zaczyna od jednej lub kilku stron i podąża za linkami, by odkryć resztę, zapisując znalezione strony wraz z danymi takimi jak kody statusu, tytuły i linki. Opierają się na nim wyszukiwarki, audyty SEO i badania cen.

Jak crawler porusza się po witrynie

Crawl zaczyna się od adresów startowych, zwykle strony głównej lub mapy witryny. Crawler pobiera stronę, zapisuje, co zwróciła, zbiera wszystkie linki i dodaje nowe adresy do kolejki. Potem bierze z kolejki następny adres i powtarza, pomijając strony, które już widział. Proces trwa, aż kolejka się opróżni albo zostanie osiągnięty limit.

  • Adresy startowe: punkty wyjścia, często uzupełnione mapą witryny XML.
  • Kolejka: lista odkrytych adresów, które wciąż czekają na odwiedzenie.
  • Reguły zakresu: do których domen, folderów lub typów stron crawl może wejść.
  • Limity: maksymalna głębokość, liczba stron i tempo zapytań.

Kolejność w kolejce kształtuje wynik. Crawl wszerz odwiedza każdą stronę oddaloną o jedno kliknięcie od startu, zanim zejdzie głębiej, co szybko mapuje główne sekcje. Crawl w głąb podąża jedną gałęzią do końca, zanim się cofnie. W sklepach zwykle wybiera się crawl wszerz, bo strony kategorii i list blisko góry sprawnie prowadzą do produktów.

Crawling a scraping

Crawling służy odkrywaniu i strukturze, a scraping wydobywaniu konkretnych wartości. Crawler odpowiada na pytanie, jakie strony istnieją i jak są połączone. Scraper odpowiada, co mówi dana strona, na przykład jaka jest cena. W projekcie dotyczącym cen konkurencji crawl znajduje strony produktów w kategorii rywala, a scraper odczytuje cenę z każdej znalezionej strony.

Oba kroki działają też według różnych harmonogramów. Listy produktów zmieniają się wolno w porównaniu z cenami, więc zespół może crawlować kategorie konkurenta raz w tygodniu, by odświeżyć listę stron, a ceny z tych znanych stron odczytywać codziennie. Rozdzielenie zadań odciąża to częste i pozwala uniknąć ciągłego odkrywania tych samych stron.

Zastosowania w SEO i kondycji witryny

Właściciele sklepów crawlują własne sklepy, by zobaczyć je tak, jak widzi je wyszukiwarka. Crawl ujawnia niedziałające linki, łańcuchy przekierowań, zduplikowane tytuły, brakujące opisy, osierocone strony, do których nie prowadzą żadne linki wewnętrzne, oraz strony przez pomyłkę zablokowane przed indeksowaniem.

W sklepie internetowym wyniki crawla często pokazują strony produktów, do których trudno dotrzeć. Jeśli produkt jest pięć czy sześć kliknięć od strony głównej albo pojawia się tylko przez filtr, wyszukiwarki mogą odwiedzać go rzadko. Poprawa linkowania wewnętrznego może przywrócić takie strony do widoku.

Crawl to też przydatna kontrola po migracji platformy lub dużym imporcie katalogu. Porównanie listy stron przed i po pokazuje, które stare adresy zwracają teraz błędy i wymagają przekierowań, co chroni zarówno widoczność w wyszukiwarce, jak i klientów trafiających z zapisanych linków lub porównywarek.

Zastosowania w badaniu cen i asortymentu

Crawling publicznych stron kategorii konkurenta pokazuje, co sprzedaje, a nie tylko, ile za to bierze. Porównanie odkrytych produktów z własnym katalogiem może ujawnić luki: pozycje, które on ma, a Ty nie. W BlackAha Product Gap Finder opiera się właśnie na takim porównaniu.

Odkrywanie utrzymuje też porównania cen w aktualności. Konkurenci dodają nowe produkty, wycofują stare i zmieniają adresy stron. Okresowy crawl odpowiednich sekcji aktualizuje listę stron do obserwowania, więc kontrole cen nie odczytują usuniętych stron ani nie pomijają nowych.

Jak oszacować crawl: przykład

Załóżmy na przykład, że sklep z artykułami ogrodowymi chce zmapować dział mebli ogrodowych konkurenta. Dział ma 12 stron list po 40 produktów, czyli około 480 stron produktów plus same strony list. Przy uprzejmym tempie jednego zapytania co dwie sekundy pełne przejście zajmuje około 16 minut. Crawl całego sklepu, może 30 000 stron, w tym samym tempie trwałby ponad 16 godzin, co pokazuje, dlaczego reguły zakresu są ważne.

Wąski zakres oszczędza czas po obu stronach. Crawl ograniczony do sekcji, w których faktycznie konkurujesz, daje szybszy, czystszy wynik i mniej obciąża odczytywaną witrynę.

Odpowiedzialny crawling

  • Szanuj plik z regułami robots i regulamin witryny.
  • Utrzymuj niskie tempo zapytań i w miarę możliwości unikaj godzin szczytu.
  • Trzymaj się z dala od stref po zalogowaniu, koszyków i stron kont.
  • Uczciwie przedstawiaj crawlera, zamiast udawać użytkownika przeglądarki.
  • Zatrzymaj się lub zwolnij, jeśli witryna zaczyna zwracać błędy.

Przepisy dotyczące zautomatyzowanego dostępu różnią się między krajami i zależą od tego, jak zebrane dane są wykorzystywane. Gdy crawlujesz witryny, które nie należą do Ciebie, warto zasięgnąć porady prawnej co do konkretnych planów.

Częste problemy z crawlem

  • Nieskończone przestrzenie, takie jak kalendarze czy kombinacje filtrów, które generują bez końca nowe adresy
  • Zduplikowane strony osiągane przez parametry śledzące lub opcje sortowania
  • Treści pojawiające się dopiero po uruchomieniu skryptów, których proste crawlery nie widzą
  • Strony, które wyglądają inaczej w zależności od regionu, języka lub waluty
  • Crawle trwające tak długo, że pierwsze strony są nieaktualne, zanim skończą się ostatnie

Normalizacja adresów, usuwanie zbędnych parametrów i ustawienie twardego limitu stron rozwiązuje większość z nich. W pracy z cenami pomaga też zapisywanie daty crawla przy każdej odkrytej stronie, by nieaktualne wpisy sprawdzać ponownie w pierwszej kolejności.

Na koniec sprawdź wynik pod kątem luk. Jeśli sekcja, która powinna mieć setki produktów, zwraca tylko kilka, crawler prawdopodobnie przeoczył schemat paginacji lub listę ładowaną skryptem, a reguły zakresu trzeba poprawić, zanim dane zostaną użyte.

Kluczowe wnioski

  • Crawling witryny automatycznie podąża za linkami, by odkryć strony serwisu.
  • Crawling znajduje strony; scraping odczytuje z nich konkretne wartości, takie jak ceny.
  • Właściciele sklepów crawlują własne witryny, by znaleźć niedziałające linki i trudno dostępne produkty.
  • Crawling sekcji konkurencji ujawnia luki w asortymencie i utrzymuje porównania cen w aktualności.
  • Wąski zakres, niskie tempo zapytań i szacunek dla reguł witryny sprawiają, że crawle są szybsze i uczciwsze.

Najczęściej zadawane pytania

Czym crawling witryny różni się od indeksowania?

Crawling to etap odkrywania, w którym strony są odwiedzane, a linki śledzone. Indeksowanie to późniejszy etap, w którym wyszukiwarka zapisuje i porządkuje treść strony, aby mogła pojawić się w wynikach. Strona może zostać przecrawlowana, a mimo to nie trafić do indeksu.

Jak często crawlować własny sklep?

Wiele sklepów przeprowadza pełny crawl raz w miesiącu i lżejszą kontrolę po większych zmianach, takich jak aktualizacja motywu czy import katalogu. Duże sklepy, które zmieniają się codziennie, mogą częściej crawlować kluczowe sekcje.

Czy mapa witryny zastępuje crawling?

Nie, ale pomaga. Mapa witryny wymienia strony, które właściciel chce udostępnić, co przyspiesza odkrywanie. Crawling nadal pokazuje, jak strony są ze sobą połączone, i znajduje strony, których brakuje w mapie.

Powiązane pojęcia

W BlackAha, Store Platform Integration pomaga połączyć sklep, aby automatycznie synchronizować ceny produktów.

Wróć do Słownika cen