{"id":1706,"date":"2026-11-13T12:55:53","date_gmt":"2026-11-13T12:55:53","guid":{"rendered":"https:\/\/blackaha.com\/pricing-dictionary\/site-crawl\/"},"modified":"2026-11-15T15:31:23","modified_gmt":"2026-11-15T15:31:23","slug":"site-crawl","status":"publish","type":"page","link":"https:\/\/blackaha.com\/pl\/pricing-dictionary\/site-crawl\/","title":{"rendered":"Crawling witryny"},"content":{"rendered":"<figure class=\"bl-illustration alignwide bl-dict-hero wp-block-blackaha-lens-illustration\"><svg class=\"bl-svg bl-svg--illustration\" focusable=\"false\" role=\"img\" aria-label=\"Drzewo po\u0142\u0105czonych w\u0119z\u0142\u00f3w stron wyrastaj\u0105ce z jednego w\u0119z\u0142a g\u0142\u00f3wnego; odwiedzone w\u0119z\u0142y s\u0105 wype\u0142nione na niebiesko, nieodwiedzone tylko obrysowane.\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewbox=\"0 0 480 320\">\n  <rect class=\"f-surface-alt\" width=\"480\" height=\"320\" rx=\"16\"\/>\n  <g class=\"s-line\" stroke-width=\"3\" fill=\"none\">\n    <path d=\"M240 72 L128 152 M240 72 L240 152 M240 72 L352 152\"\/>\n    <path d=\"M128 152 L84 236 M128 152 L172 236 M240 152 L240 236 M352 152 L308 236 M352 152 L396 236\"\/>\n  <\/g>\n  <path class=\"s-brand\" d=\"M240 72 L128 152 L84 236 M128 152 L172 236 M240 72 L240 152\" fill=\"none\" stroke-width=\"4\" stroke-linecap=\"round\"\/>\n  <rect class=\"f-brand\" x=\"216\" y=\"48\" width=\"48\" height=\"48\" rx=\"10\"\/>\n  <rect class=\"f-brand\" x=\"108\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\"\/>\n  <rect class=\"f-brand\" x=\"220\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"332\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-brand-soft s-brand\" x=\"66\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-brand-soft s-brand\" x=\"154\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"222\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"290\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"378\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <circle class=\"s-ink\" cx=\"300\" cy=\"106\" r=\"14\" fill=\"none\" stroke-width=\"3\"\/>\n  <line class=\"s-ink\" x1=\"310\" y1=\"116\" x2=\"324\" y2=\"130\" stroke-width=\"4\" stroke-linecap=\"round\"\/>\n<\/svg><\/figure>\n\n\n<p class=\"wp-block-paragraph\">Crawling witryny to automatyczne przej\u015bcie przez stron\u0119 internetow\u0105, w kt\u00f3rym program zwany crawlerem lub paj\u0105kiem zaczyna od jednej lub kilku stron i pod\u0105\u017ca za linkami, by odkry\u0107 reszt\u0119, zapisuj\u0105c znalezione strony wraz z danymi takimi jak kody statusu, tytu\u0142y i linki. Opieraj\u0105 si\u0119 na nim wyszukiwarki, audyty SEO i badania cen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Jak crawler porusza si\u0119 po witrynie<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Crawl zaczyna si\u0119 od adres\u00f3w startowych, zwykle strony g\u0142\u00f3wnej lub mapy witryny. Crawler pobiera stron\u0119, zapisuje, co zwr\u00f3ci\u0142a, zbiera wszystkie linki i dodaje nowe adresy do kolejki. Potem bierze z kolejki nast\u0119pny adres i powtarza, pomijaj\u0105c strony, kt\u00f3re ju\u017c widzia\u0142. Proces trwa, a\u017c kolejka si\u0119 opr\u00f3\u017cni albo zostanie osi\u0105gni\u0119ty limit.<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Adresy startowe: punkty wyj\u015bcia, cz\u0119sto uzupe\u0142nione map\u0105 witryny XML.<\/li><li>Kolejka: lista odkrytych adres\u00f3w, kt\u00f3re wci\u0105\u017c czekaj\u0105 na odwiedzenie.<\/li><li>Regu\u0142y zakresu: do kt\u00f3rych domen, folder\u00f3w lub typ\u00f3w stron crawl mo\u017ce wej\u015b\u0107.<\/li><li>Limity: maksymalna g\u0142\u0119boko\u015b\u0107, liczba stron i tempo zapyta\u0144.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Kolejno\u015b\u0107 w kolejce kszta\u0142tuje wynik. Crawl wszerz odwiedza ka\u017cd\u0105 stron\u0119 oddalon\u0105 o jedno klikni\u0119cie od startu, zanim zejdzie g\u0142\u0119biej, co szybko mapuje g\u0142\u00f3wne sekcje. Crawl w g\u0142\u0105b pod\u0105\u017ca jedn\u0105 ga\u0142\u0119zi\u0105 do ko\u0144ca, zanim si\u0119 cofnie. W sklepach zwykle wybiera si\u0119 crawl wszerz, bo strony kategorii i list blisko g\u00f3ry sprawnie prowadz\u0105 do produkt\u00f3w.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Crawling a scraping<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Crawling s\u0142u\u017cy odkrywaniu i strukturze, a scraping wydobywaniu konkretnych warto\u015bci. Crawler odpowiada na pytanie, jakie strony istniej\u0105 i jak s\u0105 po\u0142\u0105czone. Scraper odpowiada, co m\u00f3wi dana strona, na przyk\u0142ad jaka jest cena. W projekcie dotycz\u0105cym cen konkurencji crawl znajduje strony produkt\u00f3w w kategorii rywala, a scraper odczytuje cen\u0119 z ka\u017cdej znalezionej strony.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Oba kroki dzia\u0142aj\u0105 te\u017c wed\u0142ug r\u00f3\u017cnych harmonogram\u00f3w. Listy produkt\u00f3w zmieniaj\u0105 si\u0119 wolno w por\u00f3wnaniu z cenami, wi\u0119c zesp\u00f3\u0142 mo\u017ce crawlowa\u0107 kategorie konkurenta raz w tygodniu, by od\u015bwie\u017cy\u0107 list\u0119 stron, a ceny z tych znanych stron odczytywa\u0107 codziennie. Rozdzielenie zada\u0144 odci\u0105\u017ca to cz\u0119ste i pozwala unikn\u0105\u0107 ci\u0105g\u0142ego odkrywania tych samych stron.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Zastosowania w SEO i kondycji witryny<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">W\u0142a\u015bciciele sklep\u00f3w crawluj\u0105 w\u0142asne sklepy, by zobaczy\u0107 je tak, jak widzi je wyszukiwarka. Crawl ujawnia niedzia\u0142aj\u0105ce linki, \u0142a\u0144cuchy przekierowa\u0144, zduplikowane tytu\u0142y, brakuj\u0105ce opisy, osierocone strony, do kt\u00f3rych nie prowadz\u0105 \u017cadne linki wewn\u0119trzne, oraz strony przez pomy\u0142k\u0119 zablokowane przed indeksowaniem.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">W sklepie internetowym wyniki crawla cz\u0119sto pokazuj\u0105 strony produkt\u00f3w, do kt\u00f3rych trudno dotrze\u0107. Je\u015bli produkt jest pi\u0119\u0107 czy sze\u015b\u0107 klikni\u0119\u0107 od strony g\u0142\u00f3wnej albo pojawia si\u0119 tylko przez filtr, wyszukiwarki mog\u0105 odwiedza\u0107 go rzadko. Poprawa linkowania wewn\u0119trznego mo\u017ce przywr\u00f3ci\u0107 takie strony do widoku.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Crawl to te\u017c przydatna kontrola po migracji platformy lub du\u017cym imporcie katalogu. Por\u00f3wnanie listy stron przed i po pokazuje, kt\u00f3re stare adresy zwracaj\u0105 teraz b\u0142\u0119dy i wymagaj\u0105 przekierowa\u0144, co chroni zar\u00f3wno widoczno\u015b\u0107 w wyszukiwarce, jak i klient\u00f3w trafiaj\u0105cych z zapisanych link\u00f3w lub por\u00f3wnywarek.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Zastosowania w badaniu cen i asortymentu<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Crawling publicznych stron kategorii konkurenta pokazuje, co sprzedaje, a nie tylko, ile za to bierze. Por\u00f3wnanie odkrytych produkt\u00f3w z w\u0142asnym katalogiem mo\u017ce ujawni\u0107 luki: pozycje, kt\u00f3re on ma, a Ty nie. W BlackAha <a href=\"\/pl\/features\/product-gap-finder\/\">Product Gap Finder<\/a> opiera si\u0119 w\u0142a\u015bnie na takim por\u00f3wnaniu.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Odkrywanie utrzymuje te\u017c por\u00f3wnania cen w aktualno\u015bci. Konkurenci dodaj\u0105 nowe produkty, wycofuj\u0105 stare i zmieniaj\u0105 adresy stron. Okresowy crawl odpowiednich sekcji aktualizuje list\u0119 stron do obserwowania, wi\u0119c kontrole cen nie odczytuj\u0105 usuni\u0119tych stron ani nie pomijaj\u0105 nowych.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Jak oszacowa\u0107 crawl: przyk\u0142ad<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Za\u0142\u00f3\u017cmy na przyk\u0142ad, \u017ce sklep z artyku\u0142ami ogrodowymi chce zmapowa\u0107 dzia\u0142 mebli ogrodowych konkurenta. Dzia\u0142 ma 12 stron list po 40 produkt\u00f3w, czyli oko\u0142o 480 stron produkt\u00f3w plus same strony list. Przy uprzejmym tempie jednego zapytania co dwie sekundy pe\u0142ne przej\u015bcie zajmuje oko\u0142o 16 minut. Crawl ca\u0142ego sklepu, mo\u017ce 30\u00a0000 stron, w tym samym tempie trwa\u0142by ponad 16 godzin, co pokazuje, dlaczego regu\u0142y zakresu s\u0105 wa\u017cne.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">W\u0105ski zakres oszcz\u0119dza czas po obu stronach. Crawl ograniczony do sekcji, w kt\u00f3rych faktycznie konkurujesz, daje szybszy, czystszy wynik i mniej obci\u0105\u017ca odczytywan\u0105 witryn\u0119.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Odpowiedzialny crawling<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Szanuj plik z regu\u0142ami robots i regulamin witryny.<\/li><li>Utrzymuj niskie tempo zapyta\u0144 i w miar\u0119 mo\u017cliwo\u015bci unikaj godzin szczytu.<\/li><li>Trzymaj si\u0119 z dala od stref po zalogowaniu, koszyk\u00f3w i stron kont.<\/li><li>Uczciwie przedstawiaj crawlera, zamiast udawa\u0107 u\u017cytkownika przegl\u0105darki.<\/li><li>Zatrzymaj si\u0119 lub zwolnij, je\u015bli witryna zaczyna zwraca\u0107 b\u0142\u0119dy.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Przepisy dotycz\u0105ce zautomatyzowanego dost\u0119pu r\u00f3\u017cni\u0105 si\u0119 mi\u0119dzy krajami i zale\u017c\u0105 od tego, jak zebrane dane s\u0105 wykorzystywane. Gdy crawlujesz witryny, kt\u00f3re nie nale\u017c\u0105 do Ciebie, warto zasi\u0119gn\u0105\u0107 porady prawnej co do konkretnych plan\u00f3w.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Cz\u0119ste problemy z crawlem<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Niesko\u0144czone przestrzenie, takie jak kalendarze czy kombinacje filtr\u00f3w, kt\u00f3re generuj\u0105 bez ko\u0144ca nowe adresy<\/li><li>Zduplikowane strony osi\u0105gane przez parametry \u015bledz\u0105ce lub opcje sortowania<\/li><li>Tre\u015bci pojawiaj\u0105ce si\u0119 dopiero po uruchomieniu skrypt\u00f3w, kt\u00f3rych proste crawlery nie widz\u0105<\/li><li>Strony, kt\u00f3re wygl\u0105daj\u0105 inaczej w zale\u017cno\u015bci od regionu, j\u0119zyka lub waluty<\/li><li>Crawle trwaj\u0105ce tak d\u0142ugo, \u017ce pierwsze strony s\u0105 nieaktualne, zanim sko\u0144cz\u0105 si\u0119 ostatnie<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Normalizacja adres\u00f3w, usuwanie zb\u0119dnych parametr\u00f3w i ustawienie twardego limitu stron rozwi\u0105zuje wi\u0119kszo\u015b\u0107 z nich. W pracy z cenami pomaga te\u017c zapisywanie daty crawla przy ka\u017cdej odkrytej stronie, by nieaktualne wpisy sprawdza\u0107 ponownie w pierwszej kolejno\u015bci.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Na koniec sprawd\u017a wynik pod k\u0105tem luk. Je\u015bli sekcja, kt\u00f3ra powinna mie\u0107 setki produkt\u00f3w, zwraca tylko kilka, crawler prawdopodobnie przeoczy\u0142 schemat paginacji lub list\u0119 \u0142adowan\u0105 skryptem, a regu\u0142y zakresu trzeba poprawi\u0107, zanim dane zostan\u0105 u\u017cyte.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Kluczowe wnioski<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Crawling witryny automatycznie pod\u0105\u017ca za linkami, by odkry\u0107 strony serwisu.<\/li><li>Crawling znajduje strony; scraping odczytuje z nich konkretne warto\u015bci, takie jak ceny.<\/li><li>W\u0142a\u015bciciele sklep\u00f3w crawluj\u0105 w\u0142asne witryny, by znale\u017a\u0107 niedzia\u0142aj\u0105ce linki i trudno dost\u0119pne produkty.<\/li><li>Crawling sekcji konkurencji ujawnia luki w asortymencie i utrzymuje por\u00f3wnania cen w aktualno\u015bci.<\/li><li>W\u0105ski zakres, niskie tempo zapyta\u0144 i szacunek dla regu\u0142 witryny sprawiaj\u0105, \u017ce crawle s\u0105 szybsze i uczciwsze.<\/li><\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Najcz\u0119\u015bciej zadawane pytania<\/h2>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Czym crawling witryny r\u00f3\u017cni si\u0119 od indeksowania?<\/summary>\n<p class=\"wp-block-paragraph\">Crawling to etap odkrywania, w kt\u00f3rym strony s\u0105 odwiedzane, a linki \u015bledzone. Indeksowanie to p\u00f3\u017aniejszy etap, w kt\u00f3rym wyszukiwarka zapisuje i porz\u0105dkuje tre\u015b\u0107 strony, aby mog\u0142a pojawi\u0107 si\u0119 w wynikach. Strona mo\u017ce zosta\u0107 przecrawlowana, a mimo to nie trafi\u0107 do indeksu.<\/p>\n<\/details>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Jak cz\u0119sto crawlowa\u0107 w\u0142asny sklep?<\/summary>\n<p class=\"wp-block-paragraph\">Wiele sklep\u00f3w przeprowadza pe\u0142ny crawl raz w miesi\u0105cu i l\u017cejsz\u0105 kontrol\u0119 po wi\u0119kszych zmianach, takich jak aktualizacja motywu czy import katalogu. Du\u017ce sklepy, kt\u00f3re zmieniaj\u0105 si\u0119 codziennie, mog\u0105 cz\u0119\u015bciej crawlowa\u0107 kluczowe sekcje.<\/p>\n<\/details>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Czy mapa witryny zast\u0119puje crawling?<\/summary>\n<p class=\"wp-block-paragraph\">Nie, ale pomaga. Mapa witryny wymienia strony, kt\u00f3re w\u0142a\u015bciciel chce udost\u0119pni\u0107, co przyspiesza odkrywanie. Crawling nadal pokazuje, jak strony s\u0105 ze sob\u0105 po\u0142\u0105czone, i znajduje strony, kt\u00f3rych brakuje w mapie.<\/p>\n<\/details>\n\n\n\n<h2 class=\"wp-block-heading\">Powi\u0105zane poj\u0119cia<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li><a href=\"\/pl\/pricing-dictionary\/web-scraping\/\">Web scraping<\/a><\/li><li><a href=\"\/pl\/pricing-dictionary\/capturing-screenshots\/\">Zrzuty ekranu<\/a><\/li><li><a href=\"\/pl\/pricing-dictionary\/api-integration\/\">Integracja API<\/a><\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">W BlackAha, <a href=\"\/pl\/features\/store-integration\/\">Store Platform Integration<\/a> pomaga po\u0142\u0105czy\u0107 sklep, aby automatycznie synchronizowa\u0107 ceny produkt\u00f3w.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"\/pl\/pricing-dictionary\/\">Wr\u00f3\u0107 do S\u0142ownika cen<\/a><\/p>","protected":false},"excerpt":{"rendered":"<p>A site crawl is an automated pass through a website in which a program, called a crawler or spider, starts from one or more pages and follows links to discover the rest, listing the pages it finds with details such as status codes, titles and links. Search engines, SEO audits and price research rely on [&hellip;]<\/p>\n","protected":false},"author":0,"featured_media":0,"parent":1276,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-1706","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/blackaha.com\/pl\/wp-json\/wp\/v2\/pages\/1706","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blackaha.com\/pl\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/blackaha.com\/pl\/wp-json\/wp\/v2\/types\/page"}],"replies":[{"embeddable":true,"href":"https:\/\/blackaha.com\/pl\/wp-json\/wp\/v2\/comments?post=1706"}],"version-history":[{"count":1,"href":"https:\/\/blackaha.com\/pl\/wp-json\/wp\/v2\/pages\/1706\/revisions"}],"predecessor-version":[{"id":1821,"href":"https:\/\/blackaha.com\/pl\/wp-json\/wp\/v2\/pages\/1706\/revisions\/1821"}],"up":[{"embeddable":true,"href":"https:\/\/blackaha.com\/pl\/wp-json\/wp\/v2\/pages\/1276"}],"wp:attachment":[{"href":"https:\/\/blackaha.com\/pl\/wp-json\/wp\/v2\/media?parent=1706"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}