{"id":1706,"date":"2026-11-13T12:55:53","date_gmt":"2026-11-13T12:55:53","guid":{"rendered":"https:\/\/blackaha.com\/pricing-dictionary\/site-crawl\/"},"modified":"2026-11-15T15:31:23","modified_gmt":"2026-11-15T15:31:23","slug":"site-crawl","status":"publish","type":"page","link":"https:\/\/blackaha.com\/de\/pricing-dictionary\/site-crawl\/","title":{"rendered":"Website-Crawl"},"content":{"rendered":"<figure class=\"bl-illustration alignwide bl-dict-hero wp-block-blackaha-lens-illustration\"><svg class=\"bl-svg bl-svg--illustration\" focusable=\"false\" role=\"img\" aria-label=\"Ein Baum verbundener Seitenknoten, der von einem Startseitenknoten ausgeht, mit blau gef\u00fcllten besuchten und nur umrandeten unbesuchten Knoten.\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewbox=\"0 0 480 320\">\n  <rect class=\"f-surface-alt\" width=\"480\" height=\"320\" rx=\"16\"\/>\n  <g class=\"s-line\" stroke-width=\"3\" fill=\"none\">\n    <path d=\"M240 72 L128 152 M240 72 L240 152 M240 72 L352 152\"\/>\n    <path d=\"M128 152 L84 236 M128 152 L172 236 M240 152 L240 236 M352 152 L308 236 M352 152 L396 236\"\/>\n  <\/g>\n  <path class=\"s-brand\" d=\"M240 72 L128 152 L84 236 M128 152 L172 236 M240 72 L240 152\" fill=\"none\" stroke-width=\"4\" stroke-linecap=\"round\"\/>\n  <rect class=\"f-brand\" x=\"216\" y=\"48\" width=\"48\" height=\"48\" rx=\"10\"\/>\n  <rect class=\"f-brand\" x=\"108\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\"\/>\n  <rect class=\"f-brand\" x=\"220\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"332\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-brand-soft s-brand\" x=\"66\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-brand-soft s-brand\" x=\"154\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"222\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"290\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"378\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <circle class=\"s-ink\" cx=\"300\" cy=\"106\" r=\"14\" fill=\"none\" stroke-width=\"3\"\/>\n  <line class=\"s-ink\" x1=\"310\" y1=\"116\" x2=\"324\" y2=\"130\" stroke-width=\"4\" stroke-linecap=\"round\"\/>\n<\/svg><\/figure>\n\n\n<p class=\"wp-block-paragraph\">Ein Website-Crawl ist ein automatisierter Durchlauf durch eine Website, bei dem ein Programm, Crawler oder Spider genannt, von einer oder mehreren Seiten ausgeht und Links folgt, um den Rest zu entdecken. Dabei listet es die gefundenen Seiten mit Details wie Statuscodes, Titeln und Links auf. Suchmaschinen, SEO-Audits und Preisrecherchen sind darauf angewiesen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Wie sich ein Crawler durch eine Website bewegt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ein Crawl beginnt mit Startadressen, meist der Startseite oder einer Sitemap. Der Crawler ruft eine Seite ab, erfasst, was sie zur\u00fcckgibt, sammelt alle Links darauf und f\u00fcgt neue Adressen einer Warteschlange hinzu. Dann nimmt er die n\u00e4chste Adresse aus der Warteschlange und wiederholt den Vorgang, wobei er bereits gesehene Seiten \u00fcberspringt. Der Prozess l\u00e4uft, bis die Warteschlange leer ist oder ein Limit erreicht wird.<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Startpunkte: die Ausgangsadressen, oft erg\u00e4nzt durch eine XML-Sitemap.<\/li><li>Warteschlange: die Liste entdeckter Adressen, die noch besucht werden m\u00fcssen.<\/li><li>Umfangsregeln: welche Domains, Ordner oder Seitentypen der Crawl betreten darf.<\/li><li>Limits: maximale Tiefe, Anzahl der Seiten und Abrufrate.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Die Reihenfolge der Warteschlange pr\u00e4gt das Ergebnis. Ein Breitencrawl besucht jede Seite einen Klick vom Start entfernt, bevor er tiefer geht, und kartiert so schnell die Hauptbereiche. Ein Tiefencrawl folgt einem Zweig bis zum Ende, bevor er zur\u00fcckgeht. F\u00fcr Shops wird meist der Breitencrawl bevorzugt, weil Kategorie- und Listenseiten weit oben effizient zu den Produkten f\u00fchren.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Crawling im Vergleich zu Scraping<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Beim Crawling geht es um Entdeckung und Struktur, beim Scraping um das Auslesen bestimmter Werte. Ein Crawler beantwortet die Frage, welche Seiten existieren und wie sie zusammenh\u00e4ngen. Ein Scraper beantwortet, was auf einer bestimmten Seite steht, etwa ihr Preis. In einem Projekt zu Wettbewerbspreisen findet der Crawl die Produktseiten in der Kategorie eines Konkurrenten, und der Scraper liest dann den Preis jeder gefundenen Seite aus.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die beiden Schritte laufen auch nach unterschiedlichen Zeitpl\u00e4nen. Produktlisten \u00e4ndern sich im Vergleich zu Preisen langsam, sodass ein Team die Kategorien eines Wettbewerbers etwa einmal pro Woche crawlt, um die Seitenliste zu aktualisieren, w\u00e4hrend es die Preise dieser bekannten Seiten t\u00e4glich ausliest. Die Trennung h\u00e4lt die h\u00e4ufige Aufgabe schlank und vermeidet, dieselben Seiten immer wieder neu zu entdecken.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Einsatz in SEO und f\u00fcr die Website-Gesundheit<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Website-Betreiber crawlen ihre eigenen Shops, um sie so zu sehen, wie eine Suchmaschine sie sehen w\u00fcrde. Ein Crawl deckt defekte Links, Weiterleitungsketten, doppelte Titel, fehlende Beschreibungen, verwaiste Seiten ohne interne Links und versehentlich von der Indexierung ausgeschlossene Seiten auf.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Bei einem Onlineshop zeigen Crawl-Ergebnisse oft schwer erreichbare Produktseiten. Liegt ein Produkt f\u00fcnf oder sechs Klicks von der Startseite entfernt oder erscheint es nur \u00fcber einen Filter, besuchen Suchmaschinen es wom\u00f6glich selten. Bessere interne Verlinkung kann solche Seiten wieder sichtbar machen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Crawls sind auch eine n\u00fctzliche Pr\u00fcfung nach einer Plattformmigration oder einem gro\u00dfen Katalogimport. Der Vergleich der Seitenliste vorher und nachher zeigt, welche alten Adressen jetzt Fehler liefern und Weiterleitungen brauchen. Das sch\u00fctzt die Sichtbarkeit in der Suche ebenso wie Kunden, die \u00fcber gespeicherte Links oder Vergleichsseiten kommen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Einsatz in der Preis- und Sortimentsrecherche<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Das Crawlen der \u00f6ffentlichen Kategorieseiten eines Wettbewerbers zeigt, was er verkauft, nicht nur, was er verlangt. Der Vergleich der entdeckten Produkte mit Ihrem eigenen Katalog kann L\u00fccken aufdecken: Artikel, die er f\u00fchrt und Sie nicht. BlackAhas <a href=\"\/de\/features\/product-gap-finder\/\">Product Gap Finder<\/a> ist rund um diese Art von Vergleich aufgebaut.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die Entdeckung h\u00e4lt auch Preisvergleiche aktuell. Wettbewerber f\u00fcgen neue Produkte hinzu, nehmen alte heraus und \u00e4ndern Seitenadressen. Ein regelm\u00e4\u00dfiger Crawl der relevanten Bereiche aktualisiert die Liste der zu beobachtenden Seiten, damit Preispr\u00fcfungen nicht weiter entfernte Seiten auslesen oder neue \u00fcbersehen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Einen Crawl dimensionieren: ein Beispiel<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Angenommen, ein H\u00e4ndler f\u00fcr Gartenbedarf m\u00f6chte den Bereich Gartenm\u00f6bel eines Wettbewerbers erfassen. Der Bereich hat 12 Listenseiten mit je 40 Produkten, also etwa 480 Produktseiten plus die Listenseiten selbst. Bei einer r\u00fccksichtsvollen Rate von einer Anfrage alle zwei Sekunden dauert ein vollst\u00e4ndiger Durchlauf etwa 16 Minuten. Den ganzen Shop mit vielleicht 30,000 Seiten bei gleicher Rate zu crawlen, w\u00fcrde mehr als 16 Stunden dauern \u2013 ein Beleg daf\u00fcr, wie wichtig Umfangsregeln sind.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ein enger Umfang spart auf beiden Seiten Zeit. Ein Crawl, der auf die Bereiche beschr\u00e4nkt ist, in denen Sie tats\u00e4chlich konkurrieren, liefert ein schnelleres, saubereres Ergebnis und belastet die ausgelesene Website weniger.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Verantwortungsvoll crawlen<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Beachten Sie die robots-Datei und die Nutzungsbedingungen der Website.<\/li><li>Halten Sie die Abrufrate niedrig und meiden Sie nach M\u00f6glichkeit Sto\u00dfzeiten.<\/li><li>Halten Sie sich von Bereichen mit Anmeldung, Warenk\u00f6rben und Kontoseiten fern.<\/li><li>Geben Sie den Crawler ehrlich zu erkennen, statt einen Browsernutzer zu imitieren.<\/li><li>Stoppen oder verlangsamen Sie den Crawl, wenn die Website Fehler zur\u00fcckgibt.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Die Regeln f\u00fcr automatisierten Zugriff unterscheiden sich von Land zu Land und h\u00e4ngen davon ab, wie die gesammelten Daten genutzt werden. Wenn Sie Websites crawlen, die Ihnen nicht geh\u00f6ren, ist es ratsam, sich zu Ihren konkreten Pl\u00e4nen rechtlich beraten zu lassen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">H\u00e4ufige Crawl-Probleme<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Endlose R\u00e4ume, etwa Kalender oder Filterkombinationen, die unendlich viele neue Adressen erzeugen<\/li><li>Doppelte Seiten, die \u00fcber Tracking-Parameter oder Sortieroptionen erreicht werden<\/li><li>Inhalte, die erst nach Ausf\u00fchrung von Skripten erscheinen und von einfachen Crawlern \u00fcbersehen werden<\/li><li>Seiten, die je nach Region, Sprache oder W\u00e4hrung unterschiedlich aussehen<\/li><li>Crawls, die so lange laufen, dass die ersten Seiten veraltet sind, wenn die letzten fertig sind<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Adressen normalisieren, unn\u00f6tige Parameter entfernen und ein festes Seitenlimit setzen l\u00f6st die meisten dieser Probleme. F\u00fcr die Preisarbeit hilft es zudem, bei jeder entdeckten Seite das Crawl-Datum zu erfassen, damit veraltete Eintr\u00e4ge zuerst erneut gepr\u00fcft werden k\u00f6nnen.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pr\u00fcfen Sie das Ergebnis abschlie\u00dfend auf L\u00fccken. Liefert ein Bereich, der Hunderte Produkte enthalten sollte, nur eine Handvoll, hat der Crawler vermutlich ein Paginierungsmuster oder eine per Skript geladene Liste \u00fcbersehen, und die Umfangsregeln m\u00fcssen angepasst werden, bevor die Daten genutzt werden.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Das Wichtigste in K\u00fcrze<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Ein Website-Crawl folgt automatisch Links, um die Seiten einer Website zu entdecken.<\/li><li>Crawling findet Seiten; Scraping liest bestimmte Werte wie Preise daraus aus.<\/li><li>Shopbetreiber crawlen ihre eigenen Websites, um defekte Links und schwer erreichbare Produkte zu finden.<\/li><li>Das Crawlen von Wettbewerbsbereichen deckt Sortimentsl\u00fccken auf und h\u00e4lt Preisvergleiche aktuell.<\/li><li>Enger Umfang, niedrige Abrufraten und die Beachtung der Website-Regeln machen Crawls schneller und fairer.<\/li><\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">H\u00e4ufig gestellte Fragen<\/h2>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Was ist der Unterschied zwischen einem Website-Crawl und der Indexierung?<\/summary>\n<p class=\"wp-block-paragraph\">Crawling ist der Entdeckungsschritt, bei dem Seiten besucht und Links verfolgt werden. Indexierung ist ein sp\u00e4terer Schritt, bei dem eine Suchmaschine Seiteninhalte speichert und ordnet, damit sie in Ergebnissen erscheinen k\u00f6nnen. Eine Seite kann gecrawlt und trotzdem nicht indexiert werden.<\/p>\n<\/details>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Wie oft sollte ich meinen eigenen Shop crawlen?<\/summary>\n<p class=\"wp-block-paragraph\">Viele Shops f\u00fchren monatlich einen vollst\u00e4ndigen Crawl durch und nach gr\u00f6\u00dferen \u00c4nderungen, etwa einem Theme-Update oder einem Katalogimport, eine leichtere Pr\u00fcfung. Gro\u00dfe Shops mit t\u00e4glichen \u00c4nderungen crawlen wichtige Bereiche wom\u00f6glich h\u00e4ufiger.<\/p>\n<\/details>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Ersetzt eine Sitemap das Crawling?<\/summary>\n<p class=\"wp-block-paragraph\">Nein, aber sie hilft. Eine Sitemap listet Seiten auf, die der Inhaber gefunden haben m\u00f6chte, und beschleunigt so die Entdeckung. Das Crawling zeigt trotzdem, wie Seiten miteinander verlinkt sind, und findet Seiten, die in der Sitemap fehlen.<\/p>\n<\/details>\n\n\n\n<h2 class=\"wp-block-heading\">Verwandte Begriffe<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li><a href=\"\/de\/pricing-dictionary\/web-scraping\/\">Web-Scraping<\/a><\/li><li><a href=\"\/de\/pricing-dictionary\/capturing-screenshots\/\">Erstellen von Screenshots<\/a><\/li><li><a href=\"\/de\/pricing-dictionary\/api-integration\/\">API-Integration<\/a><\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">In BlackAha <a href=\"\/de\/features\/store-integration\/\">Store Platform Integration<\/a> hilft Ihnen, Ihren Shop zu verbinden und Produktpreise automatisch zu synchronisieren.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"\/de\/pricing-dictionary\/\">Zur\u00fcck zum Preislexikon<\/a><\/p>","protected":false},"excerpt":{"rendered":"<p>A site crawl is an automated pass through a website in which a program, called a crawler or spider, starts from one or more pages and follows links to discover the rest, listing the pages it finds with details such as status codes, titles and links. Search engines, SEO audits and price research rely on [&hellip;]<\/p>\n","protected":false},"author":0,"featured_media":0,"parent":1276,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-1706","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/blackaha.com\/de\/wp-json\/wp\/v2\/pages\/1706","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blackaha.com\/de\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/blackaha.com\/de\/wp-json\/wp\/v2\/types\/page"}],"replies":[{"embeddable":true,"href":"https:\/\/blackaha.com\/de\/wp-json\/wp\/v2\/comments?post=1706"}],"version-history":[{"count":1,"href":"https:\/\/blackaha.com\/de\/wp-json\/wp\/v2\/pages\/1706\/revisions"}],"predecessor-version":[{"id":1821,"href":"https:\/\/blackaha.com\/de\/wp-json\/wp\/v2\/pages\/1706\/revisions\/1821"}],"up":[{"embeddable":true,"href":"https:\/\/blackaha.com\/de\/wp-json\/wp\/v2\/pages\/1276"}],"wp:attachment":[{"href":"https:\/\/blackaha.com\/de\/wp-json\/wp\/v2\/media?parent=1706"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}