Ein Website-Crawl ist ein automatisierter Durchlauf durch eine Website, bei dem ein Programm, Crawler oder Spider genannt, von einer oder mehreren Seiten ausgeht und Links folgt, um den Rest zu entdecken. Dabei listet es die gefundenen Seiten mit Details wie Statuscodes, Titeln und Links auf. Suchmaschinen, SEO-Audits und Preisrecherchen sind darauf angewiesen.
Wie sich ein Crawler durch eine Website bewegt
Ein Crawl beginnt mit Startadressen, meist der Startseite oder einer Sitemap. Der Crawler ruft eine Seite ab, erfasst, was sie zurückgibt, sammelt alle Links darauf und fügt neue Adressen einer Warteschlange hinzu. Dann nimmt er die nächste Adresse aus der Warteschlange und wiederholt den Vorgang, wobei er bereits gesehene Seiten überspringt. Der Prozess läuft, bis die Warteschlange leer ist oder ein Limit erreicht wird.
- Startpunkte: die Ausgangsadressen, oft ergänzt durch eine XML-Sitemap.
- Warteschlange: die Liste entdeckter Adressen, die noch besucht werden müssen.
- Umfangsregeln: welche Domains, Ordner oder Seitentypen der Crawl betreten darf.
- Limits: maximale Tiefe, Anzahl der Seiten und Abrufrate.
Die Reihenfolge der Warteschlange prägt das Ergebnis. Ein Breitencrawl besucht jede Seite einen Klick vom Start entfernt, bevor er tiefer geht, und kartiert so schnell die Hauptbereiche. Ein Tiefencrawl folgt einem Zweig bis zum Ende, bevor er zurückgeht. Für Shops wird meist der Breitencrawl bevorzugt, weil Kategorie- und Listenseiten weit oben effizient zu den Produkten führen.
Crawling im Vergleich zu Scraping
Beim Crawling geht es um Entdeckung und Struktur, beim Scraping um das Auslesen bestimmter Werte. Ein Crawler beantwortet die Frage, welche Seiten existieren und wie sie zusammenhängen. Ein Scraper beantwortet, was auf einer bestimmten Seite steht, etwa ihr Preis. In einem Projekt zu Wettbewerbspreisen findet der Crawl die Produktseiten in der Kategorie eines Konkurrenten, und der Scraper liest dann den Preis jeder gefundenen Seite aus.
Die beiden Schritte laufen auch nach unterschiedlichen Zeitplänen. Produktlisten ändern sich im Vergleich zu Preisen langsam, sodass ein Team die Kategorien eines Wettbewerbers etwa einmal pro Woche crawlt, um die Seitenliste zu aktualisieren, während es die Preise dieser bekannten Seiten täglich ausliest. Die Trennung hält die häufige Aufgabe schlank und vermeidet, dieselben Seiten immer wieder neu zu entdecken.
Einsatz in SEO und für die Website-Gesundheit
Website-Betreiber crawlen ihre eigenen Shops, um sie so zu sehen, wie eine Suchmaschine sie sehen würde. Ein Crawl deckt defekte Links, Weiterleitungsketten, doppelte Titel, fehlende Beschreibungen, verwaiste Seiten ohne interne Links und versehentlich von der Indexierung ausgeschlossene Seiten auf.
Bei einem Onlineshop zeigen Crawl-Ergebnisse oft schwer erreichbare Produktseiten. Liegt ein Produkt fünf oder sechs Klicks von der Startseite entfernt oder erscheint es nur über einen Filter, besuchen Suchmaschinen es womöglich selten. Bessere interne Verlinkung kann solche Seiten wieder sichtbar machen.
Crawls sind auch eine nützliche Prüfung nach einer Plattformmigration oder einem großen Katalogimport. Der Vergleich der Seitenliste vorher und nachher zeigt, welche alten Adressen jetzt Fehler liefern und Weiterleitungen brauchen. Das schützt die Sichtbarkeit in der Suche ebenso wie Kunden, die über gespeicherte Links oder Vergleichsseiten kommen.
Einsatz in der Preis- und Sortimentsrecherche
Das Crawlen der öffentlichen Kategorieseiten eines Wettbewerbers zeigt, was er verkauft, nicht nur, was er verlangt. Der Vergleich der entdeckten Produkte mit Ihrem eigenen Katalog kann Lücken aufdecken: Artikel, die er führt und Sie nicht. BlackAhas Product Gap Finder ist rund um diese Art von Vergleich aufgebaut.
Die Entdeckung hält auch Preisvergleiche aktuell. Wettbewerber fügen neue Produkte hinzu, nehmen alte heraus und ändern Seitenadressen. Ein regelmäßiger Crawl der relevanten Bereiche aktualisiert die Liste der zu beobachtenden Seiten, damit Preisprüfungen nicht weiter entfernte Seiten auslesen oder neue übersehen.
Einen Crawl dimensionieren: ein Beispiel
Angenommen, ein Händler für Gartenbedarf möchte den Bereich Gartenmöbel eines Wettbewerbers erfassen. Der Bereich hat 12 Listenseiten mit je 40 Produkten, also etwa 480 Produktseiten plus die Listenseiten selbst. Bei einer rücksichtsvollen Rate von einer Anfrage alle zwei Sekunden dauert ein vollständiger Durchlauf etwa 16 Minuten. Den ganzen Shop mit vielleicht 30,000 Seiten bei gleicher Rate zu crawlen, würde mehr als 16 Stunden dauern – ein Beleg dafür, wie wichtig Umfangsregeln sind.
Ein enger Umfang spart auf beiden Seiten Zeit. Ein Crawl, der auf die Bereiche beschränkt ist, in denen Sie tatsächlich konkurrieren, liefert ein schnelleres, saubereres Ergebnis und belastet die ausgelesene Website weniger.
Verantwortungsvoll crawlen
- Beachten Sie die robots-Datei und die Nutzungsbedingungen der Website.
- Halten Sie die Abrufrate niedrig und meiden Sie nach Möglichkeit Stoßzeiten.
- Halten Sie sich von Bereichen mit Anmeldung, Warenkörben und Kontoseiten fern.
- Geben Sie den Crawler ehrlich zu erkennen, statt einen Browsernutzer zu imitieren.
- Stoppen oder verlangsamen Sie den Crawl, wenn die Website Fehler zurückgibt.
Die Regeln für automatisierten Zugriff unterscheiden sich von Land zu Land und hängen davon ab, wie die gesammelten Daten genutzt werden. Wenn Sie Websites crawlen, die Ihnen nicht gehören, ist es ratsam, sich zu Ihren konkreten Plänen rechtlich beraten zu lassen.
Häufige Crawl-Probleme
- Endlose Räume, etwa Kalender oder Filterkombinationen, die unendlich viele neue Adressen erzeugen
- Doppelte Seiten, die über Tracking-Parameter oder Sortieroptionen erreicht werden
- Inhalte, die erst nach Ausführung von Skripten erscheinen und von einfachen Crawlern übersehen werden
- Seiten, die je nach Region, Sprache oder Währung unterschiedlich aussehen
- Crawls, die so lange laufen, dass die ersten Seiten veraltet sind, wenn die letzten fertig sind
Adressen normalisieren, unnötige Parameter entfernen und ein festes Seitenlimit setzen löst die meisten dieser Probleme. Für die Preisarbeit hilft es zudem, bei jeder entdeckten Seite das Crawl-Datum zu erfassen, damit veraltete Einträge zuerst erneut geprüft werden können.
Prüfen Sie das Ergebnis abschließend auf Lücken. Liefert ein Bereich, der Hunderte Produkte enthalten sollte, nur eine Handvoll, hat der Crawler vermutlich ein Paginierungsmuster oder eine per Skript geladene Liste übersehen, und die Umfangsregeln müssen angepasst werden, bevor die Daten genutzt werden.
Das Wichtigste in Kürze
- Ein Website-Crawl folgt automatisch Links, um die Seiten einer Website zu entdecken.
- Crawling findet Seiten; Scraping liest bestimmte Werte wie Preise daraus aus.
- Shopbetreiber crawlen ihre eigenen Websites, um defekte Links und schwer erreichbare Produkte zu finden.
- Das Crawlen von Wettbewerbsbereichen deckt Sortimentslücken auf und hält Preisvergleiche aktuell.
- Enger Umfang, niedrige Abrufraten und die Beachtung der Website-Regeln machen Crawls schneller und fairer.
Häufig gestellte Fragen
Was ist der Unterschied zwischen einem Website-Crawl und der Indexierung?
Crawling ist der Entdeckungsschritt, bei dem Seiten besucht und Links verfolgt werden. Indexierung ist ein späterer Schritt, bei dem eine Suchmaschine Seiteninhalte speichert und ordnet, damit sie in Ergebnissen erscheinen können. Eine Seite kann gecrawlt und trotzdem nicht indexiert werden.
Wie oft sollte ich meinen eigenen Shop crawlen?
Viele Shops führen monatlich einen vollständigen Crawl durch und nach größeren Änderungen, etwa einem Theme-Update oder einem Katalogimport, eine leichtere Prüfung. Große Shops mit täglichen Änderungen crawlen wichtige Bereiche womöglich häufiger.
Ersetzt eine Sitemap das Crawling?
Nein, aber sie hilft. Eine Sitemap listet Seiten auf, die der Inhaber gefunden haben möchte, und beschleunigt so die Entdeckung. Das Crawling zeigt trotzdem, wie Seiten miteinander verlinkt sind, und findet Seiten, die in der Sitemap fehlen.
Verwandte Begriffe
In BlackAha Store Platform Integration hilft Ihnen, Ihren Shop zu verbinden und Produktpreise automatisch zu synchronisieren.