Exploration de site (crawl)

L'exploration de site (crawl) est un parcours automatisé d'un site web au cours duquel un programme, appelé robot d'exploration ou spider, part d'une ou plusieurs pages et suit les liens pour découvrir les autres, en listant les pages trouvées avec des détails comme les codes de statut, les titres et les liens. Les moteurs de recherche, les audits SEO et les études de prix s'appuient sur elle.

Comment un robot parcourt un site

Une exploration commence par des adresses de départ, généralement la page d'accueil ou un sitemap. Le robot demande une page, enregistre ce qu'elle renvoie, collecte tous ses liens et ajoute les nouvelles adresses à une file d'attente. Il prend ensuite l'adresse suivante dans la file et recommence, en ignorant les pages déjà vues. Le processus se poursuit jusqu'à ce que la file soit vide ou qu'une limite soit atteinte.

  • Adresses de départ : les points d'entrée, souvent complétés par un sitemap XML.
  • File d'attente : la liste des adresses découvertes qui restent à visiter.
  • Règles de périmètre : les domaines, dossiers ou types de pages dans lesquels l'exploration peut entrer.
  • Limites : profondeur maximale, nombre de pages et fréquence des requêtes.

L'ordre de la file détermine le résultat. Une exploration en largeur visite toutes les pages situées à un clic du départ avant d'aller plus loin, ce qui cartographie rapidement les sections principales. Une exploration en profondeur suit une branche jusqu'au bout avant de revenir en arrière. Pour les boutiques, l'exploration en largeur est généralement préférée, car les pages catégories et listes proches du sommet mènent efficacement aux produits.

Exploration et scraping

L'exploration sert à découvrir et à cartographier ; le scraping sert à extraire des valeurs précises. Un robot d'exploration répond à la question de savoir quelles pages existent et comment elles sont reliées. Un scraper répond à ce que dit une page donnée, comme son prix. Dans un projet de prix concurrents, l'exploration trouve les pages produits d'une catégorie d'un rival, puis le scraper lit le prix de chaque page trouvée.

Les deux étapes suivent aussi des calendriers différents. Les listes de produits changent lentement par rapport aux prix : une équipe peut donc explorer les catégories d'un concurrent une fois par semaine pour actualiser la liste des pages, tout en lisant chaque jour les prix sur ces pages connues. Séparer les tâches allège la tâche fréquente et évite de redécouvrir sans cesse les mêmes pages.

Usages en SEO et santé du site

Les propriétaires de sites explorent leur propre boutique pour la voir comme un moteur de recherche. Une exploration révèle les liens cassés, les chaînes de redirections, les titres en double, les descriptions manquantes, les pages orphelines vers lesquelles aucun lien interne ne pointe et les pages bloquées par erreur à l'indexation.

Pour une boutique en ligne, les résultats d'exploration montrent souvent des pages produits difficiles d'accès. Si un produit se trouve à cinq ou six clics de la page d'accueil, ou n'apparaît qu'au travers d'un filtre, les moteurs de recherche risquent de le visiter rarement. Corriger les liens internes peut remettre ces pages en lumière.

Les explorations sont aussi un contrôle utile après une migration de plateforme ou un gros import de catalogue. Comparer la liste des pages avant et après montre quelles anciennes adresses renvoient désormais des erreurs et nécessitent des redirections, ce qui protège à la fois la visibilité dans la recherche et les clients qui arrivent par des liens enregistrés ou des comparateurs.

Usages dans l'étude des prix et de l'assortiment

Explorer les pages catégories publiques d'un concurrent montre ce qu'il vend, et pas seulement ses prix. Comparer les produits découverts avec votre propre catalogue peut révéler des manques : des articles qu'il propose et que vous n'avez pas. Le outil de détection des manques de gamme de BlackAha repose sur ce type de comparaison.

La découverte maintient aussi les comparaisons de prix à jour. Les concurrents ajoutent de nouveaux produits, retirent les anciens et changent les adresses des pages. Une exploration périodique des sections concernées met à jour la liste des pages à surveiller, pour que les contrôles de prix ne continuent pas à lire des pages supprimées ou ne manquent pas les nouvelles.

Dimensionner une exploration : un exemple

Supposons, à titre d'exemple, qu'un distributeur de fournitures de jardin veuille cartographier la section mobilier d'extérieur d'un concurrent. La section compte 12 pages de liste de 40 produits chacune, soit environ 480 pages produits plus les pages de liste elles-mêmes. À un rythme courtois d'une requête toutes les deux secondes, un passage complet prend environ 16 minutes. Explorer toute la boutique, soit peut-être 30,000 pages, au même rythme prendrait plus de 16 heures, ce qui montre l'importance des règles de périmètre.

Un périmètre restreint fait gagner du temps des deux côtés. Une exploration limitée aux sections où vous êtes réellement en concurrence donne un résultat plus rapide et plus propre, et charge moins le site lu.

Explorer avec respect

  • Respectez le fichier robots.txt et les conditions d'utilisation du site.
  • Gardez une faible fréquence de requêtes et évitez les périodes de forte affluence si possible.
  • Restez en dehors des espaces connectés, des paniers et des pages de compte.
  • Identifiez le robot honnêtement plutôt que de vous faire passer pour un navigateur.
  • Arrêtez ou ralentissez si le site commence à renvoyer des erreurs.

Les règles sur l'accès automatisé diffèrent selon les pays et dépendent de l'usage des données collectées. Lorsque vous explorez des sites qui ne vous appartiennent pas, il est prudent de demander un avis juridique sur votre projet précis.

Problèmes d'exploration

  • Les espaces infinis, comme les calendriers ou les combinaisons de filtres qui génèrent sans fin de nouvelles adresses
  • Les pages en double atteintes via des paramètres de suivi ou des options de tri
  • Le contenu qui n'apparaît qu'après l'exécution de scripts, que les robots simples manquent
  • Les pages qui diffèrent selon la région, la langue ou la devise
  • Les explorations si longues que les premières pages sont périmées quand les dernières se terminent

Normaliser les adresses, supprimer les paramètres inutiles et fixer une limite de pages stricte résolvent la plupart de ces problèmes. Pour le travail sur les prix, il est aussi utile d'enregistrer la date d'exploration de chaque page découverte, afin de revérifier en priorité les entrées périmées.

Enfin, vérifiez que le résultat ne présente pas de trous. Si une section censée contenir des centaines de produits n'en renvoie qu'une poignée, le robot a probablement manqué un schéma de pagination ou une liste chargée par script, et les règles de périmètre doivent être ajustées avant d'utiliser les données.

À retenir

  • Une exploration de site suit automatiquement les liens pour découvrir les pages d'un site web.
  • L'exploration trouve les pages ; le scraping y lit des valeurs précises comme les prix.
  • Les commerçants explorent leur propre site pour trouver les liens cassés et les produits difficiles d'accès.
  • Explorer les sections des concurrents révèle les manques d'assortiment et maintient les comparaisons de prix à jour.
  • Un périmètre serré, une faible fréquence de requêtes et le respect des règles du site rendent les explorations plus rapides et plus loyales.

Questions fréquentes

Quelle est la différence entre l'exploration d'un site et l'indexation ?

L'exploration est l'étape de découverte, où les pages sont visitées et les liens suivis. L'indexation est une étape ultérieure, où un moteur de recherche stocke et organise le contenu des pages pour qu'il puisse apparaître dans les résultats. Une page peut être explorée sans être indexée.

À quelle fréquence explorer ma propre boutique ?

Beaucoup de boutiques lancent une exploration complète chaque mois et une vérification plus légère après les changements majeurs, comme une mise à jour de thème ou un import de catalogue. Les grandes boutiques qui changent chaque jour peuvent explorer plus souvent les sections clés.

Un sitemap remplace-t-il l'exploration ?

Non, mais il aide. Un sitemap liste les pages que le propriétaire veut faire découvrir, ce qui accélère la découverte. L'exploration montre toujours comment les pages sont reliées entre elles et trouve les pages absentes du sitemap.

Termes associés

Dans BlackAha, Store Platform Integration vous aide à connecter votre boutique pour synchroniser automatiquement les prix des produits.

Retour au Dictionnaire des prix