{"id":1706,"date":"2026-11-13T12:55:53","date_gmt":"2026-11-13T12:55:53","guid":{"rendered":"https:\/\/blackaha.com\/pricing-dictionary\/site-crawl\/"},"modified":"2026-11-15T15:31:23","modified_gmt":"2026-11-15T15:31:23","slug":"site-crawl","status":"publish","type":"page","link":"https:\/\/blackaha.com\/fr\/pricing-dictionary\/site-crawl\/","title":{"rendered":"Exploration de site (crawl)"},"content":{"rendered":"<figure class=\"bl-illustration alignwide bl-dict-hero wp-block-blackaha-lens-illustration\"><svg class=\"bl-svg bl-svg--illustration\" focusable=\"false\" role=\"img\" aria-label=\"Arborescence de n\u0153uds de pages reli\u00e9s partant d&#039;un n\u0153ud d&#039;accueil, les n\u0153uds visit\u00e9s \u00e9tant remplis en bleu et les autres seulement trac\u00e9s en contour.\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewbox=\"0 0 480 320\">\n  <rect class=\"f-surface-alt\" width=\"480\" height=\"320\" rx=\"16\"\/>\n  <g class=\"s-line\" stroke-width=\"3\" fill=\"none\">\n    <path d=\"M240 72 L128 152 M240 72 L240 152 M240 72 L352 152\"\/>\n    <path d=\"M128 152 L84 236 M128 152 L172 236 M240 152 L240 236 M352 152 L308 236 M352 152 L396 236\"\/>\n  <\/g>\n  <path class=\"s-brand\" d=\"M240 72 L128 152 L84 236 M128 152 L172 236 M240 72 L240 152\" fill=\"none\" stroke-width=\"4\" stroke-linecap=\"round\"\/>\n  <rect class=\"f-brand\" x=\"216\" y=\"48\" width=\"48\" height=\"48\" rx=\"10\"\/>\n  <rect class=\"f-brand\" x=\"108\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\"\/>\n  <rect class=\"f-brand\" x=\"220\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"332\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-brand-soft s-brand\" x=\"66\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-brand-soft s-brand\" x=\"154\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"222\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"290\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"378\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <circle class=\"s-ink\" cx=\"300\" cy=\"106\" r=\"14\" fill=\"none\" stroke-width=\"3\"\/>\n  <line class=\"s-ink\" x1=\"310\" y1=\"116\" x2=\"324\" y2=\"130\" stroke-width=\"4\" stroke-linecap=\"round\"\/>\n<\/svg><\/figure>\n\n\n<p class=\"wp-block-paragraph\">L'exploration de site (crawl) est un parcours automatis\u00e9 d'un site web au cours duquel un programme, appel\u00e9 robot d'exploration ou spider, part d'une ou plusieurs pages et suit les liens pour d\u00e9couvrir les autres, en listant les pages trouv\u00e9es avec des d\u00e9tails comme les codes de statut, les titres et les liens. Les moteurs de recherche, les audits SEO et les \u00e9tudes de prix s'appuient sur elle.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Comment un robot parcourt un site<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Une exploration commence par des adresses de d\u00e9part, g\u00e9n\u00e9ralement la page d'accueil ou un sitemap. Le robot demande une page, enregistre ce qu'elle renvoie, collecte tous ses liens et ajoute les nouvelles adresses \u00e0 une file d'attente. Il prend ensuite l'adresse suivante dans la file et recommence, en ignorant les pages d\u00e9j\u00e0 vues. Le processus se poursuit jusqu'\u00e0 ce que la file soit vide ou qu'une limite soit atteinte.<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Adresses de d\u00e9part : les points d'entr\u00e9e, souvent compl\u00e9t\u00e9s par un sitemap XML.<\/li><li>File d'attente : la liste des adresses d\u00e9couvertes qui restent \u00e0 visiter.<\/li><li>R\u00e8gles de p\u00e9rim\u00e8tre : les domaines, dossiers ou types de pages dans lesquels l'exploration peut entrer.<\/li><li>Limites : profondeur maximale, nombre de pages et fr\u00e9quence des requ\u00eates.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">L'ordre de la file d\u00e9termine le r\u00e9sultat. Une exploration en largeur visite toutes les pages situ\u00e9es \u00e0 un clic du d\u00e9part avant d'aller plus loin, ce qui cartographie rapidement les sections principales. Une exploration en profondeur suit une branche jusqu'au bout avant de revenir en arri\u00e8re. Pour les boutiques, l'exploration en largeur est g\u00e9n\u00e9ralement pr\u00e9f\u00e9r\u00e9e, car les pages cat\u00e9gories et listes proches du sommet m\u00e8nent efficacement aux produits.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Exploration et scraping<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">L'exploration sert \u00e0 d\u00e9couvrir et \u00e0 cartographier ; le scraping sert \u00e0 extraire des valeurs pr\u00e9cises. Un robot d'exploration r\u00e9pond \u00e0 la question de savoir quelles pages existent et comment elles sont reli\u00e9es. Un scraper r\u00e9pond \u00e0 ce que dit une page donn\u00e9e, comme son prix. Dans un projet de prix concurrents, l'exploration trouve les pages produits d'une cat\u00e9gorie d'un rival, puis le scraper lit le prix de chaque page trouv\u00e9e.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Les deux \u00e9tapes suivent aussi des calendriers diff\u00e9rents. Les listes de produits changent lentement par rapport aux prix : une \u00e9quipe peut donc explorer les cat\u00e9gories d'un concurrent une fois par semaine pour actualiser la liste des pages, tout en lisant chaque jour les prix sur ces pages connues. S\u00e9parer les t\u00e2ches all\u00e8ge la t\u00e2che fr\u00e9quente et \u00e9vite de red\u00e9couvrir sans cesse les m\u00eames pages.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Usages en SEO et sant\u00e9 du site<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Les propri\u00e9taires de sites explorent leur propre boutique pour la voir comme un moteur de recherche. Une exploration r\u00e9v\u00e8le les liens cass\u00e9s, les cha\u00eenes de redirections, les titres en double, les descriptions manquantes, les pages orphelines vers lesquelles aucun lien interne ne pointe et les pages bloqu\u00e9es par erreur \u00e0 l'indexation.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour une boutique en ligne, les r\u00e9sultats d'exploration montrent souvent des pages produits difficiles d'acc\u00e8s. Si un produit se trouve \u00e0 cinq ou six clics de la page d'accueil, ou n'appara\u00eet qu'au travers d'un filtre, les moteurs de recherche risquent de le visiter rarement. Corriger les liens internes peut remettre ces pages en lumi\u00e8re.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Les explorations sont aussi un contr\u00f4le utile apr\u00e8s une migration de plateforme ou un gros import de catalogue. Comparer la liste des pages avant et apr\u00e8s montre quelles anciennes adresses renvoient d\u00e9sormais des erreurs et n\u00e9cessitent des redirections, ce qui prot\u00e8ge \u00e0 la fois la visibilit\u00e9 dans la recherche et les clients qui arrivent par des liens enregistr\u00e9s ou des comparateurs.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Usages dans l'\u00e9tude des prix et de l'assortiment<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Explorer les pages cat\u00e9gories publiques d'un concurrent montre ce qu'il vend, et pas seulement ses prix. Comparer les produits d\u00e9couverts avec votre propre catalogue peut r\u00e9v\u00e9ler des manques : des articles qu'il propose et que vous n'avez pas. Le <a href=\"\/fr\/features\/product-gap-finder\/\">outil de d\u00e9tection des manques de gamme<\/a> de BlackAha repose sur ce type de comparaison.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La d\u00e9couverte maintient aussi les comparaisons de prix \u00e0 jour. Les concurrents ajoutent de nouveaux produits, retirent les anciens et changent les adresses des pages. Une exploration p\u00e9riodique des sections concern\u00e9es met \u00e0 jour la liste des pages \u00e0 surveiller, pour que les contr\u00f4les de prix ne continuent pas \u00e0 lire des pages supprim\u00e9es ou ne manquent pas les nouvelles.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Dimensionner une exploration : un exemple<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Supposons, \u00e0 titre d'exemple, qu'un distributeur de fournitures de jardin veuille cartographier la section mobilier d'ext\u00e9rieur d'un concurrent. La section compte 12 pages de liste de 40 produits chacune, soit environ 480 pages produits plus les pages de liste elles-m\u00eames. \u00c0 un rythme courtois d'une requ\u00eate toutes les deux secondes, un passage complet prend environ 16 minutes. Explorer toute la boutique, soit peut-\u00eatre 30,000 pages, au m\u00eame rythme prendrait plus de 16 heures, ce qui montre l'importance des r\u00e8gles de p\u00e9rim\u00e8tre.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Un p\u00e9rim\u00e8tre restreint fait gagner du temps des deux c\u00f4t\u00e9s. Une exploration limit\u00e9e aux sections o\u00f9 vous \u00eates r\u00e9ellement en concurrence donne un r\u00e9sultat plus rapide et plus propre, et charge moins le site lu.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Explorer avec respect<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Respectez le fichier robots.txt et les conditions d'utilisation du site.<\/li><li>Gardez une faible fr\u00e9quence de requ\u00eates et \u00e9vitez les p\u00e9riodes de forte affluence si possible.<\/li><li>Restez en dehors des espaces connect\u00e9s, des paniers et des pages de compte.<\/li><li>Identifiez le robot honn\u00eatement plut\u00f4t que de vous faire passer pour un navigateur.<\/li><li>Arr\u00eatez ou ralentissez si le site commence \u00e0 renvoyer des erreurs.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Les r\u00e8gles sur l'acc\u00e8s automatis\u00e9 diff\u00e8rent selon les pays et d\u00e9pendent de l'usage des donn\u00e9es collect\u00e9es. Lorsque vous explorez des sites qui ne vous appartiennent pas, il est prudent de demander un avis juridique sur votre projet pr\u00e9cis.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Probl\u00e8mes d'exploration<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Les espaces infinis, comme les calendriers ou les combinaisons de filtres qui g\u00e9n\u00e8rent sans fin de nouvelles adresses<\/li><li>Les pages en double atteintes via des param\u00e8tres de suivi ou des options de tri<\/li><li>Le contenu qui n'appara\u00eet qu'apr\u00e8s l'ex\u00e9cution de scripts, que les robots simples manquent<\/li><li>Les pages qui diff\u00e8rent selon la r\u00e9gion, la langue ou la devise<\/li><li>Les explorations si longues que les premi\u00e8res pages sont p\u00e9rim\u00e9es quand les derni\u00e8res se terminent<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Normaliser les adresses, supprimer les param\u00e8tres inutiles et fixer une limite de pages stricte r\u00e9solvent la plupart de ces probl\u00e8mes. Pour le travail sur les prix, il est aussi utile d'enregistrer la date d'exploration de chaque page d\u00e9couverte, afin de rev\u00e9rifier en priorit\u00e9 les entr\u00e9es p\u00e9rim\u00e9es.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Enfin, v\u00e9rifiez que le r\u00e9sultat ne pr\u00e9sente pas de trous. Si une section cens\u00e9e contenir des centaines de produits n'en renvoie qu'une poign\u00e9e, le robot a probablement manqu\u00e9 un sch\u00e9ma de pagination ou une liste charg\u00e9e par script, et les r\u00e8gles de p\u00e9rim\u00e8tre doivent \u00eatre ajust\u00e9es avant d'utiliser les donn\u00e9es.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u00c0 retenir<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Une exploration de site suit automatiquement les liens pour d\u00e9couvrir les pages d'un site web.<\/li><li>L'exploration trouve les pages ; le scraping y lit des valeurs pr\u00e9cises comme les prix.<\/li><li>Les commer\u00e7ants explorent leur propre site pour trouver les liens cass\u00e9s et les produits difficiles d'acc\u00e8s.<\/li><li>Explorer les sections des concurrents r\u00e9v\u00e8le les manques d'assortiment et maintient les comparaisons de prix \u00e0 jour.<\/li><li>Un p\u00e9rim\u00e8tre serr\u00e9, une faible fr\u00e9quence de requ\u00eates et le respect des r\u00e8gles du site rendent les explorations plus rapides et plus loyales.<\/li><\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Questions fr\u00e9quentes<\/h2>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Quelle est la diff\u00e9rence entre l'exploration d'un site et l'indexation ?<\/summary>\n<p class=\"wp-block-paragraph\">L'exploration est l'\u00e9tape de d\u00e9couverte, o\u00f9 les pages sont visit\u00e9es et les liens suivis. L'indexation est une \u00e9tape ult\u00e9rieure, o\u00f9 un moteur de recherche stocke et organise le contenu des pages pour qu'il puisse appara\u00eetre dans les r\u00e9sultats. Une page peut \u00eatre explor\u00e9e sans \u00eatre index\u00e9e.<\/p>\n<\/details>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>\u00c0 quelle fr\u00e9quence explorer ma propre boutique ?<\/summary>\n<p class=\"wp-block-paragraph\">Beaucoup de boutiques lancent une exploration compl\u00e8te chaque mois et une v\u00e9rification plus l\u00e9g\u00e8re apr\u00e8s les changements majeurs, comme une mise \u00e0 jour de th\u00e8me ou un import de catalogue. Les grandes boutiques qui changent chaque jour peuvent explorer plus souvent les sections cl\u00e9s.<\/p>\n<\/details>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Un sitemap remplace-t-il l'exploration ?<\/summary>\n<p class=\"wp-block-paragraph\">Non, mais il aide. Un sitemap liste les pages que le propri\u00e9taire veut faire d\u00e9couvrir, ce qui acc\u00e9l\u00e8re la d\u00e9couverte. L'exploration montre toujours comment les pages sont reli\u00e9es entre elles et trouve les pages absentes du sitemap.<\/p>\n<\/details>\n\n\n\n<h2 class=\"wp-block-heading\">Termes associ\u00e9s<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li><a href=\"\/fr\/pricing-dictionary\/web-scraping\/\">Web scraping<\/a><\/li><li><a href=\"\/fr\/pricing-dictionary\/capturing-screenshots\/\">Captures d'\u00e9cran<\/a><\/li><li><a href=\"\/fr\/pricing-dictionary\/api-integration\/\">Int\u00e9gration API<\/a><\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Dans BlackAha, <a href=\"\/fr\/features\/store-integration\/\">Store Platform Integration<\/a> vous aide \u00e0 connecter votre boutique pour synchroniser automatiquement les prix des produits.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"\/fr\/pricing-dictionary\/\">Retour au Dictionnaire des prix<\/a><\/p>","protected":false},"excerpt":{"rendered":"<p>A site crawl is an automated pass through a website in which a program, called a crawler or spider, starts from one or more pages and follows links to discover the rest, listing the pages it finds with details such as status codes, titles and links. Search engines, SEO audits and price research rely on [&hellip;]<\/p>\n","protected":false},"author":0,"featured_media":0,"parent":1276,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-1706","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/blackaha.com\/fr\/wp-json\/wp\/v2\/pages\/1706","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blackaha.com\/fr\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/blackaha.com\/fr\/wp-json\/wp\/v2\/types\/page"}],"replies":[{"embeddable":true,"href":"https:\/\/blackaha.com\/fr\/wp-json\/wp\/v2\/comments?post=1706"}],"version-history":[{"count":1,"href":"https:\/\/blackaha.com\/fr\/wp-json\/wp\/v2\/pages\/1706\/revisions"}],"predecessor-version":[{"id":1821,"href":"https:\/\/blackaha.com\/fr\/wp-json\/wp\/v2\/pages\/1706\/revisions\/1821"}],"up":[{"embeddable":true,"href":"https:\/\/blackaha.com\/fr\/wp-json\/wp\/v2\/pages\/1276"}],"wp:attachment":[{"href":"https:\/\/blackaha.com\/fr\/wp-json\/wp\/v2\/media?parent=1706"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}