{"id":1706,"date":"2026-11-13T12:55:53","date_gmt":"2026-11-13T12:55:53","guid":{"rendered":"https:\/\/blackaha.com\/pricing-dictionary\/site-crawl\/"},"modified":"2026-11-15T15:31:23","modified_gmt":"2026-11-15T15:31:23","slug":"site-crawl","status":"publish","type":"page","link":"https:\/\/blackaha.com\/it\/pricing-dictionary\/site-crawl\/","title":{"rendered":"Crawling del sito"},"content":{"rendered":"<figure class=\"bl-illustration alignwide bl-dict-hero wp-block-blackaha-lens-illustration\"><svg class=\"bl-svg bl-svg--illustration\" focusable=\"false\" role=\"img\" aria-label=\"Un albero di nodi pagina collegati che si dirama da un nodo home, con i nodi visitati pieni in blu e quelli non visitati solo contornati.\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" viewbox=\"0 0 480 320\">\n  <rect class=\"f-surface-alt\" width=\"480\" height=\"320\" rx=\"16\"\/>\n  <g class=\"s-line\" stroke-width=\"3\" fill=\"none\">\n    <path d=\"M240 72 L128 152 M240 72 L240 152 M240 72 L352 152\"\/>\n    <path d=\"M128 152 L84 236 M128 152 L172 236 M240 152 L240 236 M352 152 L308 236 M352 152 L396 236\"\/>\n  <\/g>\n  <path class=\"s-brand\" d=\"M240 72 L128 152 L84 236 M128 152 L172 236 M240 72 L240 152\" fill=\"none\" stroke-width=\"4\" stroke-linecap=\"round\"\/>\n  <rect class=\"f-brand\" x=\"216\" y=\"48\" width=\"48\" height=\"48\" rx=\"10\"\/>\n  <rect class=\"f-brand\" x=\"108\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\"\/>\n  <rect class=\"f-brand\" x=\"220\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"332\" y=\"132\" width=\"40\" height=\"40\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-brand-soft s-brand\" x=\"66\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-brand-soft s-brand\" x=\"154\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"222\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"290\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <rect class=\"f-surface s-ink-soft\" x=\"378\" y=\"220\" width=\"36\" height=\"36\" rx=\"8\" stroke-width=\"3\"\/>\n  <circle class=\"s-ink\" cx=\"300\" cy=\"106\" r=\"14\" fill=\"none\" stroke-width=\"3\"\/>\n  <line class=\"s-ink\" x1=\"310\" y1=\"116\" x2=\"324\" y2=\"130\" stroke-width=\"4\" stroke-linecap=\"round\"\/>\n<\/svg><\/figure>\n\n\n<p class=\"wp-block-paragraph\">Il crawling del sito \u00e8 un passaggio automatico su un sito web in cui un programma, chiamato crawler o spider, parte da una o pi\u00f9 pagine e segue i link per scoprire le altre, elencando le pagine trovate con dettagli come codici di stato, titoli e link. Motori di ricerca, audit SEO e ricerche sui prezzi si basano su di esso.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Come un crawler si muove in un sito<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Un crawling parte da indirizzi iniziali (seed), di solito la home page o una sitemap. Il crawler richiede una pagina, registra cosa restituisce, raccoglie tutti i link presenti e aggiunge i nuovi indirizzi a una coda. Poi prende l\u2019indirizzo successivo dalla coda e ripete, saltando le pagine gi\u00e0 viste. Il processo continua finch\u00e9 la coda \u00e8 vuota o si raggiunge un limite.<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Seed: gli indirizzi di partenza, spesso integrati da una sitemap XML.<\/li><li>Coda: l\u2019elenco degli indirizzi scoperti ancora in attesa di essere visitati.<\/li><li>Regole di ambito: in quali domini, cartelle o tipi di pagina pu\u00f2 entrare il crawling.<\/li><li>Limiti: profondit\u00e0 massima, numero di pagine e frequenza delle richieste.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">L\u2019ordine della coda determina il risultato. Un crawling in ampiezza (breadth-first) visita tutte le pagine a un clic dal punto di partenza prima di andare pi\u00f9 a fondo, il che mappa rapidamente le sezioni principali. Un crawling in profondit\u00e0 (depth-first) segue un ramo fino in fondo prima di tornare indietro. Per i negozi di solito si preferisce quello in ampiezza, perch\u00e9 le pagine di categoria e di elenco in alto portano in modo efficiente ai prodotti.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Crawling e scraping a confronto<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Il crawling riguarda scoperta e struttura; lo scraping riguarda l\u2019estrazione di valori specifici. Un crawler risponde alla domanda su quali pagine esistono e come sono collegate. Uno scraper risponde a cosa dice una determinata pagina, come il suo prezzo. In un progetto sui prezzi dei concorrenti, il crawling trova le pagine prodotto in una categoria di un rivale, e lo scraper legge poi il prezzo da ogni pagina trovata.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Le due fasi seguono anche tempistiche diverse. Gli elenchi di prodotti cambiano lentamente rispetto ai prezzi, quindi un team potrebbe scansionare le categorie di un concorrente una volta a settimana per aggiornare l\u2019elenco delle pagine, leggendo invece ogni giorno i prezzi da quelle pagine gi\u00e0 note. Separare i lavori mantiene leggera l\u2019attivit\u00e0 frequente ed evita di riscoprire sempre le stesse pagine.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Usi per la SEO e la salute del sito<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">I proprietari di siti scansionano i propri negozi per vederli come li vedrebbe un motore di ricerca. Un crawling rivela link non funzionanti, catene di reindirizzamenti, titoli duplicati, descrizioni mancanti, pagine orfane senza link interni che puntano a loro e pagine bloccate per errore dall\u2019indicizzazione.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Per un negozio online, i risultati del crawling mostrano spesso pagine prodotto difficili da raggiungere. Se un prodotto si trova a cinque o sei clic dalla home page, o compare solo tramite un filtro, i motori di ricerca possono visitarlo di rado. Sistemare i link interni pu\u00f2 riportare in vista queste pagine.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Il crawling \u00e8 utile anche come controllo dopo una migrazione di piattaforma o una grande importazione di catalogo. Confrontare l\u2019elenco delle pagine prima e dopo mostra quali vecchi indirizzi ora restituiscono errori e richiedono reindirizzamenti, proteggendo sia la visibilit\u00e0 nei motori di ricerca sia i clienti che arrivano da link salvati o siti di confronto.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Usi nella ricerca su prezzi e assortimento<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Scansionare le pagine di categoria pubbliche di un concorrente mostra cosa vende, non solo quanto fa pagare. Confrontare i prodotti scoperti con il tuo catalogo pu\u00f2 rivelare delle lacune, articoli che loro hanno e tu no. Il <a href=\"\/it\/features\/product-gap-finder\/\">Product Gap Finder<\/a> di BlackAha \u00e8 costruito proprio su questo tipo di confronto.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">La scoperta mantiene aggiornati anche i confronti di prezzo. I concorrenti aggiungono nuovi prodotti, ritirano quelli vecchi e cambiano gli indirizzi delle pagine. Un crawling periodico delle sezioni rilevanti aggiorna l\u2019elenco delle pagine da seguire, cos\u00ec i controlli dei prezzi non continuano a leggere pagine rimosse n\u00e9 perdono quelle nuove.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Dimensionare un crawling: un esempio<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Supponi, per esempio, che un rivenditore di articoli da giardino voglia mappare la sezione arredo da esterno di un concorrente. La sezione ha 12 pagine di elenco con 40 prodotti ciascuna, quindi circa 480 pagine prodotto pi\u00f9 le pagine di elenco stesse. Con una frequenza cortese di una richiesta ogni due secondi, un passaggio completo richiede circa 16 minuti. Scansionare l\u2019intero negozio, magari 30.000 pagine, alla stessa frequenza richiederebbe pi\u00f9 di 16 ore, il che mostra perch\u00e9 le regole di ambito sono importanti.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Un ambito ristretto fa risparmiare tempo a entrambe le parti. Un crawling limitato alle sezioni in cui competi davvero d\u00e0 un risultato pi\u00f9 rapido e pulito e pesa meno sul sito che viene letto.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Crawling responsabile<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Rispetta il file delle regole per i robot e i termini di servizio del sito.<\/li><li>Mantieni bassa la frequenza delle richieste ed evita, se possibile, i periodi di punta.<\/li><li>Stai fuori dalle aree riservate, dai carrelli e dalle pagine account.<\/li><li>Identifica il crawler in modo onesto invece di imitare un utente con browser.<\/li><li>Fermati o rallenta se il sito inizia a restituire errori.<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Le regole sull\u2019accesso automatizzato variano da Paese a Paese e dipendono da come vengono usati i dati raccolti. Quando scansioni siti che non sono tuoi, \u00e8 saggio chiedere un parere legale sui tuoi piani specifici.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Problemi comuni del crawling<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Spazi infiniti, come calendari o combinazioni di filtri che generano all\u2019infinito nuovi indirizzi<\/li><li>Pagine duplicate raggiunte tramite parametri di tracciamento o opzioni di ordinamento<\/li><li>Contenuti che compaiono solo dopo l\u2019esecuzione di script, che i crawler semplici non vedono<\/li><li>Pagine che appaiono diverse a seconda di regione, lingua o valuta<\/li><li>Crawling cos\u00ec lunghi che le prime pagine sono gi\u00e0 superate quando finiscono le ultime<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Normalizzare gli indirizzi, rimuovere i parametri inutili e fissare un limite di pagine rigido risolve la maggior parte di questi problemi. Per il lavoro sui prezzi aiuta anche registrare la data del crawling su ogni pagina scoperta, cos\u00ec le voci non aggiornate si possono ricontrollare per prime.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Infine, controlla che nei risultati non ci siano buchi. Se una sezione che dovrebbe contenere centinaia di prodotti ne restituisce solo una manciata, probabilmente il crawler ha mancato uno schema di paginazione o un elenco caricato via script, e le regole di ambito vanno corrette prima di usare i dati.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Punti chiave<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>Il crawling del sito segue automaticamente i link per scoprire le pagine di un sito web.<\/li><li>Il crawling trova le pagine; lo scraping ne legge valori specifici come i prezzi.<\/li><li>I proprietari di negozi scansionano i propri siti per trovare link non funzionanti e prodotti difficili da raggiungere.<\/li><li>Scansionare le sezioni dei concorrenti rivela lacune nell\u2019assortimento e mantiene aggiornati i confronti di prezzo.<\/li><li>Ambito ristretto, poche richieste e rispetto delle regole del sito rendono il crawling pi\u00f9 rapido e corretto.<\/li><\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Domande frequenti<\/h2>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Qual \u00e8 la differenza tra crawling e indicizzazione?<\/summary>\n<p class=\"wp-block-paragraph\">Il crawling \u00e8 la fase di scoperta, in cui si visitano le pagine e si seguono i link. L\u2019indicizzazione \u00e8 una fase successiva, in cui un motore di ricerca memorizza e organizza il contenuto delle pagine perch\u00e9 possa comparire nei risultati. Una pagina pu\u00f2 essere scansionata e non essere comunque indicizzata.<\/p>\n<\/details>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Ogni quanto dovrei fare il crawling del mio negozio?<\/summary>\n<p class=\"wp-block-paragraph\">Molti negozi eseguono un crawling completo ogni mese e un controllo pi\u00f9 leggero dopo modifiche importanti, come un aggiornamento del tema o un\u2019importazione del catalogo. I grandi negozi che cambiano ogni giorno possono scansionare pi\u00f9 spesso le sezioni chiave.<\/p>\n<\/details>\n\n\n\n<details class=\"wp-block-details is-style-faq is-layout-flow wp-block-details-is-layout-flow\"><summary>Una sitemap sostituisce il crawling?<\/summary>\n<p class=\"wp-block-paragraph\">No, ma aiuta. Una sitemap elenca le pagine che il proprietario vuole far trovare, il che velocizza la scoperta. Il crawling mostra comunque come le pagine sono collegate tra loro e trova le pagine assenti dalla sitemap.<\/p>\n<\/details>\n\n\n\n<h2 class=\"wp-block-heading\">Termini correlati<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li><a href=\"\/it\/pricing-dictionary\/web-scraping\/\">Web scraping<\/a><\/li><li><a href=\"\/it\/pricing-dictionary\/capturing-screenshots\/\">Acquisizione di screenshot<\/a><\/li><li><a href=\"\/it\/pricing-dictionary\/api-integration\/\">Integrazione API<\/a><\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">In BlackAha, <a href=\"\/it\/features\/store-integration\/\">Store Platform Integration<\/a> ti aiuta a collegare il tuo negozio per sincronizzare i prezzi dei prodotti in automatico.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"\/it\/pricing-dictionary\/\">Torna al Dizionario dei prezzi<\/a><\/p>","protected":false},"excerpt":{"rendered":"<p>A site crawl is an automated pass through a website in which a program, called a crawler or spider, starts from one or more pages and follows links to discover the rest, listing the pages it finds with details such as status codes, titles and links. Search engines, SEO audits and price research rely on [&hellip;]<\/p>\n","protected":false},"author":0,"featured_media":0,"parent":1276,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-1706","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/blackaha.com\/it\/wp-json\/wp\/v2\/pages\/1706","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blackaha.com\/it\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/blackaha.com\/it\/wp-json\/wp\/v2\/types\/page"}],"replies":[{"embeddable":true,"href":"https:\/\/blackaha.com\/it\/wp-json\/wp\/v2\/comments?post=1706"}],"version-history":[{"count":1,"href":"https:\/\/blackaha.com\/it\/wp-json\/wp\/v2\/pages\/1706\/revisions"}],"predecessor-version":[{"id":1821,"href":"https:\/\/blackaha.com\/it\/wp-json\/wp\/v2\/pages\/1706\/revisions\/1821"}],"up":[{"embeddable":true,"href":"https:\/\/blackaha.com\/it\/wp-json\/wp\/v2\/pages\/1276"}],"wp:attachment":[{"href":"https:\/\/blackaha.com\/it\/wp-json\/wp\/v2\/media?parent=1706"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}