Il crawling del sito è un passaggio automatico su un sito web in cui un programma, chiamato crawler o spider, parte da una o più pagine e segue i link per scoprire le altre, elencando le pagine trovate con dettagli come codici di stato, titoli e link. Motori di ricerca, audit SEO e ricerche sui prezzi si basano su di esso.
Come un crawler si muove in un sito
Un crawling parte da indirizzi iniziali (seed), di solito la home page o una sitemap. Il crawler richiede una pagina, registra cosa restituisce, raccoglie tutti i link presenti e aggiunge i nuovi indirizzi a una coda. Poi prende l’indirizzo successivo dalla coda e ripete, saltando le pagine già viste. Il processo continua finché la coda è vuota o si raggiunge un limite.
- Seed: gli indirizzi di partenza, spesso integrati da una sitemap XML.
- Coda: l’elenco degli indirizzi scoperti ancora in attesa di essere visitati.
- Regole di ambito: in quali domini, cartelle o tipi di pagina può entrare il crawling.
- Limiti: profondità massima, numero di pagine e frequenza delle richieste.
L’ordine della coda determina il risultato. Un crawling in ampiezza (breadth-first) visita tutte le pagine a un clic dal punto di partenza prima di andare più a fondo, il che mappa rapidamente le sezioni principali. Un crawling in profondità (depth-first) segue un ramo fino in fondo prima di tornare indietro. Per i negozi di solito si preferisce quello in ampiezza, perché le pagine di categoria e di elenco in alto portano in modo efficiente ai prodotti.
Crawling e scraping a confronto
Il crawling riguarda scoperta e struttura; lo scraping riguarda l’estrazione di valori specifici. Un crawler risponde alla domanda su quali pagine esistono e come sono collegate. Uno scraper risponde a cosa dice una determinata pagina, come il suo prezzo. In un progetto sui prezzi dei concorrenti, il crawling trova le pagine prodotto in una categoria di un rivale, e lo scraper legge poi il prezzo da ogni pagina trovata.
Le due fasi seguono anche tempistiche diverse. Gli elenchi di prodotti cambiano lentamente rispetto ai prezzi, quindi un team potrebbe scansionare le categorie di un concorrente una volta a settimana per aggiornare l’elenco delle pagine, leggendo invece ogni giorno i prezzi da quelle pagine già note. Separare i lavori mantiene leggera l’attività frequente ed evita di riscoprire sempre le stesse pagine.
Usi per la SEO e la salute del sito
I proprietari di siti scansionano i propri negozi per vederli come li vedrebbe un motore di ricerca. Un crawling rivela link non funzionanti, catene di reindirizzamenti, titoli duplicati, descrizioni mancanti, pagine orfane senza link interni che puntano a loro e pagine bloccate per errore dall’indicizzazione.
Per un negozio online, i risultati del crawling mostrano spesso pagine prodotto difficili da raggiungere. Se un prodotto si trova a cinque o sei clic dalla home page, o compare solo tramite un filtro, i motori di ricerca possono visitarlo di rado. Sistemare i link interni può riportare in vista queste pagine.
Il crawling è utile anche come controllo dopo una migrazione di piattaforma o una grande importazione di catalogo. Confrontare l’elenco delle pagine prima e dopo mostra quali vecchi indirizzi ora restituiscono errori e richiedono reindirizzamenti, proteggendo sia la visibilità nei motori di ricerca sia i clienti che arrivano da link salvati o siti di confronto.
Usi nella ricerca su prezzi e assortimento
Scansionare le pagine di categoria pubbliche di un concorrente mostra cosa vende, non solo quanto fa pagare. Confrontare i prodotti scoperti con il tuo catalogo può rivelare delle lacune, articoli che loro hanno e tu no. Il Product Gap Finder di BlackAha è costruito proprio su questo tipo di confronto.
La scoperta mantiene aggiornati anche i confronti di prezzo. I concorrenti aggiungono nuovi prodotti, ritirano quelli vecchi e cambiano gli indirizzi delle pagine. Un crawling periodico delle sezioni rilevanti aggiorna l’elenco delle pagine da seguire, così i controlli dei prezzi non continuano a leggere pagine rimosse né perdono quelle nuove.
Dimensionare un crawling: un esempio
Supponi, per esempio, che un rivenditore di articoli da giardino voglia mappare la sezione arredo da esterno di un concorrente. La sezione ha 12 pagine di elenco con 40 prodotti ciascuna, quindi circa 480 pagine prodotto più le pagine di elenco stesse. Con una frequenza cortese di una richiesta ogni due secondi, un passaggio completo richiede circa 16 minuti. Scansionare l’intero negozio, magari 30.000 pagine, alla stessa frequenza richiederebbe più di 16 ore, il che mostra perché le regole di ambito sono importanti.
Un ambito ristretto fa risparmiare tempo a entrambe le parti. Un crawling limitato alle sezioni in cui competi davvero dà un risultato più rapido e pulito e pesa meno sul sito che viene letto.
Crawling responsabile
- Rispetta il file delle regole per i robot e i termini di servizio del sito.
- Mantieni bassa la frequenza delle richieste ed evita, se possibile, i periodi di punta.
- Stai fuori dalle aree riservate, dai carrelli e dalle pagine account.
- Identifica il crawler in modo onesto invece di imitare un utente con browser.
- Fermati o rallenta se il sito inizia a restituire errori.
Le regole sull’accesso automatizzato variano da Paese a Paese e dipendono da come vengono usati i dati raccolti. Quando scansioni siti che non sono tuoi, è saggio chiedere un parere legale sui tuoi piani specifici.
Problemi comuni del crawling
- Spazi infiniti, come calendari o combinazioni di filtri che generano all’infinito nuovi indirizzi
- Pagine duplicate raggiunte tramite parametri di tracciamento o opzioni di ordinamento
- Contenuti che compaiono solo dopo l’esecuzione di script, che i crawler semplici non vedono
- Pagine che appaiono diverse a seconda di regione, lingua o valuta
- Crawling così lunghi che le prime pagine sono già superate quando finiscono le ultime
Normalizzare gli indirizzi, rimuovere i parametri inutili e fissare un limite di pagine rigido risolve la maggior parte di questi problemi. Per il lavoro sui prezzi aiuta anche registrare la data del crawling su ogni pagina scoperta, così le voci non aggiornate si possono ricontrollare per prime.
Infine, controlla che nei risultati non ci siano buchi. Se una sezione che dovrebbe contenere centinaia di prodotti ne restituisce solo una manciata, probabilmente il crawler ha mancato uno schema di paginazione o un elenco caricato via script, e le regole di ambito vanno corrette prima di usare i dati.
Punti chiave
- Il crawling del sito segue automaticamente i link per scoprire le pagine di un sito web.
- Il crawling trova le pagine; lo scraping ne legge valori specifici come i prezzi.
- I proprietari di negozi scansionano i propri siti per trovare link non funzionanti e prodotti difficili da raggiungere.
- Scansionare le sezioni dei concorrenti rivela lacune nell’assortimento e mantiene aggiornati i confronti di prezzo.
- Ambito ristretto, poche richieste e rispetto delle regole del sito rendono il crawling più rapido e corretto.
Domande frequenti
Qual è la differenza tra crawling e indicizzazione?
Il crawling è la fase di scoperta, in cui si visitano le pagine e si seguono i link. L’indicizzazione è una fase successiva, in cui un motore di ricerca memorizza e organizza il contenuto delle pagine perché possa comparire nei risultati. Una pagina può essere scansionata e non essere comunque indicizzata.
Ogni quanto dovrei fare il crawling del mio negozio?
Molti negozi eseguono un crawling completo ogni mese e un controllo più leggero dopo modifiche importanti, come un aggiornamento del tema o un’importazione del catalogo. I grandi negozi che cambiano ogni giorno possono scansionare più spesso le sezioni chiave.
Una sitemap sostituisce il crawling?
No, ma aiuta. Una sitemap elenca le pagine che il proprietario vuole far trovare, il che velocizza la scoperta. Il crawling mostra comunque come le pagine sono collegate tra loro e trova le pagine assenti dalla sitemap.
Termini correlati
In BlackAha, Store Platform Integration ti aiuta a collegare il tuo negozio per sincronizzare i prezzi dei prodotti in automatico.