Web scraping

Il web scraping è l’estrazione automatica di dati specifici dalle pagine web in un formato strutturato, come una tabella o un database. Un programma carica una pagina, individua elementi come titolo del prodotto, prezzo e disponibilità e li salva. Nel pricing raccoglie i prezzi pubblici dei concorrenti su una scala che i controlli manuali non possono eguagliare.

Dalla pagina alla tabella

Una pagina web è fatta per essere letta dalle persone, con layout, immagini e navigazione intorno ai fatti. Lo scraping toglie tutto questo. Il programma richiede una pagina, ne legge il markup sottostante, individua i campi che deve trovare e li scrive come valori puliti: un nome, un numero, una valuta, una data e un’ora.

  1. Recupero: richiede la pagina, a volte eseguendo gli script perché compaiano anche i prezzi caricati in un secondo momento.
  2. Analisi: legge la struttura della pagina e individua i campi in base alla posizione, alle etichette o ai dati prodotto incorporati.
  3. Estrazione: preleva i valori e li converte, per esempio trasformando un prezzo con il simbolo di valuta in un numero.
  4. Archiviazione: salva ogni valore con la pagina di origine e il momento della raccolta.

Scraping, crawling e API

Lo scraping viene spesso confuso con il crawling. Un crawler scopre le pagine seguendo i link di un sito; uno scraper estrae dati da pagine che conosce già. Molti progetti usano entrambi: il crawling per trovare le pagine prodotto e lo scraping per leggerle.

Un’API è tutt’altra strada. Quando un sito o una piattaforma offre un’interfaccia ufficiale per i suoi dati, di solito quell’interfaccia è più stabile e chiaramente consentita. Lo scraping si usa in genere dove non esiste un’API adatta per quei dati.

Molte pagine prodotto includono nel markup anche dati prodotto strutturati, pensati per i motori di ricerca. Di solito riportano nome, marchio, prezzo, valuta e disponibilità in un formato coerente. Quando sono presenti e accurati, sono più facili e affidabili da leggere rispetto al layout visibile, anche se possono essere in ritardo rispetto al prezzo effettivamente mostrato.

Perché i team prezzi ci fanno affidamento

I prezzi dei concorrenti cambiano spesso, e un catalogo di qualche migliaio di prodotti su diversi negozi rivali diventa presto troppo grande da controllare a mano. La raccolta automatica rende possibile un confronto regolare, che a sua volta supporta indici di prezzo, avvisi e decisioni di riprezzamento.

Per esempio, supponiamo che un negozio di componenti per bici segua 600 prodotti su cinque concorrenti e voglia i prezzi due volte al giorno. Sono 6.000 letture di pagina al giorno. A mano, anche a 20 secondi per controllo, servirebbero più di 33 ore ogni giorno. L’automazione lo trasforma in un’attività in background, e servizi come il monitoraggio dei prezzi offrono questa raccolta già pronta per i commercianti.

Regole per uno scraping responsabile

  • Leggi e rispetta le condizioni d’uso del sito, che possono limitare l’accesso automatico.
  • Controlla il file delle regole robots, in cui i proprietari del sito indicano quali percorsi gli agenti automatici devono evitare.
  • Limita la frequenza delle richieste e distribuiscile nel tempo, così il sito non rallenta per i visitatori reali.
  • Identifica il tuo agente in modo onesto invece di camuffare il traffico automatico.
  • Raccogli solo i dati pubblici che ti servono ed evita le pagine protette da login.
  • Evita i dati personali se non hai una base giuridica chiara, perché sono soggetti alle norme sulla privacy.

Queste abitudini sono una forma di cortesia e riducono anche i rischi tecnici e legali.

La legalità varia

La liceità dello scraping dipende dal paese, dal tipo di dati, da come vi si accede e da cosa se ne fa dopo. Possono sorgere questioni legate a condizioni contrattuali, leggi sull’uso improprio dei sistemi informatici, diritti sulle banche dati, copyright e norme sulla protezione dei dati. I prezzi pubblici sono spesso considerati diversamente dai contenuti personali o protetti da copyright, ma non esiste un’unica risposta valida ovunque. Chi pianifica un progetto di scraping dovrebbe farsi consigliare da un professionista legale che conosca i mercati interessati.

Insidie per la qualità dei dati

  • Modifiche al layout che interrompono l’estrazione senza avvisare, così un campo restituisce valori vuoti o sbagliati
  • Prezzi che variano per area geografica, valuta, stato di login o variante selezionata
  • Prezzi scontati rilevati senza il prezzo originale, o viceversa
  • Prezzi di bundle o confezioni multiple confrontati con unità singole
  • Pagine di prodotti esauriti che mostrano comunque un prezzo

I buoni scraper convalidano ciò che raccolgono. Un prezzo che crolla all’improvviso del 90 percento è più probabilmente un errore di estrazione che una variazione reale, e va segnalato prima che qualcuno agisca. Conservare data, ora e fonte di ogni valore rende possibili questi controlli.

L’abbinamento è l’altra metà della qualità. Uno scraper può leggere un prezzo alla perfezione e trarre comunque in inganno se la pagina riguarda un prodotto leggermente diverso, come un modello più recente, una taglia diversa o un’unità ricondizionata. Confrontare identificativi come numeri di modello o codici a barre, dove disponibili, e verificare a mano gli abbinamenti incerti mantiene i confronti corretti.

Iniziare con criterio

Parti da un elenco chiaro di prodotti e concorrenti, definisci con precisione quali campi contano e stabilisci ogni quanto vanno aggiornati. Molti prodotti non hanno bisogno di controlli ogni ora. Un insieme di dati contenuto e ben convalidato è più utile di uno enorme e rumoroso, e pesa molto meno sui siti altrui.

Prevedi la manutenzione fin dal primo giorno. I siti cambiano layout, aggiungono nuove protezioni e spostano le pagine prodotto, quindi le regole di estrazione vanno controllate regolarmente. Monitorare ogni giorno la quota di pagine che restituiscono un prezzo valido è una semplice misura di salute: un calo improvviso per un sito di solito significa che il layout è cambiato e le regole vanno aggiornate.

Punti chiave

  • Il web scraping estrae automaticamente dati specifici dalle pagine web in record strutturati.
  • Permette ai team prezzi di confrontare i prezzi dei concorrenti su una scala che i controlli manuali non possono raggiungere.
  • Rispetta condizioni d’uso, regole robots e limiti di frequenza, ed evita i dati personali.
  • La legalità varia in base al paese e all’uso, quindi chiedi una consulenza legale prima di iniziare.
  • Convalida i valori raccolti e conserva data e ora, così gli errori vengono individuati prima di prendere decisioni.

Domande frequenti

Il web scraping è legale?

Dipende dalla giurisdizione, dai dati e da come vengono raccolti e usati. I dati pubblici sui prezzi sono spesso trattati diversamente dai contenuti personali o protetti da copyright. Rispetta le condizioni dei siti e chiedi una consulenza legale per il tuo caso specifico.

Che differenza c’è tra web scraping e web crawling?

Il crawling scopre le pagine seguendo i link, mentre lo scraping estrae dati specifici dalle pagine. Un sistema di monitoraggio prezzi spesso fa crawling per trovare le pagine prodotto, poi scraping di ciascuna per leggerne prezzo e disponibilità.

Con che frequenza fare scraping dei prezzi dei concorrenti?

Tanto spesso quanto richiede la decisione. Le categorie che si muovono in fretta possono giustificare più controlli al giorno, mentre i prodotti stabili si possono controllare ogni giorno o ogni settimana. Una frequenza più bassa riduce anche il carico sui siti letti.

Termini correlati

In BlackAha, Store Platform Integration ti aiuta a collegare il tuo negozio per sincronizzare i prezzi dei prodotti in automatico.

Torna al Dizionario dei prezzi