Il test A/B è un esperimento controllato in cui i visitatori vengono suddivisi a caso tra due versioni di qualcosa, come il layout di una pagina, un’offerta o un prezzo, e i risultati vengono confrontati su una metrica concordata. La versione A è di solito l’esperienza attuale, detta controllo, e la versione B è la modifica in prova.
Come funziona uno split test
L’idea centrale è l’assegnazione casuale. Ogni visitatore finisce nel gruppo A o nel gruppo B per caso, così i due gruppi sono uguali sotto ogni aspetto tranne la modifica in prova. Qualsiasi differenza significativa nel risultato si può quindi attribuire a quella modifica e non al meteo, al giorno della settimana o a una nuova campagna pubblicitaria.
- Scrivi un’ipotesi, ad esempio che un modulo di checkout più corto aumenterà gli ordini completati.
- Scegli una metrica principale prima dell’inizio del test.
- Stima quanti visitatori servono a ogni gruppo per rilevare l’effetto che ti interessa.
- Fai girare entrambe le versioni in contemporanea fino a raggiungere quel campione.
- Confronta i risultati e decidi se mantenere, scartare o ritestare la modifica.
Scegliere la metrica giusta
Il tasso di conversione è la metrica più comune, ma può ingannare quando cambiano il prezzo o il valore del carrello. Un prezzo più basso può alzare la conversione riducendo i ricavi. Per i test commerciali, il ricavo per visitatore o il profitto lordo per visitatore di solito raccontano una storia più fedele, perché combinano quante persone comprano e quanto vale ogni ordine.
Tieni una metrica principale e un breve elenco di metriche di controllo, come tasso di rimborso, contatti all’assistenza o tempo di caricamento della pagina. Le metriche di controllo individuano una variante vincente che danneggia qualcos’altro senza farsi notare.
Leggere i risultati senza illudersi
I campioni piccoli producono risultati rumorosi. Supponiamo, per esempio, che un negozio di articoli per la casa mostri ciascuna versione a 2.000 visitatori e che la versione B converta il 3,3 per cento contro il 3,0 per cento della A. La differenza è di appena sei ordini e il caso da solo può produrla facilmente. Un test di significatività o un intervallo di confidenza mostra se la differenza è probabilmente reale.
- Decidi la dimensione del campione in anticipo ed evita di fermarti appena una variante sembra in vantaggio.
- Fai durare i test settimane intere, così includi sia chi compra nei giorni feriali sia chi compra nel weekend.
- Tratta con cautela i confronti simultanei multipli: più confronti significano più falsi vincitori.
- Registra anche i test perdenti, perché evitano di testare la stessa idea più e più volte.
I test A/B sui prezzi
Un test sul prezzo mostra contemporaneamente prezzi diversi per lo stesso prodotto a visitatori diversi. Risponde a una domanda a cui i sondaggi non possono rispondere del tutto: cosa fanno i clienti reali davanti a un prezzo reale. Per esempio, un negozio che vende un supporto per telefono a 40 dollari potrebbe testare 40 dollari contro 44 dollari e confrontare il profitto lordo per visitatore, non solo gli ordini.
Molti team preferiscono impostazioni più morbide, che evitano che due acquirenti vedano prezzi diversi per lo stesso articolo. Le opzioni comuni includono testare una soglia di spedizione, un bundle, un codice sconto mostrato a un solo gruppo o una nuova variante di prodotto con un prezzo proprio. Un altro approccio è il test nel tempo, in cui l’intero negozio passa a un nuovo prezzo per un periodo stabilito e lo si confronta con un periodo precedente simile, accettando che sia meno pulito di un vero split.
Equità, fiducia e cautele legali
I clienti che scoprono di aver pagato lo stesso articolo più di altri possono sentirsi imbrogliati, anche se il test era casuale. Gli screenshot circolano in fretta e un breve esperimento può costare fiducia a lungo termine. Alcuni team applicano il prezzo più basso a chiunque nel gruppo con prezzo più alto lo chieda, oppure rimborsano la differenza a fine test.
Le norme su differenze di prezzo, indicazione dei prezzi e tutela dei consumatori variano da paese a paese e talvolta per settore. Un test non deve mai far variare i prezzi in base a caratteristiche protette, e in alcuni paesi il prezzo mostrato deve essere quello addebitato al checkout. Anche i dati personali usati per assegnare i gruppi possono rientrare nelle leggi sulla privacy. Considera queste informazioni generali e rivolgiti a un consulente legale qualificato prima di condurre test sui prezzi reali in un nuovo mercato.
Errori comuni
- Testare minuscole modifiche estetiche con poco traffico e aspettare mesi per una risposta
- Cambiare la variante a metà test
- Lasciare che i visitatori di ritorno passino da una versione all’altra, mescolando i gruppi
- Ignorare le mosse dei concorrenti durante il test, che possono spostare la domanda di entrambi i gruppi
- Dichiarare un vincitore in base al tasso di conversione quando la modifica ha abbassato anche il valore medio dell’ordine
I prezzi esterni contano più di quanto molti team si aspettino. Se un grande concorrente lancia una promozione nel mezzo di un test sul prezzo, entrambi i gruppi ne risentono e il risultato potrebbe non ripetersi in una settimana normale. Tenere traccia dei prezzi dei concorrenti durante il periodo del test, per esempio con storico prezzi, rende il risultato più facile da interpretare.
Mettere al lavoro i test A/B
Parti da modifiche che probabilmente contano e che costa poco annullare: presentazione dell’offerta, soglie di spedizione, struttura dei bundle e chiarezza della pagina prodotto. Passa ai test diretti sul prezzo quando il team ha un processo affidabile per dimensione del campione, metriche di controllo e comunicazione con i clienti.
Tieni un semplice registro dei test con ipotesi, date, traffico, metrica, risultato e decisione. Col tempo il registro diventa una mappa di ciò a cui reagiscono i clienti del tuo mercato, spesso più preziosa di qualsiasi singola variante vincente.
Punti chiave
- Il test A/B suddivide a caso i visitatori tra un controllo e una variante e confronta una metrica concordata.
- Nei test sul prezzo, ricavo o profitto lordo per visitatore sono di solito metriche migliori del tasso di conversione.
- Pianifica in anticipo la dimensione del campione e fai durare i test settimane intere per evitare falsi vincitori.
- I test sul prezzo comportano rischi di fiducia e legali che variano per mercato: progettali con cura e chiedi un parere legale.
- Registra i prezzi dei concorrenti durante un test, così le mosse esterne non distorcono il risultato.
Domande frequenti
Quanto dovrebbe durare un test A/B?
Abbastanza da raggiungere la dimensione del campione prevista e coprire almeno un ciclo settimanale completo, spesso due. Fermarsi appena una versione sembra in vantaggio tende a produrre falsi vincitori.
È legale mostrare prezzi diversi a clienti diversi?
Dipende dal paese, dal settore e da come vengono scelti i gruppi. L’assegnazione casuale viene trattata diversamente dal targeting basato su caratteristiche personali, e valgono anche le regole sull’indicazione dei prezzi. Chiedi a un consulente legale per i mercati in cui vendi.
Qual è la differenza tra test A/B e test multivariato?
Un test A/B confronta due versioni di una singola modifica. Un test multivariato cambia più elementi insieme e ne studia le combinazioni, e richiede molto più traffico per dare una risposta affidabile.
Un piccolo negozio può fare test A/B?
Sì, ma dovrebbe testare cambiamenti decisi con effetti attesi ampi, perché gli effetti piccoli richiedono campioni molto grandi. I negozi con poco traffico spesso imparano di più da variazioni di prezzo nel tempo analizzate con attenzione.
Termini correlati
In BlackAha, Smart Price ti aiuta a ottenere un prezzo di vendita consigliato per ogni prodotto, in base ai prezzi dei concorrenti e del mercato.