Test A/B

Le test A/B est une expérience contrôlée dans laquelle les visiteurs sont répartis au hasard entre deux versions d'un élément, comme la mise en page d'une page, une offre ou un prix, et les résultats sont comparés sur un indicateur convenu. La version A est généralement l'expérience actuelle, appelée témoin, et la version B le changement testé.

Comment fonctionne un test fractionné

L'idée centrale est la répartition aléatoire. Chaque visiteur est placé par hasard dans le groupe A ou le groupe B, de sorte que les deux groupes se ressemblent en tout point, sauf pour le changement testé. Tout écart significatif dans le résultat peut alors être attribué à ce changement plutôt qu'à la météo, au jour de la semaine ou à une nouvelle campagne publicitaire.

  1. Formulez une hypothèse, par exemple qu'un formulaire de paiement plus court augmentera les commandes finalisées.
  2. Choisissez un indicateur principal avant le début du test.
  3. Estimez le nombre de visiteurs nécessaires dans chaque groupe pour détecter l'effet qui vous intéresse.
  4. Faites tourner les deux versions en même temps jusqu'à atteindre cet échantillon.
  5. Comparez les résultats et décidez de conserver, rejeter ou retester le changement.

Choisir le bon indicateur

Le taux de conversion est l'indicateur le plus courant, mais il peut induire en erreur quand le prix ou la taille du panier change. Un prix plus bas peut augmenter la conversion tout en réduisant le chiffre d'affaires. Pour les tests commerciaux, le chiffre d'affaires par visiteur ou la marge brute par visiteur reflètent généralement mieux la réalité, car ils combinent le nombre d'acheteurs et la valeur de chaque commande.

Gardez un indicateur principal et une courte liste d'indicateurs garde-fous, comme le taux de remboursement, les contacts au support ou le temps de chargement des pages. Les garde-fous repèrent une variante gagnante qui dégrade discrètement autre chose.

Lire les résultats sans se tromper soi-même

Les petits échantillons donnent des résultats bruités. Supposons par exemple qu'une boutique d'articles pour la maison montre chaque version à 2,000 visiteurs et que la version B convertisse à 3.3 pour cent contre 3.0 pour cent pour A. Cet écart ne représente que six commandes, et le hasard seul peut facilement le produire. Un test de significativité ou un intervalle de confiance montre si la différence a des chances de se confirmer.

  • Fixez la taille de l'échantillon à l'avance et évitez d'arrêter dès qu'une variante semble en tête.
  • Menez les tests sur des semaines entières pour inclure à la fois les acheteurs de la semaine et ceux du week-end.
  • Traitez avec prudence les nombreuses comparaisons simultanées : plus il y a de comparaisons, plus il y a de faux gagnants.
  • Consignez aussi les tests perdants : ils évitent de tester la même idée encore et encore.

Le cas particulier des tests A/B de prix

Un test de prix affiche au même moment des prix différents pour le même produit à différents visiteurs. Il répond à une question à laquelle les enquêtes ne peuvent pas entièrement répondre : ce que font de vrais clients face à un vrai prix. Par exemple, une boutique qui vend un support de téléphone à 40 dollars pourrait tester 40 dollars contre 44 dollars et comparer la marge brute par visiteur, pas seulement les commandes.

De nombreuses équipes préfèrent des dispositifs plus doux, qui évitent que deux acheteurs voient des prix différents pour un article identique. Les options courantes consistent à tester un seuil de livraison, une offre groupée, un code de réduction affiché à un seul groupe ou une nouvelle variante de produit avec son propre prix. Une autre approche est le test dans le temps : toute la boutique passe à un nouveau prix pendant une période définie, puis on compare avec une période antérieure similaire, en acceptant que ce soit moins rigoureux qu'un vrai test fractionné.

Équité, confiance et précautions juridiques

Les clients qui découvrent qu'ils ont payé plus cher que d'autres pour le même article peuvent se sentir trompés, même si le test était aléatoire. Les captures d'écran circulent vite, et une courte expérience peut coûter une confiance durable. Certaines équipes accordent le prix le plus bas à toute personne du groupe au prix élevé qui le demande, ou remboursent la différence à la fin du test.

Les règles sur les différences de prix, l'affichage des prix et la protection des consommateurs varient selon les pays et parfois selon les secteurs. Un test ne doit jamais faire varier les prix selon des caractéristiques protégées, et certains pays exigent que le prix affiché soit le prix facturé au paiement. Les données personnelles utilisées pour répartir les groupes peuvent aussi relever du droit de la vie privée. Considérez ces éléments comme une information générale et consultez un conseiller juridique qualifié avant de lancer des tests de prix réels sur un nouveau marché.

Erreurs fréquentes

  • Tester de minuscules changements esthétiques avec peu de trafic et attendre des mois une réponse
  • Modifier la variante en cours de test
  • Laisser les visiteurs récurrents passer d'une version à l'autre, ce qui mélange les groupes
  • Ignorer les mouvements des concurrents pendant le test, qui peuvent déplacer la demande des deux groupes
  • Désigner un gagnant sur le taux de conversion alors que le changement a aussi fait baisser le panier moyen

Les prix extérieurs comptent plus que beaucoup d'équipes ne le pensent. Si un grand concurrent lance une promotion au milieu d'un test de prix, les deux groupes sont touchés, et le résultat risque de ne pas se reproduire une semaine normale. Conserver un historique des prix concurrents sur la période du test, par exemple avec l’historique des prix, facilite l'interprétation du résultat.

Mettre le test A/B en pratique

Commencez par des changements susceptibles de compter et faciles à annuler : présentation de l'offre, seuils de livraison, composition des offres groupées et clarté des pages produits. Passez aux tests de prix directs une fois que l'équipe dispose d'un processus fiable pour la taille des échantillons, les garde-fous et la communication avec les clients.

Tenez un journal de tests simple avec l'hypothèse, les dates, le trafic, l'indicateur, le résultat et la décision. Avec le temps, ce journal devient une carte de ce à quoi réagissent les clients de votre marché, souvent plus précieuse que n'importe quelle variante gagnante.

À retenir

  • Le test A/B répartit au hasard les visiteurs entre un témoin et une variante et compare un indicateur convenu.
  • Pour les tests de prix, le chiffre d'affaires ou la marge brute par visiteur est généralement un meilleur indicateur que le taux de conversion.
  • Fixez la taille de l'échantillon à l'avance et menez les tests sur des semaines entières pour éviter les faux gagnants.
  • Les tests de prix comportent des risques de confiance et juridiques qui varient selon le marché : concevez-les avec soin et demandez un avis juridique.
  • Consignez les prix des concurrents pendant un test pour que les mouvements extérieurs ne faussent pas le résultat.

Questions fréquentes

Combien de temps un test A/B doit-il durer ?

Assez longtemps pour atteindre la taille d'échantillon prévue et couvrir au moins un cycle hebdomadaire complet, souvent deux. Arrêter dès qu'une version semble en tête produit souvent de faux gagnants.

Est-il légal d'afficher des prix différents à différents clients ?

Cela dépend du pays, du secteur et de la façon dont les groupes sont constitués. Une répartition aléatoire n'est pas traitée comme un ciblage selon des caractéristiques personnelles, et les règles d'affichage des prix s'appliquent aussi. Demandez l'avis d'un conseiller juridique pour les marchés où vous vendez.

Quelle est la différence entre un test A/B et un test multivarié ?

Un test A/B compare deux versions d'un même changement. Un test multivarié modifie plusieurs éléments à la fois et étudie leurs combinaisons, ce qui demande beaucoup plus de trafic pour obtenir une réponse fiable.

Une petite boutique peut-elle mener des tests A/B ?

Oui, mais elle doit tester des changements audacieux aux effets attendus importants, car les petits effets exigent de très grands échantillons. Les boutiques à faible trafic apprennent souvent davantage de changements de prix dans le temps analysés avec soin.

Termes associés

Dans BlackAha, Smart Price vous aide à obtenir un prix de vente conseillé pour chaque produit, à partir des prix des concurrents et du marché.

Retour au Dictionnaire des prix