Ein A/B-Test ist ein kontrolliertes Experiment, bei dem Besucher zufällig auf zwei Versionen von etwas aufgeteilt werden, etwa ein Seitenlayout, ein Angebot oder einen Preis, und die Ergebnisse anhand einer vereinbarten Kennzahl verglichen werden. Version A ist meist der aktuelle Zustand, die sogenannte Kontrollversion, Version B die getestete Änderung.
So läuft ein Split-Test
Der Kerngedanke ist die zufällige Zuteilung. Jeder Besucher landet zufällig in Gruppe A oder Gruppe B, sodass sich die beiden Gruppen in allem gleichen außer in der getesteten Änderung. Ein deutlicher Unterschied im Ergebnis lässt sich dann dieser Änderung zuschreiben statt dem Wetter, dem Wochentag oder einer neuen Werbekampagne.
- Formulieren Sie eine Hypothese, zum Beispiel, dass ein kürzeres Checkout-Formular die abgeschlossenen Bestellungen steigert.
- Wählen Sie vor Testbeginn eine primäre Kennzahl.
- Schätzen Sie, wie viele Besucher jede Gruppe braucht, um den für Sie relevanten Effekt zu erkennen.
- Lassen Sie beide Versionen gleichzeitig laufen, bis diese Stichprobe erreicht ist.
- Vergleichen Sie die Ergebnisse und entscheiden Sie, ob Sie die Änderung übernehmen, verwerfen oder erneut testen.
Die richtige Kennzahl wählen
Die Conversion-Rate ist die gängigste Kennzahl, kann aber in die Irre führen, wenn sich Preis oder Warenkorbgröße ändern. Ein niedrigerer Preis kann die Conversion steigern und zugleich den Umsatz senken. Bei kommerziellen Tests erzählt der Umsatz oder Rohertrag pro Besucher meist die ehrlichere Geschichte, weil er verbindet, wie viele Menschen kaufen und wie viel jede Bestellung wert ist.
Behalten Sie eine primäre Kennzahl und eine kurze Liste von Kontrollkennzahlen bei, etwa Erstattungsquote, Supportanfragen oder Ladezeit. Kontrollkennzahlen fangen eine siegreiche Variante ab, die unbemerkt anderswo Schaden anrichtet.
Ergebnisse lesen, ohne sich selbst zu täuschen
Kleine Stichproben liefern verrauschte Ergebnisse. Angenommen, ein Shop für Wohnaccessoires zeigt jede Version 2,000 Besuchern, und Version B konvertiert mit 3.3 Prozent gegenüber 3.0 Prozent bei A. Dieser Unterschied beträgt nur sechs Bestellungen und kann leicht allein durch Zufall entstehen. Ein Signifikanztest oder ein Konfidenzintervall zeigt, ob der Unterschied wahrscheinlich Bestand hat.
- Legen Sie die Stichprobengröße vorab fest und stoppen Sie nicht in dem Moment, in dem eine Variante vorn zu liegen scheint.
- Lassen Sie Tests über ganze Wochen laufen, damit Käufer an Werktagen und am Wochenende einbezogen sind.
- Gehen Sie mit vielen gleichzeitigen Vergleichen vorsichtig um, denn mehr Vergleiche bedeuten mehr falsche Gewinner.
- Dokumentieren Sie auch verlorene Tests, denn so wird dieselbe Idee nicht immer wieder getestet.
Preis-A/B-Tests im Besonderen
Ein Preistest zeigt verschiedenen Besuchern zur selben Zeit unterschiedliche Preise für dasselbe Produkt. Er beantwortet eine Frage, die Befragungen nicht vollständig beantworten können: was echte Kunden tun, wenn sie einem echten Preis gegenüberstehen. Ein Shop, der einen Handyständer für 40 Dollar verkauft, könnte etwa 40 Dollar gegen 44 Dollar testen und den Rohertrag pro Besucher vergleichen, nicht nur die Bestellungen.
Viele Teams bevorzugen sanftere Designs, bei denen nicht zwei Käufer für denselben Artikel unterschiedliche Preise sehen. Gängige Optionen sind ein Test der Versandkostenschwelle, eines Bündels, eines nur in einer Gruppe angezeigten Rabattcodes oder einer neuen Produktvariante mit eigenem Preis. Ein anderer Ansatz ist ein zeitbasierter Test, bei dem der gesamte Shop für einen festgelegten Zeitraum auf einen neuen Preis wechselt und mit einem ähnlichen früheren Zeitraum verglichen wird, wohl wissend, dass dies weniger sauber ist als ein echter Split.
Fairness, Vertrauen und rechtliche Vorsicht
Kunden, die feststellen, dass sie für denselben Artikel mehr bezahlt haben als jemand anderes, fühlen sich womöglich betrogen, selbst wenn der Test zufällig war. Screenshots verbreiten sich schnell, und ein kurzes Experiment kann langfristiges Vertrauen kosten. Manche Teams gewähren den niedrigeren Preis jedem aus der höheren Gruppe, der danach fragt, oder erstatten die Differenz nach Testende.
Regeln zu Preisunterschieden, Preisangaben und Verbraucherschutz unterscheiden sich je nach Land und mitunter nach Branche. Tests dürfen Preise niemals nach geschützten Merkmalen variieren, und an manchen Orten muss der angezeigte Preis dem im Checkout berechneten entsprechen. Personenbezogene Daten zur Gruppenzuteilung können zudem unter das Datenschutzrecht fallen. Verstehen Sie dies als allgemeine Information und lassen Sie sich qualifiziert rechtlich beraten, bevor Sie Live-Preistests in einem neuen Markt durchführen.
Häufige Fehler
- Winzige kosmetische Änderungen bei wenig Traffic testen und monatelang auf eine Antwort warten
- Die Variante mitten im Test ändern
- Wiederkehrende Besucher zwischen den Versionen wechseln lassen, was die Gruppen vermischt
- Bewegungen der Wettbewerber während des Tests ignorieren, die die Nachfrage in beiden Gruppen verschieben können
- Einen Gewinner anhand der Conversion-Rate ausrufen, obwohl die Änderung auch den durchschnittlichen Bestellwert gesenkt hat
Externe Preise sind wichtiger, als viele Teams erwarten. Startet ein großer Wettbewerber mitten in einem Preistest eine Aktion, sind beide Gruppen betroffen, und das Ergebnis wiederholt sich in einer normalen Woche womöglich nicht. Eine Aufzeichnung der Wettbewerberpreise für den Testzeitraum, zum Beispiel mit Preisverlauf, macht das Ergebnis leichter interpretierbar.
A/B-Tests in die Praxis umsetzen
Beginnen Sie mit Änderungen, die wahrscheinlich etwas bewirken und sich günstig rückgängig machen lassen: Angebotsdarstellung, Versandkostenschwellen, Bündelstruktur und Klarheit der Produktseite. Gehen Sie zu direkten Preistests über, sobald das Team einen verlässlichen Prozess für Stichprobengrößen, Kontrollkennzahlen und Kundenkommunikation hat.
Führen Sie ein einfaches Testprotokoll mit Hypothese, Zeitraum, Traffic, Kennzahl, Ergebnis und Entscheidung. Mit der Zeit wird das Protokoll zu einer Landkarte dessen, worauf Kunden in Ihrem Markt reagieren, und das ist oft wertvoller als jede einzelne Gewinnervariante.
Das Wichtigste in Kürze
- Ein A/B-Test teilt Besucher zufällig auf eine Kontrollversion und eine Variante auf und vergleicht eine vereinbarte Kennzahl.
- Bei Preistests ist der Umsatz oder Rohertrag pro Besucher meist eine bessere Kennzahl als die Conversion-Rate.
- Planen Sie die Stichprobengröße vorab und lassen Sie Tests über ganze Wochen laufen, um falsche Gewinner zu vermeiden.
- Preistests bergen Vertrauens- und Rechtsrisiken, die je nach Markt variieren; gestalten Sie sie daher sorgfältig und holen Sie Rechtsrat ein.
- Erfassen Sie während eines Tests die Wettbewerberpreise, damit äußere Einflüsse das Ergebnis nicht verfälschen.
Häufig gestellte Fragen
Wie lange sollte ein A/B-Test laufen?
Lange genug, um die geplante Stichprobengröße zu erreichen und mindestens einen vollständigen Wochenzyklus abzudecken, oft zwei. Wer stoppt, sobald eine Version vorn zu liegen scheint, erzeugt häufig falsche Gewinner.
Ist es legal, verschiedenen Kunden unterschiedliche Preise zu zeigen?
Das hängt vom Land, von der Branche und davon ab, wie die Gruppen gebildet werden. Zufällige Zuteilung wird anders behandelt als eine Ausrichtung nach persönlichen Merkmalen, und auch Regeln zur Preisangabe gelten. Fragen Sie für die Märkte, in denen Sie verkaufen, eine Rechtsberatung.
Was ist der Unterschied zwischen A/B-Tests und multivariaten Tests?
Ein A/B-Test vergleicht zwei Versionen einer Änderung. Ein multivariater Test ändert mehrere Elemente gleichzeitig und untersucht ihre Kombinationen, was deutlich mehr Traffic für eine verlässliche Antwort erfordert.
Kann ein kleiner Shop A/B-Tests durchführen?
Ja, er sollte aber mutige Änderungen mit großen erwarteten Effekten testen, da kleine Effekte sehr große Stichproben brauchen. Shops mit wenig Traffic lernen oft mehr aus zeitbasierten Preisänderungen, die sorgfältig ausgewertet werden.
Verwandte Begriffe
In BlackAha Smart Price hilft Ihnen, für jedes Produkt einen empfohlenen Verkaufspreis auf Basis von Wettbewerbs- und Marktpreisen zu erhalten.