Testy A/B

Test A/B to kontrolowany eksperyment, w którym odwiedzający są losowo dzieleni między dwie wersje czegoś, na przykład układu strony, oferty lub ceny, a wyniki porównuje się według jednego uzgodnionego wskaźnika. Wersja A to zwykle obecne doświadczenie, nazywane grupą kontrolną, a wersja B to testowana zmiana.

Jak działa test podziału

Kluczowa jest losowa alokacja. Każdy odwiedzający trafia do grupy A lub B przypadkowo, więc obie grupy są podobne pod każdym względem poza testowaną zmianą. Każdą istotną różnicę w wyniku można wtedy przypisać tej zmianie, a nie pogodzie, dniowi tygodnia czy nowej kampanii reklamowej.

  1. Sformułuj hipotezę, na przykład że krótszy formularz zamówienia zwiększy liczbę sfinalizowanych zamówień.
  2. Wybierz jeden główny wskaźnik przed rozpoczęciem testu.
  3. Oszacuj, ilu odwiedzających potrzebuje każda grupa, aby wykryć efekt, który Cię interesuje.
  4. Uruchom obie wersje jednocześnie i prowadź test do osiągnięcia tej próby.
  5. Porównaj wyniki i zdecyduj, czy zmianę zachować, odrzucić, czy przetestować ponownie.

Jak wybrać właściwy wskaźnik

Współczynnik konwersji to najczęstszy wskaźnik, ale może wprowadzać w błąd, gdy zmienia się cena lub wartość koszyka. Niższa cena może podnieść konwersję, a jednocześnie obniżyć przychód. W testach komercyjnych przychód na odwiedzającego lub zysk brutto na odwiedzającego zwykle lepiej oddaje rzeczywistość, bo łączy liczbę kupujących z wartością każdego zamówienia.

Trzymaj się jednego głównego wskaźnika i krótkiej listy wskaźników ochronnych, takich jak odsetek zwrotów, kontakty z obsługą klienta czy czas ładowania strony. Wskaźniki ochronne wychwytują zwycięski wariant, który po cichu szkodzi czemuś innemu.

Jak czytać wyniki i nie oszukiwać samego siebie

Małe próby dają zaszumione wyniki. Załóżmy na przykład, że sklep z artykułami do domu pokazuje każdą wersję 2 000 odwiedzających, a wersja B konwertuje na poziomie 3,3 procent wobec 3,0 procent dla A. Ta różnica to tylko sześć zamówień i sam przypadek może ją łatwo wytworzyć. Test istotności lub przedział ufności pokazuje, czy różnica prawdopodobnie się utrzyma.

  • Ustal wielkość próby z góry i nie przerywaj testu w chwili, gdy jakiś wariant wydaje się prowadzić.
  • Prowadź testy przez pełne tygodnie, aby objąć zarówno kupujących w dni robocze, jak i w weekendy.
  • Ostrożnie traktuj wiele równoczesnych porównań, bo więcej porównań oznacza więcej fałszywych zwycięzców.
  • Zapisuj też przegrane testy, bo dzięki nim ten sam pomysł nie jest testowany w kółko.

Testy A/B cen

Test cenowy pokazuje różne ceny tego samego produktu różnym odwiedzającym w tym samym czasie. Odpowiada na pytanie, na które ankiety nie odpowiedzą w pełni: co robią prawdziwi klienci w obliczu prawdziwej ceny. Na przykład sklep sprzedający stojak na telefon za 40 dolarów może przetestować 40 dolarów wobec 44 dolarów i porównać zysk brutto na odwiedzającego, a nie tylko liczbę zamówień.

Wiele zespołów woli łagodniejsze projekty, w których dwóch kupujących nie widzi różnych cen identycznego produktu. Typowe opcje to testowanie progu darmowej wysyłki, zestawu, kodu rabatowego pokazywanego jednej grupie lub nowego wariantu produktu z własną ceną. Innym podejściem jest test w czasie, w którym cały sklep przechodzi na nową cenę na określony okres i porównuje się go z podobnym wcześniejszym okresem, akceptując, że jest to mniej czyste niż prawdziwy podział.

Uczciwość, zaufanie i zastrzeżenia prawne

Klienci, którzy odkryją, że zapłacili więcej niż ktoś inny za ten sam produkt, mogą poczuć się oszukani, nawet jeśli test był losowy. Zrzuty ekranu szybko się rozchodzą, a krótki eksperyment może kosztować długotrwałe zaufanie. Niektóre zespoły honorują niższą cenę dla każdego z grupy z wyższą ceną, kto o to poprosi, lub zwracają różnicę po zakończeniu testu.

Przepisy dotyczące różnic cen, prezentowania cen i ochrony konsumentów różnią się w zależności od kraju, a czasem branży. Testy nigdy nie mogą różnicować cen według cech chronionych, a w niektórych miejscach cena pokazana musi być ceną naliczoną przy kasie. Dane osobowe używane do przydziału grup mogą też podlegać przepisom o ochronie prywatności. Traktuj to jako informację ogólną i zapytaj wykwalifikowanego doradcę prawnego, zanim uruchomisz testy cen na żywo na nowym rynku.

Częste błędy

  • Testowanie drobnych zmian kosmetycznych przy małym ruchu i czekanie miesiącami na odpowiedź
  • Zmiana wariantu w połowie testu
  • Pozwalanie powracającym odwiedzającym przeskakiwać między wersjami, co miesza grupy
  • Ignorowanie ruchów konkurencji w trakcie testu, które mogą zmienić popyt w obu grupach
  • Ogłoszenie zwycięzcy na podstawie współczynnika konwersji, gdy zmiana obniżyła też średnią wartość zamówienia

Ceny zewnętrzne mają większe znaczenie, niż spodziewa się wiele zespołów. Jeśli duży konkurent uruchomi promocję w środku testu cenowego, obie grupy to odczują, a wynik może się nie powtórzyć w zwykłym tygodniu. Zapisywanie cen konkurencji w okresie testu, na przykład za pomocą historia cen, ułatwia interpretację wyniku.

Jak wykorzystać testy A/B w praktyce

Zacznij od zmian, które prawdopodobnie będą miały znaczenie i które łatwo odwrócić: prezentacji oferty, progów darmowej wysyłki, struktury zestawów i czytelności stron produktów. Do bezpośrednich testów cen przejdź, gdy zespół będzie mieć niezawodny proces dotyczący wielkości prób, wskaźników ochronnych i komunikacji z klientami.

Prowadź prosty dziennik testów z hipotezą, datami, ruchem, wskaźnikiem, wynikiem i decyzją. Z czasem dziennik staje się mapą tego, na co reagują klienci na Twoim rynku, co często jest cenniejsze niż pojedynczy zwycięski wariant.

Kluczowe wnioski

  • Test A/B losowo dzieli odwiedzających między grupę kontrolną a wariant i porównuje jeden uzgodniony wskaźnik.
  • W testach cen przychód lub zysk brutto na odwiedzającego to zwykle lepszy wskaźnik niż współczynnik konwersji.
  • Zaplanuj wielkość próby z góry i prowadź testy przez pełne tygodnie, aby uniknąć fałszywych zwycięzców.
  • Testy cen niosą ryzyko utraty zaufania i ryzyko prawne, które różnią się w zależności od rynku, więc projektuj je starannie i zasięgnij porady prawnej.
  • Zapisuj ceny konkurencji w trakcie testu, aby ruchy z zewnątrz nie zniekształciły wyniku.

Najczęściej zadawane pytania

Jak długo powinien trwać test A/B?

Na tyle długo, by osiągnąć zaplanowaną wielkość próby i objąć co najmniej jeden pełny cykl tygodniowy, często dwa. Zatrzymanie testu, gdy tylko jedna wersja wydaje się prowadzić, zwykle daje fałszywych zwycięzców.

Czy pokazywanie różnych cen różnym klientom jest legalne?

To zależy od kraju, branży i sposobu doboru grup. Losowy przydział traktuje się inaczej niż targetowanie według cech osobowych, obowiązują też zasady prezentowania cen. Zapytaj doradcę prawnego o rynki, na których sprzedajesz.

Czym test A/B różni się od testu wielowymiarowego?

Test A/B porównuje dwie wersje jednej zmiany. Test wielowymiarowy zmienia jednocześnie kilka elementów i bada ich kombinacje, co wymaga znacznie większego ruchu, by dać wiarygodną odpowiedź.

Czy mały sklep może prowadzić testy A/B?

Tak, ale powinien testować odważne zmiany o dużym oczekiwanym efekcie, ponieważ małe efekty wymagają bardzo dużych prób. Sklepy z małym ruchem często więcej się uczą z rozłożonych w czasie zmian cen, starannie przeanalizowanych.

Powiązane pojęcia

W BlackAha, Smart Price pomaga uzyskać rekomendowaną cenę sprzedaży dla każdego produktu na podstawie cen konkurencji i rynku.

Wróć do Słownika cen