A/Bテストは、ページのレイアウト、オファー、価格などの二つのバージョンに訪問者をランダムに振り分け、事前に合意した一つの指標で結果を比較する対照実験です。通常、バージョンAは現在の体験でコントロールと呼ばれ、バージョンBはテストする変更です。
スプリットテストの仕組み
中心となる考え方はランダムな割り当てです。各訪問者は偶然によってグループAかグループBに振り分けられるため、二つのグループはテスト対象の変更以外のあらゆる点で似通います。そのため、結果に意味のある差が出れば、天候や曜日、新しい広告キャンペーンではなく、その変更によるものと考えられます。
- 仮説を立てます。例えば、購入手続きのフォームを短くすれば完了する注文が増える、といったものです。
- テスト開始前に主要な指標を一つ選びます。
- 重視する効果を検出するために、各グループに何人の訪問者が必要かを見積もります。
- そのサンプル数に達するまで、両方のバージョンを同時に実施します。
- 結果を比較し、変更を採用するか、却下するか、再テストするかを決めます。
適切な指標を選ぶ
最もよく使われる指標はコンバージョン率ですが、価格やカートの金額が変わる場合は誤解を招くことがあります。価格を下げるとコンバージョンは上がっても売上が減ることがあるからです。商業的なテストでは、訪問者あたりの売上や訪問者あたりの売上総利益のほうが、通常は実態をより正確に表します。購入する人数と各注文の価値を組み合わせた指標だからです。
主要な指標を一つに絞り、返金率、サポートへの問い合わせ、ページの読み込み時間などのガードレール指標を少しだけ設けましょう。ガードレール指標は、勝ったバリアントが知らないうちに別の何かを損なっている場合に気づかせてくれます。
自分をごまかさずに結果を読む
サンプルが小さいと、結果はばらつきます。例として、ある生活雑貨のショップが各バージョンを2,000人の訪問者に表示し、Aが3.0パーセントに対してBが3.3パーセントのコンバージョンだったとします。この差はわずか六件の注文で、偶然だけでも簡単に生じます。有意差検定や信頼区間を使えば、その差が今後も続きそうかがわかります。
- サンプルサイズは事前に決め、バリアントが優勢に見えた瞬間に止めないようにします。
- 平日と週末の買い物客の両方が含まれるよう、テストは週単位で実施します。
- 比較が多いほど誤った勝者も増えるため、多数の比較を同時に行う場合は注意して扱います。
- 同じアイデアが何度もテストされるのを防ぐため、負けたテストも記録します。
価格のA/Bテストについて
価格テストでは、同じ商品について異なる価格を、同時に異なる訪問者に表示します。調査では完全には答えられない問い、つまり実際の顧客が実際の価格に直面したときにどう行動するかに答えられます。例えば、40ドルのスマートフォンスタンドを販売するショップなら、40ドルと44ドルをテストし、注文数だけでなく訪問者あたりの売上総利益を比較するかもしれません。
多くのチームは、二人の買い物客がまったく同じ商品に異なる価格を目にすることを避ける、穏やかな設計を好みます。よくある選択肢は、送料無料の条件、バンドル、一方のグループだけに表示する割引コード、独自の価格を持つ新しい商品バリエーションのテストです。もう一つの方法は時期を区切ったテストで、一定期間ストア全体を新しい価格に切り替え、似た過去の期間と比較します。ただし、真のスプリットテストほど厳密ではないことを受け入れる必要があります。
公平性・信頼・法律上の注意点
同じ商品にほかの人より高い金額を払ったと知った顧客は、テストがランダムであっても、だまされたと感じることがあります。スクリーンショットはすぐに拡散し、短い実験が長期的な信頼を損なうこともあります。高い価格のグループで申し出た人には低い価格を適用する、あるいはテスト終了後に差額を返金するチームもあります。
価格差、価格表示、消費者保護に関するルールは国によって、ときには業種によって異なります。テストでは保護されるべき属性によって価格を変えてはならず、表示価格と購入手続きで請求する価格の一致を求める地域もあります。グループの割り当てに使う個人データがプライバシー法の対象になる場合もあります。これは一般的な情報として扱い、新しい市場で実際の価格テストを行う前に、資格のある法律の専門家に相談してください。
よくある間違い
- トラフィックが少ないのに細かな見た目の変更をテストし、答えが出るまで何か月も待つ
- テストの途中でバリアントを変更する
- 再訪問者がバージョン間を行き来できるようにし、グループが混ざってしまう
- テスト中の競合の動きを無視する(両方のグループの需要が変わる可能性がある)
- 変更によって平均注文額も下がっているのに、コンバージョン率で勝者を決める
外部の価格は、多くのチームが思う以上に重要です。価格テストの途中で大手の競合が販促を行えば両方のグループが影響を受け、通常の週には同じ結果が再現されないかもしれません。テスト期間中の競合価格を、例えば 価格履歴などで記録しておくと、結果を解釈しやすくなります。
A/Bテストを実践する
効果が出やすく、元に戻すのも簡単な変更から始めましょう。オファーの見せ方、送料無料の条件、バンドルの構成、商品ページのわかりやすさなどです。サンプルサイズ、ガードレール指標、顧客とのコミュニケーションについて信頼できるプロセスができてから、直接的な価格テストに進みます。
仮説、日付、トラフィック、指標、結果、決定を記録するシンプルなテストログをつけましょう。時間がたつにつれ、ログは自社の市場の顧客が何に反応するかを示す地図になり、多くの場合、単独の勝ちバリアントよりも価値があります。
要点
- A/Bテストは訪問者をコントロールとバリアントにランダムに振り分け、合意した一つの指標を比較します。
- 価格テストでは、通常コンバージョン率より訪問者あたりの売上や売上総利益のほうが適した指標です。
- 誤った勝者を避けるため、サンプルサイズを事前に計画し、テストは週単位で実施します。
- 価格テストには市場によって異なる信頼面・法律面のリスクがあるため、慎重に設計し、法的な助言を求めましょう。
- 外部の動きが結果をゆがめないよう、テスト中の競合価格を記録します。
よくある質問
A/Bテストはどのくらいの期間実施すべきですか?
計画したサンプルサイズに達し、少なくとも一週間分の周期(多くの場合は二週間分)をカバーするまで続けます。一方のバージョンが優勢に見えた時点で止めると、誤った勝者が生まれやすくなります。
顧客によって異なる価格を表示するのは合法ですか?
国、業種、グループの選び方によって異なります。ランダムな割り当ては、個人の属性に基づくターゲティングとは異なる扱いを受け、表示に関するルールも適用されます。販売する市場について法律の専門家に相談してください。
A/Bテストと多変量テストの違いは何ですか?
A/Bテストは一つの変更について二つのバージョンを比較します。多変量テストは複数の要素を同時に変えてその組み合わせを調べるため、信頼できる答えを得るにははるかに多くのトラフィックが必要です。
小規模なショップでもA/Bテストはできますか?
できますが、大きな効果が見込める大胆な変更をテストすべきです。小さな効果を検出するには非常に大きなサンプルが必要になるためです。トラフィックが少ないショップは、時期を区切った価格変更を慎重に検証するほうが多くを学べることがよくあります。
関連用語
BlackAhaでは、 Smart Price は、競合価格と市場価格に基づいて、すべての商品の推奨販売価格を得るのに役立ちます。