A/B-тестирование

A/B-тестирование — это контролируемый эксперимент, в котором посетители случайным образом делятся между двумя версиями чего-либо, например макета страницы, предложения или цены, а результаты сравниваются по одному согласованному показателю. Версия A — обычно текущий вариант, его называют контрольным, а версия B — тестируемое изменение.

Как работает сплит-тест

Главная идея — случайное распределение. Каждый посетитель случайно попадает в группу A или B, поэтому группы одинаковы во всём, кроме тестируемого изменения. Тогда любую значимую разницу в результате можно приписать именно этому изменению, а не погоде, дню недели или новой рекламной кампании.

  1. Сформулируйте гипотезу, например что более короткая форма оформления заказа увеличит число завершённых заказов.
  2. Выберите один основной показатель до начала теста.
  3. Оцените, сколько посетителей нужно каждой группе, чтобы обнаружить важный для вас эффект.
  4. Запускайте обе версии одновременно, пока не наберёте эту выборку.
  5. Сравните результаты и решите, оставить изменение, отклонить его или протестировать заново.

Выбор правильного показателя

Коэффициент конверсии — самый распространённый показатель, но он может вводить в заблуждение, когда меняется цена или размер корзины. Более низкая цена может поднять конверсию и при этом сократить выручку. Для коммерческих тестов выручка или валовая прибыль на посетителя обычно точнее, потому что объединяет число покупателей и ценность каждого заказа.

Оставьте один основной показатель и короткий список контрольных показателей-ограничителей, например долю возвратов, число обращений в поддержку или время загрузки страницы. Ограничители помогают заметить победивший вариант, который незаметно вредит чему-то другому.

Как читать результаты и не обманывать себя

Малые выборки дают шумные результаты. Предположим для примера, что магазин товаров для дома показывает каждую версию 2,000 посетителям и версия B конвертирует 3.3 процента против 3.0 процента у A. Разница — всего шесть заказов, и её легко может дать одна лишь случайность. Тест значимости или доверительный интервал покажет, сохранится ли разница.

  • Определите размер выборки заранее и не останавливайте тест в тот момент, когда один вариант вырвался вперёд.
  • Проводите тесты полными неделями, чтобы учесть и будничных, и выходных покупателей.
  • Осторожно относитесь ко множеству одновременных сравнений: чем больше сравнений, тем больше ложных победителей.
  • Записывайте и проигравшие тесты, чтобы одну и ту же идею не тестировали снова и снова.

A/B-тесты цен

Тест цены показывает разным посетителям в одно и то же время разные цены на один товар. Он отвечает на вопрос, на который опросы ответить полностью не могут: что делают реальные покупатели, столкнувшись с реальной ценой. Например, магазин, продающий подставку для телефона за 40 долларов, может сравнить 40 долларов и 44 доллара по валовой прибыли на посетителя, а не только по числу заказов.

Многие команды предпочитают более мягкие схемы, при которых два покупателя не видят разные цены на один и тот же товар. Распространённые варианты: тест порога бесплатной доставки, набора, промокода, показанного одной группе, или нового варианта товара со своей ценой. Другой подход — тест во времени: весь магазин на определённый срок переходит на новую цену, а результат сравнивается с похожим предыдущим периодом, хотя такой тест менее чистый, чем настоящий сплит.

Справедливость, доверие и правовые предостережения

Покупатели, которые узнают, что заплатили за тот же товар больше других, могут почувствовать себя обманутыми, даже если тест был случайным. Скриншоты быстро расходятся, и короткий эксперимент может стоить долгосрочного доверия. Некоторые команды предоставляют более низкую цену любому из группы с высокой ценой, кто попросит, или возвращают разницу после окончания теста.

Правила о разнице в ценах, отображении цен и защите прав потребителей зависят от страны, а иногда и от отрасли. При тестировании нельзя варьировать цены по защищённым признакам, а в некоторых странах цена на витрине обязана совпадать с ценой при оформлении заказа. Персональные данные, используемые для распределения по группам, могут подпадать под законы о конфиденциальности. Считайте это общей информацией и проконсультируйтесь с квалифицированным юристом, прежде чем запускать живые тесты цен на новом рынке.

Типичные ошибки

  • Тестировать мелкие косметические изменения при малом трафике и месяцами ждать ответа
  • Менять вариант посреди теста
  • Позволять вернувшимся посетителям переключаться между версиями, что смешивает группы
  • Игнорировать действия конкурентов во время теста, которые могут сдвинуть спрос в обеих группах
  • Объявлять победителя по коэффициенту конверсии, когда изменение также снизило средний чек

Внешние цены важнее, чем ожидают многие команды. Если крупный конкурент запускает акцию посреди теста цены, это затрагивает обе группы, и в обычную неделю результат может не повториться. Если вести учёт цен конкурентов за период теста, например с помощью история цен, результат проще интерпретировать.

Как применять A/B-тестирование

Начните с изменений, которые, скорее всего, важны и которые легко отменить: подача предложения, пороги бесплатной доставки, структура наборов и понятность страницы товара. Переходите к прямым тестам цен, когда у команды появится надёжный процесс для расчёта выборки, ограничителей и коммуникации с покупателями.

Ведите простой журнал тестов: гипотеза, даты, трафик, показатель, результат и решение. Со временем журнал становится картой того, на что реагируют покупатели на вашем рынке, и это часто ценнее любого отдельного победившего варианта.

Главное

  • A/B-тестирование случайным образом делит посетителей между контрольной версией и вариантом и сравнивает один согласованный показатель.
  • Для тестов цен выручка или валовая прибыль на посетителя обычно лучше коэффициента конверсии.
  • Планируйте размер выборки заранее и проводите тесты полными неделями, чтобы избежать ложных победителей.
  • Тесты цен несут риски для доверия и правовые риски, которые зависят от рынка, поэтому продумывайте их тщательно и обращайтесь за юридической консультацией.
  • Записывайте цены конкурентов во время теста, чтобы внешние изменения не искажали результат.

Частые вопросы

Сколько должен длиться A/B-тест?

Достаточно долго, чтобы набрать запланированный размер выборки и охватить хотя бы один полный недельный цикл, а лучше два. Если остановить тест, как только одна версия вырвалась вперёд, часто получаются ложные победители.

Законно ли показывать разным покупателям разные цены?

Это зависит от страны, отрасли и того, как формируются группы. Случайное распределение оценивается иначе, чем таргетинг по личным признакам, и к тому же действуют правила отображения цен. Проконсультируйтесь с юристом по рынкам, на которых вы продаёте.

Чем A/B-тестирование отличается от многовариантного тестирования?

A/B-тест сравнивает две версии одного изменения. Многовариантный тест меняет сразу несколько элементов и изучает их сочетания, и для надёжного ответа ему нужно гораздо больше трафика.

Может ли небольшой магазин проводить A/B-тесты?

Да, но тестировать стоит смелые изменения с большим ожидаемым эффектом, ведь для малых эффектов нужны очень большие выборки. Магазины с небольшим трафиком часто узнают больше из изменений цен во времени, если внимательно их анализировать.

Связанные термины

В BlackAha Smart Price помогает получить рекомендованную цену продажи для каждого товара на основе цен конкурентов и рынка.

Назад к словарю ценообразования