A/B-тестирование — это контролируемый эксперимент, в котором посетители случайным образом делятся между двумя версиями чего-либо, например макета страницы, предложения или цены, а результаты сравниваются по одному согласованному показателю. Версия A — обычно текущий вариант, его называют контрольным, а версия B — тестируемое изменение.
Как работает сплит-тест
Главная идея — случайное распределение. Каждый посетитель случайно попадает в группу A или B, поэтому группы одинаковы во всём, кроме тестируемого изменения. Тогда любую значимую разницу в результате можно приписать именно этому изменению, а не погоде, дню недели или новой рекламной кампании.
- Сформулируйте гипотезу, например что более короткая форма оформления заказа увеличит число завершённых заказов.
- Выберите один основной показатель до начала теста.
- Оцените, сколько посетителей нужно каждой группе, чтобы обнаружить важный для вас эффект.
- Запускайте обе версии одновременно, пока не наберёте эту выборку.
- Сравните результаты и решите, оставить изменение, отклонить его или протестировать заново.
Выбор правильного показателя
Коэффициент конверсии — самый распространённый показатель, но он может вводить в заблуждение, когда меняется цена или размер корзины. Более низкая цена может поднять конверсию и при этом сократить выручку. Для коммерческих тестов выручка или валовая прибыль на посетителя обычно точнее, потому что объединяет число покупателей и ценность каждого заказа.
Оставьте один основной показатель и короткий список контрольных показателей-ограничителей, например долю возвратов, число обращений в поддержку или время загрузки страницы. Ограничители помогают заметить победивший вариант, который незаметно вредит чему-то другому.
Как читать результаты и не обманывать себя
Малые выборки дают шумные результаты. Предположим для примера, что магазин товаров для дома показывает каждую версию 2,000 посетителям и версия B конвертирует 3.3 процента против 3.0 процента у A. Разница — всего шесть заказов, и её легко может дать одна лишь случайность. Тест значимости или доверительный интервал покажет, сохранится ли разница.
- Определите размер выборки заранее и не останавливайте тест в тот момент, когда один вариант вырвался вперёд.
- Проводите тесты полными неделями, чтобы учесть и будничных, и выходных покупателей.
- Осторожно относитесь ко множеству одновременных сравнений: чем больше сравнений, тем больше ложных победителей.
- Записывайте и проигравшие тесты, чтобы одну и ту же идею не тестировали снова и снова.
A/B-тесты цен
Тест цены показывает разным посетителям в одно и то же время разные цены на один товар. Он отвечает на вопрос, на который опросы ответить полностью не могут: что делают реальные покупатели, столкнувшись с реальной ценой. Например, магазин, продающий подставку для телефона за 40 долларов, может сравнить 40 долларов и 44 доллара по валовой прибыли на посетителя, а не только по числу заказов.
Многие команды предпочитают более мягкие схемы, при которых два покупателя не видят разные цены на один и тот же товар. Распространённые варианты: тест порога бесплатной доставки, набора, промокода, показанного одной группе, или нового варианта товара со своей ценой. Другой подход — тест во времени: весь магазин на определённый срок переходит на новую цену, а результат сравнивается с похожим предыдущим периодом, хотя такой тест менее чистый, чем настоящий сплит.
Справедливость, доверие и правовые предостережения
Покупатели, которые узнают, что заплатили за тот же товар больше других, могут почувствовать себя обманутыми, даже если тест был случайным. Скриншоты быстро расходятся, и короткий эксперимент может стоить долгосрочного доверия. Некоторые команды предоставляют более низкую цену любому из группы с высокой ценой, кто попросит, или возвращают разницу после окончания теста.
Правила о разнице в ценах, отображении цен и защите прав потребителей зависят от страны, а иногда и от отрасли. При тестировании нельзя варьировать цены по защищённым признакам, а в некоторых странах цена на витрине обязана совпадать с ценой при оформлении заказа. Персональные данные, используемые для распределения по группам, могут подпадать под законы о конфиденциальности. Считайте это общей информацией и проконсультируйтесь с квалифицированным юристом, прежде чем запускать живые тесты цен на новом рынке.
Типичные ошибки
- Тестировать мелкие косметические изменения при малом трафике и месяцами ждать ответа
- Менять вариант посреди теста
- Позволять вернувшимся посетителям переключаться между версиями, что смешивает группы
- Игнорировать действия конкурентов во время теста, которые могут сдвинуть спрос в обеих группах
- Объявлять победителя по коэффициенту конверсии, когда изменение также снизило средний чек
Внешние цены важнее, чем ожидают многие команды. Если крупный конкурент запускает акцию посреди теста цены, это затрагивает обе группы, и в обычную неделю результат может не повториться. Если вести учёт цен конкурентов за период теста, например с помощью история цен, результат проще интерпретировать.
Как применять A/B-тестирование
Начните с изменений, которые, скорее всего, важны и которые легко отменить: подача предложения, пороги бесплатной доставки, структура наборов и понятность страницы товара. Переходите к прямым тестам цен, когда у команды появится надёжный процесс для расчёта выборки, ограничителей и коммуникации с покупателями.
Ведите простой журнал тестов: гипотеза, даты, трафик, показатель, результат и решение. Со временем журнал становится картой того, на что реагируют покупатели на вашем рынке, и это часто ценнее любого отдельного победившего варианта.
Главное
- A/B-тестирование случайным образом делит посетителей между контрольной версией и вариантом и сравнивает один согласованный показатель.
- Для тестов цен выручка или валовая прибыль на посетителя обычно лучше коэффициента конверсии.
- Планируйте размер выборки заранее и проводите тесты полными неделями, чтобы избежать ложных победителей.
- Тесты цен несут риски для доверия и правовые риски, которые зависят от рынка, поэтому продумывайте их тщательно и обращайтесь за юридической консультацией.
- Записывайте цены конкурентов во время теста, чтобы внешние изменения не искажали результат.
Частые вопросы
Сколько должен длиться A/B-тест?
Достаточно долго, чтобы набрать запланированный размер выборки и охватить хотя бы один полный недельный цикл, а лучше два. Если остановить тест, как только одна версия вырвалась вперёд, часто получаются ложные победители.
Законно ли показывать разным покупателям разные цены?
Это зависит от страны, отрасли и того, как формируются группы. Случайное распределение оценивается иначе, чем таргетинг по личным признакам, и к тому же действуют правила отображения цен. Проконсультируйтесь с юристом по рынкам, на которых вы продаёте.
Чем A/B-тестирование отличается от многовариантного тестирования?
A/B-тест сравнивает две версии одного изменения. Многовариантный тест меняет сразу несколько элементов и изучает их сочетания, и для надёжного ответа ему нужно гораздо больше трафика.
Может ли небольшой магазин проводить A/B-тесты?
Да, но тестировать стоит смелые изменения с большим ожидаемым эффектом, ведь для малых эффектов нужны очень большие выборки. Магазины с небольшим трафиком часто узнают больше из изменений цен во времени, если внимательно их анализировать.
Связанные термины
В BlackAha Smart Price помогает получить рекомендованную цену продажи для каждого товара на основе цен конкурентов и рынка.