A/B 测试

A/B 测试是一种受控实验:访客被随机分配到某样东西的两个版本(例如页面布局、优惠或价格),并按一个事先商定的指标比较结果。版本 A 通常是当前体验,称为对照组;版本 B 是被测试的改动。

分流测试如何运作

核心思想是随机分配。每位访客都被随机放入 A 组或 B 组,因此两组除了被测试的改动之外,在其他各方面都相同。结果中任何有意义的差距,都可以归因于这项改动,而不是天气、星期几或新的广告活动。

  1. 写下假设,例如:更短的结账表单会提高完成订单数。
  2. 在测试开始前选定一个主要指标。
  3. 估算每组需要多少访客,才能检测到您关心的效果。
  4. 同时运行两个版本,直到达到该样本量。
  5. 比较结果,决定保留、放弃还是重新测试这项改动。

选择合适的指标

转化率是最常用的指标,但当价格或客单量变化时,它可能产生误导。降价可能提升转化率,却减少收入。对于商业测试,每位访客收入或每位访客毛利通常更能反映真实情况,因为它同时结合了购买人数和每笔订单的价值。

保留一个主要指标和一小组护栏指标,例如退款率、客服咨询量或页面加载时间。护栏指标能发现那些悄悄损害其他方面的“胜出”版本。

解读结果时别自欺欺人

小样本会产生噪声很大的结果。举例来说,假设一家家居用品店向 2,000 位访客分别展示每个版本,版本 B 的转化率为 3.3%,版本 A 为 3.0%。这一差距只有六笔订单,单凭偶然就很容易出现。显著性检验或置信区间能显示这一差异是否可能成立。

  • 事先确定样本量,不要在某个版本看似领先时立即停止。
  • 按整周运行测试,让工作日和周末的购物者都被纳入。
  • 谨慎对待同时进行的多项比较,因为比较越多,虚假赢家也越多。
  • 失败的测试也要记录,以免同一个想法被反复测试。

价格 A/B 测试

价格测试在同一时间向不同访客展示同一商品的不同价格。它回答了调查无法完全回答的问题:真实顾客面对真实价格时会怎么做。例如,一家销售 40 美元手机支架的店铺,可以测试 40 美元与 44 美元,并比较每位访客毛利,而不仅仅是订单数。

许多团队更喜欢较温和的设计,避免两位购物者看到同一商品的不同价格。常见做法包括测试包邮门槛、捆绑组合、只在一组中显示的折扣码,或一个有独立价格的新商品变体。另一种方法是按时段测试:整个店铺在一段固定时间内改用新价格,再与之前相似的时段比较,但要接受它不如真正的分流测试那么干净。

公平、信任与法律注意事项

顾客如果发现自己为同一商品付的钱比别人多,即使测试是随机的,也可能觉得被骗。截图传播很快,一次短暂的实验可能让长期信任受损。有些团队会向高价组中提出要求的顾客兑现较低价格,或在测试结束后退还差价。

关于价格差异、价格展示和消费者保护的规定因国家而异,有时还因行业而异。测试绝不能按受保护特征来区别定价,有些地方还要求展示的价格必须与结账时收取的价格一致。用于分组的个人数据也可能受隐私法约束。请将此视为一般信息,在新市场进行实际价格测试之前,请咨询合格的法律顾问。

常见错误

  • 在低流量下测试微小的外观改动,等上几个月才得出结论
  • 在测试中途更改变体
  • 让回访者在两个版本之间来回切换,导致分组混杂
  • 忽视测试期间竞争对手的动作,这可能同时改变两组的需求
  • 改动同时拉低了客单价,却仅凭转化率宣布胜出

外部价格的影响往往比许多团队预想的更大。如果主要竞争对手在价格测试中途开展促销,两组都会受到影响,结果在正常的一周里可能无法重现。记录测试期间的竞争对手价格,例如使用 价格历史,能让结果更容易解读。

让 A/B 测试发挥作用

先从可能影响较大、且容易撤回的改动入手:优惠的呈现方式、包邮门槛、捆绑结构和商品页面的清晰度。等团队在样本量、护栏指标和顾客沟通方面建立了可靠流程后,再进行直接的价格测试。

保留一份简单的测试日志,记录假设、日期、流量、指标、结果和决策。久而久之,这份日志会成为一张地图,显示您所在市场的顾客对什么有反应,这往往比任何一个胜出版本都更有价值。

要点总结

  • A/B 测试把访客随机分到对照组和变体组,并比较一个事先商定的指标。
  • 对于价格测试,每位访客收入或毛利通常是比转化率更好的指标。
  • 事先规划样本量,并按整周运行测试,以避免虚假赢家。
  • 价格测试存在因市场而异的信任和法律风险,因此要谨慎设计并寻求法律建议。
  • 在测试期间记录竞争对手价格,以免外部变动扭曲结果。

常见问题

A/B 测试应该运行多久?

要足够长,以达到预先计划的样本量,并至少覆盖一个完整的周周期,通常是两个。一看到某个版本领先就停止,往往会得出虚假的赢家。

向不同顾客展示不同价格合法吗?

这取决于国家、行业以及分组方式。随机分配与按个人特征定向的处理方式不同,而且还涉及价格展示规定。请就您销售的市场咨询法律顾问。

A/B 测试与多变量测试有什么区别?

A/B 测试比较同一项改动的两个版本。多变量测试同时改变多个元素并研究其组合,需要多得多的流量才能得出可靠结论。

小店铺能做 A/B 测试吗?

可以,但应测试预期效果大的大胆改动,因为小效果需要非常大的样本。流量较少的店铺,往往从仔细复盘的按时段调价中学到更多。

相关术语

在 BlackAha 中, Smart Price 可帮助您根据竞争对手和市场价格,为每件商品获取建议售价。

返回定价词典