Thử nghiệm A/B là một thí nghiệm có kiểm soát, trong đó khách truy cập được chia ngẫu nhiên giữa hai phiên bản của một thứ, như bố cục trang, ưu đãi hoặc mức giá, và kết quả được so sánh dựa trên một chỉ số đã thống nhất. Phiên bản A thường là trải nghiệm hiện tại, gọi là nhóm đối chứng, còn phiên bản B là thay đổi đang được thử nghiệm.
Cách chia nhóm thử nghiệm
Ý tưởng cốt lõi là phân nhóm ngẫu nhiên. Mỗi khách truy cập được xếp vào nhóm A hoặc nhóm B một cách tình cờ, nên hai nhóm giống nhau về mọi mặt trừ thay đổi đang được thử. Khi đó, mọi chênh lệch đáng kể về kết quả có thể được quy cho thay đổi đó, chứ không phải do thời tiết, ngày trong tuần hay một chiến dịch quảng cáo mới.
- Viết một giả thuyết, ví dụ biểu mẫu thanh toán ngắn hơn sẽ làm tăng số đơn hàng hoàn tất.
- Chọn một chỉ số chính trước khi bắt đầu thử nghiệm.
- Ước tính mỗi nhóm cần bao nhiêu khách truy cập để phát hiện được mức hiệu quả bạn quan tâm.
- Chạy cả hai phiên bản cùng lúc cho đến khi đạt cỡ mẫu đó.
- So sánh kết quả và quyết định giữ, loại bỏ hay thử lại thay đổi.
Chọn đúng chỉ số
Tỷ lệ chuyển đổi là chỉ số phổ biến nhất, nhưng có thể gây hiểu lầm khi giá hoặc giá trị giỏ hàng thay đổi. Giá thấp hơn có thể làm tăng chuyển đổi nhưng lại làm giảm doanh thu. Với các thử nghiệm thương mại, doanh thu trên mỗi khách truy cập hoặc lợi nhuận gộp trên mỗi khách truy cập thường phản ánh đúng hơn, vì nó kết hợp số người mua với giá trị của mỗi đơn hàng.
Giữ một chỉ số chính và một danh sách ngắn các chỉ số giới hạn an toàn (guardrail), như tỷ lệ hoàn tiền, số lượt liên hệ hỗ trợ hoặc thời gian tải trang. Các chỉ số giới hạn an toàn giúp phát hiện một biến thể thắng cuộc nhưng âm thầm gây hại ở chỗ khác.
Đọc kết quả mà không tự đánh lừa mình
Mẫu nhỏ cho kết quả nhiễu. Ví dụ, giả sử một cửa hàng đồ gia dụng cho mỗi phiên bản hiển thị với 2,000 khách truy cập, và phiên bản B chuyển đổi 3.3 phần trăm so với 3.0 phần trăm của A. Chênh lệch đó chỉ là sáu đơn hàng, và chỉ riêng yếu tố ngẫu nhiên cũng dễ dàng tạo ra nó. Kiểm định ý nghĩa thống kê hoặc khoảng tin cậy cho biết chênh lệch đó có khả năng giữ vững hay không.
- Quyết định cỡ mẫu từ trước và tránh dừng ngay khi một biến thể có vẻ dẫn trước.
- Chạy thử nghiệm theo tuần trọn vẹn để bao gồm cả người mua ngày thường và cuối tuần.
- Cẩn trọng khi so sánh nhiều thứ cùng lúc, vì càng nhiều phép so sánh thì càng nhiều người thắng giả.
- Ghi lại cả những thử nghiệm thất bại, vì chúng giúp tránh việc thử đi thử lại cùng một ý tưởng.
Riêng về thử nghiệm A/B cho giá
Thử nghiệm giá hiển thị các mức giá khác nhau cho cùng một sản phẩm với các khách truy cập khác nhau tại cùng thời điểm. Nó trả lời câu hỏi mà khảo sát không trả lời trọn vẹn được: khách hàng thật làm gì khi đối mặt với một mức giá thật. Ví dụ, một cửa hàng bán giá đỡ điện thoại 40 đô la có thể thử 40 đô la so với 44 đô la và so sánh lợi nhuận gộp trên mỗi khách truy cập, chứ không chỉ số đơn hàng.
Nhiều đội ngũ thích những thiết kế nhẹ nhàng hơn, tránh việc hai người mua thấy giá khác nhau cho cùng một sản phẩm. Các lựa chọn phổ biến gồm thử ngưỡng miễn phí vận chuyển, gói sản phẩm, mã giảm giá chỉ hiển thị cho một nhóm, hoặc một biến thể sản phẩm mới có giá riêng. Một cách khác là thử nghiệm theo thời gian, trong đó toàn bộ cửa hàng chuyển sang giá mới trong một khoảng thời gian nhất định và được so sánh với một giai đoạn tương tự trước đó, chấp nhận rằng cách này kém chuẩn hơn so với chia nhóm thực sự.
Lưu ý về công bằng, niềm tin và pháp lý
Khách hàng phát hiện mình trả nhiều hơn người khác cho cùng một món hàng có thể cảm thấy bị lừa, ngay cả khi thử nghiệm là ngẫu nhiên. Ảnh chụp màn hình lan truyền rất nhanh, và một thử nghiệm ngắn có thể làm mất niềm tin lâu dài. Một số đội ngũ áp dụng giá thấp hơn cho bất kỳ ai trong nhóm giá cao yêu cầu, hoặc hoàn lại phần chênh lệch sau khi thử nghiệm kết thúc.
Quy định về chênh lệch giá, hiển thị giá và bảo vệ người tiêu dùng khác nhau giữa các quốc gia và đôi khi giữa các lĩnh vực. Thử nghiệm tuyệt đối không được thay đổi giá theo các đặc điểm được pháp luật bảo vệ, và một số nơi yêu cầu giá hiển thị phải là giá tính khi thanh toán. Dữ liệu cá nhân dùng để phân nhóm cũng có thể thuộc phạm vi luật về quyền riêng tư. Hãy coi đây là thông tin chung và hỏi chuyên gia pháp lý có chuyên môn trước khi chạy thử nghiệm giá thực tế ở một thị trường mới.
Sai lầm thường gặp
- Thử những thay đổi hình thức rất nhỏ trên lưu lượng truy cập thấp và chờ hàng tháng để có câu trả lời
- Thay đổi biến thể giữa chừng thử nghiệm
- Để khách truy cập quay lại chuyển qua lại giữa các phiên bản, làm lẫn lộn các nhóm
- Bỏ qua động thái của đối thủ trong thời gian thử nghiệm, vốn có thể làm thay đổi nhu cầu của cả hai nhóm
- Tuyên bố người thắng dựa trên tỷ lệ chuyển đổi khi thay đổi đó cũng làm giảm giá trị đơn hàng trung bình
Giá bên ngoài quan trọng hơn nhiều đội ngũ nghĩ. Nếu một đối thủ lớn chạy khuyến mãi giữa chừng một thử nghiệm giá, cả hai nhóm đều bị ảnh hưởng, và kết quả có thể không lặp lại trong một tuần bình thường. Lưu lại giá đối thủ trong suốt thời gian thử nghiệm, ví dụ bằng lịch sử giá, sẽ giúp kết quả dễ diễn giải hơn.
Áp dụng thử nghiệm A/B vào thực tế
Bắt đầu với những thay đổi có khả năng tạo khác biệt và dễ đảo ngược: cách trình bày ưu đãi, ngưỡng miễn phí vận chuyển, cấu trúc gói sản phẩm và độ rõ ràng của trang sản phẩm. Chuyển sang thử nghiệm giá trực tiếp khi đội ngũ đã có quy trình đáng tin cậy về cỡ mẫu, chỉ số giới hạn an toàn và cách thông tin với khách hàng.
Duy trì một nhật ký thử nghiệm đơn giản gồm giả thuyết, ngày, lưu lượng truy cập, chỉ số, kết quả và quyết định. Theo thời gian, nhật ký này trở thành bản đồ những gì khách hàng trong thị trường của bạn phản hồi, thường có giá trị hơn bất kỳ biến thể thắng cuộc riêng lẻ nào.
Điểm chính cần nhớ
- Thử nghiệm A/B chia ngẫu nhiên khách truy cập giữa nhóm đối chứng và biến thể, rồi so sánh một chỉ số đã thống nhất.
- Với thử nghiệm giá, doanh thu hoặc lợi nhuận gộp trên mỗi khách truy cập thường là chỉ số tốt hơn tỷ lệ chuyển đổi.
- Lên kế hoạch cỡ mẫu từ trước và chạy thử nghiệm theo tuần trọn vẹn để tránh người thắng giả.
- Thử nghiệm giá tiềm ẩn rủi ro về niềm tin và pháp lý tùy thị trường, nên hãy thiết kế cẩn thận và tham khảo ý kiến pháp lý.
- Lưu lại giá đối thủ trong thời gian thử nghiệm để các biến động bên ngoài không làm sai lệch kết quả.
Câu hỏi thường gặp
Thử nghiệm A/B nên chạy trong bao lâu?
Đủ lâu để đạt cỡ mẫu bạn đã lên kế hoạch và bao trọn ít nhất một chu kỳ tuần đầy đủ, thường là hai. Dừng ngay khi một phiên bản có vẻ dẫn trước thường tạo ra người thắng giả.
Hiển thị giá khác nhau cho các khách hàng khác nhau có hợp pháp không?
Điều đó phụ thuộc vào quốc gia, lĩnh vực và cách chọn nhóm. Phân nhóm ngẫu nhiên được đối xử khác với nhắm mục tiêu theo đặc điểm cá nhân, và các quy định về hiển thị giá cũng được áp dụng. Hãy hỏi chuyên gia pháp lý cho các thị trường bạn bán hàng.
Thử nghiệm A/B khác thử nghiệm đa biến như thế nào?
Thử nghiệm A/B so sánh hai phiên bản của một thay đổi. Thử nghiệm đa biến thay đổi nhiều yếu tố cùng lúc và nghiên cứu các tổ hợp của chúng, nên cần nhiều lưu lượng truy cập hơn hẳn để cho kết quả đáng tin cậy.
Cửa hàng nhỏ có chạy được thử nghiệm A/B không?
Có, nhưng nên thử những thay đổi mạnh với hiệu quả kỳ vọng lớn, vì hiệu quả nhỏ cần mẫu rất lớn. Cửa hàng ít lưu lượng truy cập thường học được nhiều hơn từ các lần thay đổi giá theo thời gian được xem xét cẩn thận.
Thuật ngữ liên quan
Trong BlackAha, Smart Price giúp bạn có giá bán đề xuất cho mọi sản phẩm, dựa trên giá đối thủ và giá thị trường.