การทดสอบ A/B คือการทดลองแบบมีกลุ่มควบคุมที่สุ่มแบ่งผู้เข้าชมระหว่างสองเวอร์ชันของบางสิ่ง เช่น เลย์เอาต์หน้าเว็บ ข้อเสนอ หรือราคา แล้วเปรียบเทียบผลลัพธ์ด้วยตัวชี้วัดเดียวที่ตกลงกันไว้ เวอร์ชัน A มักเป็นประสบการณ์ปัจจุบันซึ่งเรียกว่ากลุ่มควบคุม (control) และเวอร์ชัน B คือการเปลี่ยนแปลงที่กำลังทดสอบ
การทดสอบแบบแบ่งกลุ่มทำงานอย่างไร
แนวคิดหลักคือการสุ่มจัดกลุ่ม ผู้เข้าชมแต่ละคนถูกจัดเข้ากลุ่ม A หรือกลุ่ม B โดยบังเอิญ ทำให้ทั้งสองกลุ่มเหมือนกันทุกด้าน ยกเว้นการเปลี่ยนแปลงที่กำลังทดสอบ ส่วนต่างที่มีนัยสำคัญของผลลัพธ์จึงยกให้เป็นผลของการเปลี่ยนแปลงนั้นได้ แทนที่จะเป็นผลของสภาพอากาศ วันในสัปดาห์ หรือแคมเปญโฆษณาใหม่
- เขียนสมมติฐาน เช่น แบบฟอร์มชำระเงินที่สั้นลงจะเพิ่มคำสั่งซื้อที่เสร็จสมบูรณ์
- เลือกตัวชี้วัดหลักหนึ่งตัวก่อนเริ่มการทดสอบ
- ประมาณว่าแต่ละกลุ่มต้องการผู้เข้าชมกี่คนจึงจะตรวจพบผลที่คุณสนใจ
- เปิดใช้ทั้งสองเวอร์ชันพร้อมกันจนกว่าจะได้กลุ่มตัวอย่างตามนั้น
- เปรียบเทียบผลลัพธ์และตัดสินใจว่าจะเก็บ ปฏิเสธ หรือทดสอบการเปลี่ยนแปลงนั้นใหม่
การเลือกตัวชี้วัดที่เหมาะสม
อัตราคอนเวอร์ชันเป็นตัวชี้วัดที่ใช้บ่อยที่สุด แต่อาจทำให้เข้าใจผิดได้เมื่อราคาหรือขนาดตะกร้าเปลี่ยน ราคาที่ต่ำลงอาจเพิ่มคอนเวอร์ชันแต่ลดรายได้ สำหรับการทดสอบเชิงพาณิชย์ รายได้ต่อผู้เข้าชมหรือกำไรขั้นต้นต่อผู้เข้าชมมักสะท้อนความจริงได้ดีกว่า เพราะรวมทั้งจำนวนคนที่ซื้อและมูลค่าของแต่ละคำสั่งซื้อ
ใช้ตัวชี้วัดหลักหนึ่งตัวและรายการตัวชี้วัดป้องกัน (guardrail) สั้นๆ เช่น อัตราการคืนเงิน จำนวนการติดต่อฝ่ายช่วยเหลือ หรือเวลาโหลดหน้าเว็บ ตัวชี้วัดป้องกันช่วยจับเวอร์ชันที่ชนะแต่แอบสร้างความเสียหายให้ส่วนอื่น
การอ่านผลลัพธ์โดยไม่หลอกตัวเอง
กลุ่มตัวอย่างขนาดเล็กให้ผลลัพธ์ที่มีความคลาดเคลื่อนสูง สมมติเป็นตัวอย่างว่าร้านขายของใช้ในบ้านแสดงแต่ละเวอร์ชันให้ผู้เข้าชม 2,000 คน และเวอร์ชัน B มีคอนเวอร์ชัน 3.3 เปอร์เซ็นต์ เทียบกับ 3.0 เปอร์เซ็นต์ของ A ส่วนต่างนั้นคิดเป็นคำสั่งซื้อเพียงหกรายการ ซึ่งเกิดขึ้นได้ง่ายๆ จากความบังเอิญล้วนๆ การทดสอบนัยสำคัญหรือช่วงความเชื่อมั่นจะบอกได้ว่าส่วนต่างนั้นน่าจะคงอยู่หรือไม่
- กำหนดขนาดกลุ่มตัวอย่างล่วงหน้า และอย่าหยุดทันทีที่เวอร์ชันหนึ่งดูนำอยู่
- ทดสอบเป็นสัปดาห์เต็ม เพื่อให้ครอบคลุมทั้งนักช้อปวันธรรมดาและวันหยุดสุดสัปดาห์
- ระมัดระวังเมื่อเปรียบเทียบหลายอย่างพร้อมกัน เพราะยิ่งเปรียบเทียบมาก ยิ่งได้ผู้ชนะที่ผิดพลาดมาก
- บันทึกการทดสอบที่แพ้ไว้ด้วย เพราะช่วยป้องกันไม่ให้ทดสอบไอเดียเดิมซ้ำแล้วซ้ำเล่า
การทดสอบ A/B ด้านราคาโดยเฉพาะ
การทดสอบราคาแสดงราคาที่ต่างกันของสินค้าเดียวกันให้ผู้เข้าชมต่างคนในเวลาเดียวกัน ตอบคำถามที่แบบสำรวจตอบได้ไม่ครบ นั่นคือลูกค้าจริงทำอย่างไรเมื่อเจอราคาจริง ตัวอย่างเช่น ร้านที่ขายแท่นวางโทรศัพท์ราคา 40 ดอลลาร์อาจทดสอบ 40 ดอลลาร์กับ 44 ดอลลาร์ และเปรียบเทียบกำไรขั้นต้นต่อผู้เข้าชม ไม่ใช่แค่จำนวนคำสั่งซื้อ
หลายทีมเลือกรูปแบบที่นุ่มนวลกว่า เพื่อหลีกเลี่ยงไม่ให้นักช้อปสองคนเห็นราคาต่างกันสำหรับสินค้าชิ้นเดียวกัน ทางเลือกที่พบบ่อย ได้แก่ การทดสอบเกณฑ์ค่าจัดส่ง ชุดสินค้า โค้ดส่วนลดที่แสดงในกลุ่มเดียว หรือตัวเลือกสินค้าใหม่ที่มีราคาของตัวเอง อีกแนวทางหนึ่งคือการทดสอบตามช่วงเวลา ซึ่งทั้งร้านเปลี่ยนไปใช้ราคาใหม่ในช่วงเวลาที่กำหนด แล้วเปรียบเทียบกับช่วงก่อนหน้าที่คล้ายกัน โดยยอมรับว่าวิธีนี้ไม่สะอาดเท่าการแบ่งกลุ่มจริง
ข้อควรระวังด้านความเป็นธรรม ความไว้วางใจ และกฎหมาย
ลูกค้าที่พบว่าตนจ่ายแพงกว่าคนอื่นสำหรับสินค้าชิ้นเดียวกันอาจรู้สึกว่าถูกโกง แม้การทดสอบจะเป็นแบบสุ่มก็ตาม ภาพหน้าจอแพร่กระจายได้รวดเร็ว และการทดลองสั้นๆ อาจทำให้เสียความไว้วางใจในระยะยาว บางทีมจึงให้ราคาที่ต่ำกว่าแก่ทุกคนในกลุ่มราคาสูงที่ร้องขอ หรือคืนส่วนต่างหลังการทดสอบสิ้นสุด
กฎเกี่ยวกับความแตกต่างของราคา การแสดงราคา และการคุ้มครองผู้บริโภคแตกต่างกันไปตามประเทศ และบางครั้งตามอุตสาหกรรม การทดสอบต้องไม่เปลี่ยนราคาตามคุณลักษณะที่กฎหมายคุ้มครองเด็ดขาด และบางพื้นที่กำหนดให้ราคาที่แสดงต้องเป็นราคาที่เรียกเก็บตอนชำระเงิน ข้อมูลส่วนบุคคลที่ใช้จัดกลุ่มอาจอยู่ภายใต้กฎหมายความเป็นส่วนตัวด้วย ให้ถือว่านี่เป็นข้อมูลทั่วไป และปรึกษาที่ปรึกษากฎหมายที่มีคุณสมบัติก่อนทดสอบราคาจริงในตลาดใหม่
ข้อผิดพลาดที่พบบ่อย
- ทดสอบการเปลี่ยนแปลงเล็กน้อยด้านหน้าตากับทราฟฟิกที่น้อย และรอคำตอบเป็นเดือนๆ
- เปลี่ยนเวอร์ชันทดสอบกลางคัน
- ปล่อยให้ผู้เข้าชมที่กลับมาสลับไปมาระหว่างเวอร์ชัน ซึ่งทำให้กลุ่มปะปนกัน
- มองข้ามความเคลื่อนไหวของคู่แข่งระหว่างการทดสอบ ซึ่งอาจเปลี่ยนอุปสงค์ของทั้งสองกลุ่ม
- ประกาศผู้ชนะจากอัตราคอนเวอร์ชัน ทั้งที่การเปลี่ยนแปลงนั้นทำให้มูลค่าคำสั่งซื้อเฉลี่ยลดลงด้วย
ราคาภายนอกสำคัญกว่าที่หลายทีมคาดคิด หากคู่แข่งรายใหญ่จัดโปรโมชันระหว่างการทดสอบราคา ทั้งสองกลุ่มจะได้รับผลกระทบ และผลลัพธ์อาจไม่เกิดซ้ำในสัปดาห์ปกติ การเก็บบันทึกราคาคู่แข่งตลอดช่วงทดสอบ เช่น ด้วย ประวัติราคาจะช่วยให้ตีความผลลัพธ์ได้ง่ายขึ้น
นำการทดสอบ A/B ไปใช้งานจริง
เริ่มจากการเปลี่ยนแปลงที่น่าจะมีผลและย้อนกลับได้ง่าย เช่น การนำเสนอข้อเสนอ เกณฑ์ค่าจัดส่ง โครงสร้างชุดสินค้า และความชัดเจนของหน้าสินค้า แล้วจึงขยับไปทดสอบราคาโดยตรงเมื่อทีมมีกระบวนการที่เชื่อถือได้สำหรับขนาดกลุ่มตัวอย่าง ตัวชี้วัดป้องกัน และการสื่อสารกับลูกค้า
เก็บบันทึกการทดสอบแบบง่ายๆ ที่มีสมมติฐาน วันที่ ทราฟฟิก ตัวชี้วัด ผลลัพธ์ และการตัดสินใจ เมื่อเวลาผ่านไป บันทึกนี้จะกลายเป็นแผนที่ของสิ่งที่ลูกค้าในตลาดของคุณตอบสนอง ซึ่งมักมีค่ามากกว่าเวอร์ชันที่ชนะเวอร์ชันใดเวอร์ชันหนึ่ง
ประเด็นสำคัญ
- การทดสอบ A/B สุ่มแบ่งผู้เข้าชมระหว่างกลุ่มควบคุมกับเวอร์ชันทดสอบ แล้วเปรียบเทียบตัวชี้วัดเดียวที่ตกลงกันไว้
- สำหรับการทดสอบราคา รายได้หรือกำไรขั้นต้นต่อผู้เข้าชมมักเป็นตัวชี้วัดที่ดีกว่าอัตราคอนเวอร์ชัน
- วางแผนขนาดกลุ่มตัวอย่างล่วงหน้าและทดสอบเป็นสัปดาห์เต็ม เพื่อหลีกเลี่ยงผู้ชนะที่ผิดพลาด
- การทดสอบราคามีความเสี่ยงด้านความไว้วางใจและกฎหมายที่แตกต่างกันไปตามตลาด จึงต้องออกแบบอย่างรอบคอบและขอคำปรึกษาด้านกฎหมาย
- บันทึกราคาคู่แข่งระหว่างการทดสอบ เพื่อไม่ให้ความเคลื่อนไหวภายนอกบิดเบือนผลลัพธ์
คำถามที่พบบ่อย
การทดสอบ A/B ควรใช้เวลานานเท่าใด
นานพอที่จะได้ขนาดกลุ่มตัวอย่างตามที่วางแผนไว้ และครอบคลุมรอบสัปดาห์เต็มอย่างน้อยหนึ่งรอบ ซึ่งมักเป็นสองรอบ การหยุดทันทีที่เวอร์ชันหนึ่งดูนำอยู่มักทำให้ได้ผู้ชนะที่ผิดพลาด
การแสดงราคาที่ต่างกันให้ลูกค้าต่างกลุ่มถูกกฎหมายหรือไม่
ขึ้นอยู่กับประเทศ อุตสาหกรรม และวิธีเลือกกลุ่ม การสุ่มจัดกลุ่มได้รับการพิจารณาต่างจากการเจาะกลุ่มตามลักษณะส่วนบุคคล และยังมีกฎการแสดงราคาที่ต้องปฏิบัติตามด้วย ควรปรึกษาที่ปรึกษากฎหมายสำหรับตลาดที่คุณขาย
การทดสอบ A/B ต่างจากการทดสอบหลายตัวแปรอย่างไร
การทดสอบ A/B เปรียบเทียบการเปลี่ยนแปลงหนึ่งอย่างในสองเวอร์ชัน ส่วนการทดสอบหลายตัวแปรเปลี่ยนหลายองค์ประกอบพร้อมกันและศึกษาผลของการผสมผสานเหล่านั้น ซึ่งต้องใช้ทราฟฟิกมากกว่ามากเพื่อให้ได้คำตอบที่เชื่อถือได้
ร้านค้าขนาดเล็กทำการทดสอบ A/B ได้หรือไม่
ได้ แต่ควรทดสอบการเปลี่ยนแปลงที่ชัดเจนซึ่งคาดว่าจะให้ผลมาก เพราะผลที่น้อยต้องใช้กลุ่มตัวอย่างขนาดใหญ่มาก ร้านค้าที่มีทราฟฟิกน้อยมักเรียนรู้ได้มากกว่าจากการเปลี่ยนราคาตามช่วงเวลาที่ทบทวนอย่างรอบคอบ
คำที่เกี่ยวข้อง
ใน BlackAha Smart Price ช่วยให้คุณได้ราคาขายที่แนะนำสำหรับสินค้าทุกรายการ โดยอิงจากราคาคู่แข่งและราคาตลาด