A/B 테스트는 방문자를 무작위로 두 버전, 예를 들어 페이지 레이아웃, 혜택, 가격의 두 버전에 나누어 배정하고 합의한 하나의 지표로 결과를 비교하는 통제 실험입니다. 버전 A는 보통 현재의 경험으로 대조군이라고 부르고, 버전 B는 테스트하는 변경 사항입니다.
분할 테스트의 작동 방식
핵심은 무작위 배정입니다. 각 방문자는 우연에 따라 그룹 A 또는 그룹 B에 배정되므로, 두 그룹은 테스트 중인 변경을 제외한 모든 면에서 비슷합니다. 따라서 결과에 의미 있는 차이가 나면 날씨, 요일, 새 광고 캠페인이 아니라 그 변경 덕분이라고 볼 수 있습니다.
- 가설을 세웁니다. 예를 들어 결제 양식을 짧게 하면 완료 주문이 늘어난다는 가설입니다.
- 테스트 시작 전에 주요 지표 하나를 정합니다.
- 관심 있는 효과를 감지하려면 그룹마다 방문자가 몇 명 필요한지 추정합니다.
- 그 표본에 도달할 때까지 두 버전을 동시에 운영합니다.
- 결과를 비교하고 변경을 유지할지, 버릴지, 다시 테스트할지 결정합니다.
알맞은 지표 고르기
전환율은 가장 흔한 지표이지만, 가격이나 장바구니 규모가 바뀌면 오해를 낳을 수 있습니다. 가격을 낮추면 전환율은 오르지만 매출은 줄어들 수 있습니다. 매출과 직결된 테스트에서는 방문자당 매출이나 방문자당 매출총이익이 보통 더 정확한 그림을 보여 줍니다. 구매하는 사람 수와 주문 한 건의 가치를 함께 반영하기 때문입니다.
주요 지표는 하나로 두고, 환불률, 고객 문의 건수, 페이지 로딩 시간 같은 보호 지표를 몇 개 정해 두세요. 보호 지표는 이긴 것처럼 보이는 변형이 다른 부분을 조용히 해치는 경우를 잡아냅니다.
스스로를 속이지 않고 결과 읽기
표본이 작으면 결과에 잡음이 많습니다. 예를 들어 한 생활용품 스토어가 각 버전을 방문자 2,000명에게 보여 주었고, 버전 B의 전환율이 3.3%, A가 3.0%였다고 해 봅시다. 이 차이는 주문 여섯 건에 불과하며 우연만으로도 쉽게 생길 수 있습니다. 유의성 검정이나 신뢰 구간을 보면 차이가 유지될 가능성이 높은지 알 수 있습니다.
- 표본 크기를 미리 정하고, 변형이 앞서 보이는 순간 멈추지 마세요.
- 평일과 주말 쇼핑객이 모두 포함되도록 주 단위로 테스트를 진행하세요.
- 동시에 여러 비교를 할 때는 주의하세요. 비교가 많을수록 가짜 승자도 많아집니다.
- 진 테스트도 기록하세요. 같은 아이디어를 계속 반복해서 테스트하는 일을 막아 줍니다.
특히 가격 A/B 테스트의 경우
가격 테스트는 같은 시간에 같은 상품을 방문자마다 다른 가격으로 보여 줍니다. 설문으로는 완전히 답할 수 없는 질문, 즉 실제 고객이 실제 가격 앞에서 어떻게 행동하는지에 답해 줍니다. 예를 들어 40달러짜리 휴대폰 거치대를 파는 스토어라면 40달러와 44달러를 테스트하고, 주문 수만이 아니라 방문자당 매출총이익을 비교할 수 있습니다.
많은 팀은 두 쇼핑객이 똑같은 상품에서 서로 다른 가격을 보는 상황을 피하는 더 부드러운 설계를 선호합니다. 흔한 방법으로는 무료 배송 기준 금액, 묶음 상품, 한 그룹에만 보이는 할인 코드, 자체 가격을 가진 새 상품 옵션을 테스트하는 것이 있습니다. 또 다른 방법은 시점을 나눈 테스트로, 스토어 전체를 정해진 기간 동안 새 가격으로 바꾸고 비슷한 이전 기간과 비교합니다. 다만 진정한 분할 테스트보다 덜 깔끔하다는 점은 감안해야 합니다.
공정성, 신뢰, 법적 주의 사항
같은 상품에 다른 사람보다 더 많이 냈다는 사실을 알게 된 고객은, 테스트가 무작위였더라도 속았다고 느낄 수 있습니다. 스크린샷은 빠르게 퍼지고, 짧은 실험 하나가 장기적인 신뢰를 잃게 할 수 있습니다. 일부 팀은 높은 가격 그룹의 고객이 요청하면 낮은 가격을 적용해 주거나, 테스트가 끝난 뒤 차액을 환불합니다.
가격 차이, 가격 표시, 소비자 보호에 관한 규정은 나라마다, 때로는 업종마다 다릅니다. 테스트에서 보호 대상 특성에 따라 가격을 달리해서는 절대 안 되며, 일부 지역에서는 표시된 가격이 결제 시 청구되는 가격과 같아야 합니다. 그룹 배정에 쓰는 개인 데이터는 개인정보 보호법의 적용을 받을 수도 있습니다. 이 내용은 일반적인 정보로 받아들이고, 새로운 시장에서 실제 가격 테스트를 진행하기 전에 자격을 갖춘 법률 자문가와 상담하세요.
흔한 실수
- 트래픽이 적은데 아주 사소한 디자인 변경을 테스트하고 답을 몇 달씩 기다리기
- 테스트 도중에 변형을 바꾸기
- 재방문자가 버전 사이를 오가게 두어 그룹이 섞이게 하기
- 테스트 중 경쟁사의 움직임을 무시하기. 두 그룹 모두의 수요를 바꿀 수 있습니다
- 변경으로 평균 주문 금액도 낮아졌는데 전환율만 보고 승자를 선언하기
외부 가격은 많은 팀이 예상하는 것보다 중요합니다. 가격 테스트 도중 주요 경쟁사가 프로모션을 진행하면 두 그룹 모두 영향을 받고, 그 결과는 평소 같은 주에는 재현되지 않을 수 있습니다. 테스트 기간의 경쟁사 가격을 기록해 두면(예: 가격 이력활용) 결과를 해석하기가 더 쉬워집니다.
A/B 테스트 실무에 적용하기
효과가 클 가능성이 높고 되돌리기 쉬운 변경부터 시작하세요. 혜택 표시 방식, 무료 배송 기준 금액, 묶음 구성, 상품 페이지의 명확성 등이 있습니다. 팀이 표본 크기, 보호 지표, 고객 커뮤니케이션에 대한 믿을 만한 절차를 갖춘 뒤에 직접적인 가격 테스트로 넘어가세요.
가설, 날짜, 트래픽, 지표, 결과, 결정을 담은 간단한 테스트 기록을 남기세요. 시간이 지나면 이 기록은 내 시장의 고객이 무엇에 반응하는지 보여 주는 지도가 되며, 이는 이긴 변형 하나보다 더 가치 있는 경우가 많습니다.
핵심 요약
- A/B 테스트는 방문자를 대조군과 변형으로 무작위로 나누고 합의한 하나의 지표를 비교합니다.
- 가격 테스트에서는 보통 전환율보다 방문자당 매출이나 매출총이익이 더 나은 지표입니다.
- 가짜 승자를 피하려면 표본 크기를 미리 계획하고 주 단위로 테스트하세요.
- 가격 테스트에는 시장마다 다른 신뢰 및 법적 위험이 따르므로, 신중하게 설계하고 법률 자문을 받으세요.
- 외부 움직임이 결과를 왜곡하지 않도록 테스트 중 경쟁사 가격을 기록하세요.
자주 묻는 질문
A/B 테스트는 얼마나 오래 진행해야 하나요?
계획한 표본 크기에 도달하고 최소한 한 주 단위의 주기를 온전히 한 번, 보통은 두 번 거칠 만큼 진행해야 합니다. 한 버전이 앞서 보이자마자 멈추면 가짜 승자가 나오기 쉽습니다.
고객마다 다른 가격을 보여 주는 것은 합법인가요?
나라, 업종, 그룹을 나누는 방식에 따라 다릅니다. 무작위 배정은 개인 특성에 따른 타기팅과 다르게 취급되며, 가격 표시 규정도 적용됩니다. 판매하는 시장에 대해 법률 자문가에게 문의하세요.
A/B 테스트와 다변량 테스트의 차이는 무엇인가요?
A/B 테스트는 한 가지 변경의 두 버전을 비교합니다. 다변량 테스트는 여러 요소를 한꺼번에 바꾸고 그 조합을 분석하므로, 신뢰할 수 있는 답을 얻으려면 훨씬 많은 트래픽이 필요합니다.
작은 스토어도 A/B 테스트를 할 수 있나요?
네, 다만 효과가 작으면 아주 큰 표본이 필요하므로 기대 효과가 큰 과감한 변경을 테스트해야 합니다. 트래픽이 적은 스토어는 시점을 나눈 가격 변경을 꼼꼼히 검토하는 편이 더 많은 것을 알려 주기도 합니다.
관련 용어
BlackAha에서는 Smart Price 기능으로 경쟁사와 시장 가격을 바탕으로 모든 제품의 권장 판매가를 받을 수 있습니다.