El test A/B es un experimento controlado en el que los visitantes se reparten al azar entre dos versiones de algo, como el diseño de una página, una oferta o un precio, y los resultados se comparan con una métrica acordada. La versión A suele ser la experiencia actual, llamada control, y la versión B es el cambio que se prueba.
Cómo funciona un test dividido
La idea central es la asignación aleatoria. Cada visitante se coloca en el grupo A o en el grupo B por azar, de modo que los dos grupos son iguales en todo salvo en el cambio que se prueba. Así, cualquier diferencia significativa en el resultado puede atribuirse a ese cambio y no al tiempo, al día de la semana o a una nueva campaña publicitaria.
- Escribe una hipótesis, por ejemplo, que un formulario de pago más corto aumentará los pedidos completados.
- Elige una métrica principal antes de empezar el test.
- Estima cuántos visitantes necesita cada grupo para detectar el efecto que te interesa.
- Ejecuta ambas versiones a la vez hasta alcanzar esa muestra.
- Compara los resultados y decide si mantienes, rechazas o vuelves a probar el cambio.
Elegir la métrica adecuada
La tasa de conversión es la métrica más común, pero puede inducir a error cuando cambian el precio o el tamaño de la cesta. Un precio más bajo puede subir la conversión y a la vez reducir los ingresos. En los tests comerciales, los ingresos por visitante o el beneficio bruto por visitante suelen contar una historia más fiel, porque combinan cuántas personas compran con cuánto vale cada pedido.
Mantén una métrica principal y una lista corta de métricas de control, como la tasa de reembolsos, los contactos con soporte o el tiempo de carga de la página. Estas métricas detectan una variante ganadora que en silencio perjudica otra cosa.
Cómo leer los resultados sin engañarte
Las muestras pequeñas producen resultados con mucho ruido. Supón, como ejemplo, que una tienda de artículos para el hogar muestra cada versión a 2.000 visitantes y que la versión B convierte un 3,3 por ciento frente al 3,0 por ciento de la A. Esa diferencia son solo seis pedidos, y el azar puede producirla fácilmente. Un test de significación o un intervalo de confianza muestra si es probable que la diferencia se mantenga.
- Decide el tamaño de la muestra de antemano y evita detener el test en cuanto una variante parezca ir por delante.
- Ejecuta los tests durante semanas completas para incluir tanto a los compradores de entre semana como a los del fin de semana.
- Trata con cuidado las muchas comparaciones simultáneas, porque más comparaciones significan más falsos ganadores.
- Registra también los tests perdedores, porque evitan que la misma idea se pruebe una y otra vez.
Tests A/B de precio en particular
Un test de precio muestra precios distintos para el mismo producto a visitantes distintos al mismo tiempo. Responde a una pregunta que las encuestas no pueden responder del todo: qué hacen los clientes reales cuando se enfrentan a un precio real. Por ejemplo, una tienda que vende un soporte para móvil de 40 dólares podría probar 40 dólares frente a 44 dólares y comparar el beneficio bruto por visitante, no solo los pedidos.
Muchos equipos prefieren diseños más suaves que evitan que dos compradores vean precios distintos para el mismo artículo. Entre las opciones habituales están probar un umbral de envío, un pack, un código de descuento mostrado a un grupo o una nueva variante de producto con su propio precio. Otro enfoque es un test temporal, en el que toda la tienda pasa a un nuevo precio durante un periodo fijado y se compara con un periodo anterior similar, aceptando que es menos limpio que una división real.
Equidad, confianza y precauciones legales
Los clientes que descubren que pagaron más que otra persona por el mismo artículo pueden sentirse engañados, aunque el test fuera aleatorio. Las capturas de pantalla se difunden rápido, y un experimento breve puede costar confianza a largo plazo. Algunos equipos respetan el precio más bajo para cualquiera del grupo con precio más alto que lo pida, o reembolsan la diferencia cuando termina el test.
Las normas sobre diferencias de precio, exhibición de precios y protección del consumidor varían según el país y a veces según el sector. Un test nunca debe variar los precios en función de características protegidas, y en algunos lugares el precio mostrado debe ser el precio cobrado en el pago. Los datos personales usados para asignar grupos también pueden estar sujetos a la ley de privacidad. Trata esto como información general y consulta a un asesor legal cualificado antes de hacer tests de precio en vivo en un mercado nuevo.
Errores comunes
- Probar cambios estéticos mínimos con poco tráfico y esperar meses una respuesta
- Cambiar la variante a mitad del test
- Dejar que los visitantes recurrentes alternen entre versiones, lo que mezcla los grupos
- Ignorar los movimientos de la competencia durante el test, que pueden alterar la demanda de ambos grupos
- Declarar un ganador por la tasa de conversión cuando el cambio también redujo el valor medio del pedido
Los precios externos importan más de lo que muchos equipos creen. Si un competidor importante lanza una promoción en mitad de un test de precio, ambos grupos se ven afectados y el resultado puede no repetirse en una semana normal. Llevar un registro de los precios de la competencia durante el periodo del test, por ejemplo con historial de precios, facilita la interpretación del resultado.
Cómo poner en práctica el test A/B
Empieza por cambios que probablemente importen y que sean baratos de revertir: la presentación de la oferta, los umbrales de envío, la estructura de los packs y la claridad de la página de producto. Pasa a tests de precio directos cuando el equipo tenga un proceso fiable para los tamaños de muestra, las métricas de control y la comunicación con los clientes.
Lleva un registro sencillo de tests con la hipótesis, las fechas, el tráfico, la métrica, el resultado y la decisión. Con el tiempo, el registro se convierte en un mapa de a qué responden los clientes de tu mercado, lo que a menudo vale más que cualquier variante ganadora concreta.
Ideas clave
- El test A/B reparte al azar a los visitantes entre un control y una variante y compara una métrica acordada.
- En los tests de precio, los ingresos o el beneficio bruto por visitante suelen ser mejor métrica que la tasa de conversión.
- Planifica el tamaño de la muestra de antemano y ejecuta los tests durante semanas completas para evitar falsos ganadores.
- Los tests de precio conllevan riesgos de confianza y legales que varían según el mercado, así que diséñalos con cuidado y busca asesoramiento legal.
- Registra los precios de la competencia durante un test para que los movimientos externos no distorsionen el resultado.
Preguntas frecuentes
¿Cuánto tiempo debe durar un test A/B?
Lo suficiente para alcanzar el tamaño de muestra que planificaste y cubrir al menos un ciclo semanal completo, a menudo dos. Detenerlo en cuanto una versión parece ir por delante suele producir falsos ganadores.
¿Es legal mostrar precios distintos a clientes distintos?
Depende del país, del sector y de cómo se eligen los grupos. La asignación aleatoria se trata de forma distinta a la segmentación por rasgos personales, y también se aplican normas de exhibición de precios. Consulta a un asesor legal para los mercados en los que vendes.
¿Qué diferencia hay entre el test A/B y el test multivariante?
Un test A/B compara dos versiones de un único cambio. Un test multivariante cambia varios elementos a la vez y estudia sus combinaciones, por lo que necesita mucho más tráfico para dar una respuesta fiable.
¿Puede una tienda pequeña hacer tests A/B?
Sí, pero debería probar cambios audaces con efectos esperados grandes, ya que los efectos pequeños necesitan muestras muy grandes. Las tiendas con poco tráfico suelen aprender más de cambios de precio a lo largo del tiempo revisados con cuidado.
Términos relacionados
En BlackAha, Smart Price te ayuda a obtener un precio de venta recomendado para cada producto, basado en los precios de la competencia y del mercado.