Los Test A/B son un mito (para la mayoría)

14 marzo, 2013

Análisis, Publi/Marketing

Todos los días vas al trabajo andando por la misma calle, ves los mismos árboles, los mismos edificios, los mismos niños que llegan tarde al colegio mientras que su madre les riñe para que no se distraigan. Es una zona residencial y los coches aparcados mas o menos son los mismos; ahí está la Chrysler Voyager que tanto te gusta, por el tamaño y por Voyager, que eres un friki de Star Trek y es lo más cercano que vas a estar a una nave de la federación.

Pero un día, se cruza contigo una rubia despampanante en un ceñido vestido rojo. Dentro del conjunto, de las casas, los coches, los árboles, la gente, es un cambio mínimo, insignificante, pero ese día te paras, te das la vuelta, le echas una foto y la subes al Twitter junto con unas palabras no aptas para algunos lectores, con tan mala suerte, que esa rubia es la responsable de recursos humanos que esa misma tarde va a revisar tu perfil en las redes sociales antes de hacerte la entrevista para una nueva StartUp en la que querías trabajar.

Alguien que no sepa de estadística podría afirmar que “Hay que evitar cruzarse con rubias antes de una entrevista de trabajo” confundiendo “casualidad” y “causalidad”. Pero un buen estadista, sabe que no hay suficientes datos para hacer una afirmación de confianza, y un buen analista  podría inferir en  “Publicar fotos de rubias con palabras malsonantes en Twitter puede afectar a una futura entrevista de trabajo”. Pero esto último no es estadística, no es un Test A/B entre peatones que se cruzan con rubias y otros que no, esto último es utilizar la cabeza.

Los Test A/B no valen para la mayoría de las webs

Hay varias formulas matemáticas para calcular el nivel de confianza de un Test A/B, el más usado es el Test de Chi. Si profundizamos un poco en la teoría veremos que es necesario una muestra de datos tan grande (y en las mismas condiciones), que cualquier web con 100.000 visitas/mes, necesitaría meses para obtener unos resultados fiables de un Test A/B. Os dejo una calculadora para que hagáis la prueba en casa.

Calculadora duración Test A/B

Para entenderlo mejor; para que un Test A/B sea válido, tendríamos que tener unos 100 pedidos en las mismas condiciones, entendiendo por condiciones variables como: Día de la semana, hora, clima, situación económica/política, etc…. Por que esas variables forman parte de la ecuación.

Un Test A/B sólo tiene sentido para una gran empresa, con miles de visitas a la hora, en la que podemos suponer que las condiciones más o menos no cambian.

Cuando vale un Test A/B

Al igual que en mi ejemplo de la Rubia, un analista puede obtener un conclusión lógica. Los Test A/B son útiles para sacar conclusiones lógicas o cuando la diferencia de los resultados es realmente abismal.

Hace dos años lanzamos una web en Portugal y durante la primera semana no entró ningún pedido, todos los clientes se quedaban en el carrito de compra, pero ninguno llegaba a cerrar el pedido.

Hicimos una prueba, algo totalmente ridículo, pusimos el botón de Check Out 10 veces más grande y en rojo, a ver que pasaba. Los pedidos pasaron de 0 a la semana a 20 a la semana. Era un incremento de infinito. La razón era relativamente sencilla, el botón anterior era demasiado pequeño y en un color que pasaba desapercibido y el nuevo botón era una “Rubia de Rojo”, y los 20 pedidos confirmaban que en algo había influído.

En otra de las pruebas, cambiamos la cabecera de una sección y el % de rebote se redujo en un 20% durante la primera semana, pero a la segunda aumentó un 15% y a la siguiente bajó un 8%. Concluimos en que la cabecera no era la responsable del incremento/decremento del rebote y abandonamos la prueba.

Para pequeñas empresas, los Test A/B sólo nos valen para sacar análisis, sacar conclusiones lógicas, hipótesis que son difíciles de demostrar.

Los Test A/B en las grandes empresas

Para webs con mucho tráfico, los Test A/B tienen un impacto enorme, os recomiendo el artículo The $300 million Button para que veáis de que hablo.

Pero no obstante, diseñar un Test A/B no es tan sencillo como parece. Por ejemplo, si lanzáramos un Test A/B en la web de El Corte Inglés, tendríamos que probar sólo en uno de los departamentos, un día en el que el catálogo no se moviera y no se lanzaran campañas de marketing en la web, ni en los centros físicos, ni en ningún afiliado. Tendríamos que aislar las condiciones del experimento, lo cual no es nada sencillo.

En resumen

Para nosotros los mortales, los Test A/B no tienen mucho sentido fuera de simple lógica y observación. Os recomiendo entrenar nuestras capacidades de análisis con la página Which Test Won.

Uso de cookies

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información.plugin cookies

ACEPTAR