Día tres del test. La variante B va por delante, el equipo lo ve, alguien dice "está claro, vamos con la B", y para el viernes ya está en producción. La escena se repite en todas partes y casi siempre termina igual, con una decisión tomada sobre un número que todavía no significaba nada.
Aquí conviene aclarar de qué va este artículo. Montar un test A/B bien hecho es un asunto técnico con manuales de sobra. Lo que se explora es algo más incómodo: lo que hacemos las personas cuando queremos un ganador antes de que los datos estén listos para dárnoslo.
Querer un ganador más rápido de lo que el dato puede darlo
La impaciencia no aparece por culpa de la herramienta. La herramienta hace su trabajo perfecto, mide lo que le pides con toda la paciencia del mundo. Quien tiene prisa es la persona que está del otro lado de la pantalla y necesita cerrar el asunto para la reunión del jueves.
Un test recién empezado es puro ruido. Los primeros días una variante adelanta a la otra por motivos que tienen más que ver con quién entró a mirar ese martes por la tarde que con cuál funciona mejor. Cerrar ahí se parece a sacar conclusiones de una encuesta con seis respuestas. El número existe, se ve, incluso parece contundente, y no aguanta nada.
Las tres formas más comunes de leerlo mal
La primera es parar el test en cuanto el resultado te gusta. Miras al tercer día, la B va ganando, la das por buena y apagas el experimento. Lo que se te escapa es que el segundo día quizá ganaba la A, y el cuarto vuelve a estar empatado. Parar justo cuando el número te conviene te garantiza quedarte con el pico de suerte y perderte la tendencia.
La segunda tiene que ver con la significancia estadística, ese concepto que mucha gente cita y pocos usan bien. Que un resultado sea significativo al 95% dice algo bastante modesto sobre la probabilidad de que la diferencia que ves se deba al azar. Tratar ese 95% como un sello de garantía es donde nace media confianza mal puesta del sector.
La tercera es hacer el test sobre una audiencia demasiado pequeña. Con doscientas personas, cualquier diferencia que veas puede ser humo. Hace falta un volumen que le dé al dato la oportunidad de estabilizarse, y hasta que ese volumen no llega, lo que tienes entre manos es una corazonada con aspecto de gráfico.
Por qué esto es una trampa de decisión
Aquí está la parte que más cuesta ver. El daño de un test mal leído va mucho más allá del número equivocado, porque el número se corrige en cuanto alguien lo pilla. Lo que sale caro es la certeza falsa que deja detrás.
Un equipo que "ganó" un test basado en ruido cree que encontró la respuesta. Y en cuanto crees que tienes la respuesta, dejas de buscar. Se cierra la pregunta, se archiva el tema, se pasa a otra cosa. Ese test que en realidad no probó nada te acaba de robar diez iteraciones que habrías hecho de saber que seguías sin saber.
La ignorancia honesta al menos te mantiene mirando. La falsa certeza te apaga la curiosidad justo cuando más falta hace.
Qué hace que un test sea de verdad fiable
Lo que separa un test útil de uno decorativo tiene menos que ver con la sofisticación y más con la disciplina de leerlo. Un par de hábitos sencillos cambian casi todo.
Decide el tamaño de muestra y la duración antes de mirar nada. Lo escribes, te comprometes, y no lo tocas cuando el resultado empiece a tentarte. Ese compromiso previo es lo único que te protege de tu propio sesgo, que aparece justo en el momento en que ves un número que te gusta.
Aguanta las ganas de espiar y cerrar antes de tiempo. Mirar de reojo cada mañana tiene su peligro, porque cada vistazo es una oportunidad para convencerte de parar en el pico que te conviene. El test termina cuando dijiste que terminaría, y punto.
Y trata cada test como un dato más dentro de una conversación larga, algo que te da una pista y una dirección que vale la pena confirmar. La marca que gana a largo plazo lee los tests normales con la cabeza fría y la paciencia suficiente para no creerse la primera buena noticia. Ahí está la ventaja, mucho más que en montar el experimento más elaborado del mundo.
