Antes de lanzar un test A/B conviene saber cuánta gente hace falta para que el resultado signifique algo. Esta calculadora parte de la conversión actual, del aumento que quieres poder distinguir, de la potencia y del nivel de significación, y devuelve cuántas observaciones necesita cada variante. Detrás está la aproximación normal con la que se comparan dos proporciones en un contraste bilateral, la misma familia de fórmulas que recoge el e-Handbook of Statistical Methods de NIST/SEMATECH.
El número que sale suele sorprender, y casi siempre por lo alto. Con una conversión actual del 5 %, con el objetivo de notar dos puntos porcentuales de mejora, 80 % de potencia y 5 % de significación, hacen falta 2.214 observaciones por variante: 4.428 en total. Si el tráfico no da para tanto en un plazo razonable, lo honesto es cambiar la pregunta, no el resultado.
Reducir a la mitad el efecto cuadruplica la muestra
El tamaño de la muestra no baja en proporción al efecto que quieres detectar, sino mucho más deprisa. En la fórmula, la diferencia entre las dos conversiones aparece elevada al cuadrado en el denominador, de modo que el número de observaciones es inversamente proporcional al cuadrado de esa diferencia: partir por la mitad el efecto que buscas multiplica por cerca de cuatro las observaciones necesarias. Pedirle a un test que note un punto porcentual en lugar de dos no cuesta el doble de tráfico: cuesta casi cuatro veces más.
Cuatro exactos casi nunca salen, porque al cambiar la mejora buscada cambia también la varianza que va en el numerador. Con una conversión actual del 5 %, buscar dos puntos deja la conversión media de las dos variantes en el 6 % y buscar uno la deja en el 5,5 %, algo menos dispersa; el cociente real entre ambos tamaños es 3,69. En cifras: 2.214 observaciones por variante para dos puntos y 8.159 para uno, con 80 % de potencia y 5 % de significación. Esa curva explica por qué las pruebas que buscan efectos pequeños casi nunca caben en el calendario de un sitio mediano.
Puntos porcentuales y porcentaje no son lo mismo
Dos maneras de decir lo mismo se confunden a diario y llevan a planificar pruebas equivocadas. El campo de la mejora a detectar se expresa en puntos porcentuales: pasar del 5 % al 7 % son dos puntos. Ese mismo salto, medido en relación con el punto de partida, es un 40 % de mejora, y así es como suele contarlo un informe de negocio. La calculadora devuelve las dos lecturas: la conversión objetivo, que sería del 7 %, y la mejora relativa, ese 40 %.
La confusión no es cosmética. Pedir dos puntos sobre una base del 5 % es pedir una mejora enorme; dos puntos sobre una base del 40 % son un 5 % relativo y bastante más creíble, aunque cuesten 9.494 observaciones por variante en lugar de 2.214. Antes de fijar la mejora a detectar conviene preguntarse qué aumento relativo sería realista para el cambio que se va a probar y traducirlo después a puntos. Elegir el efecto por lo que hace falta para justificar el proyecto, y no por lo que la intervención puede dar, es la forma más rápida de diseñar una prueba que nunca dirá nada.
Se calcula antes de empezar, no sobre la marcha
El número que da esta página solo vale si se fija antes de recoger un solo dato. La tentación es conocida: abrir el panel cada mañana, mirar cómo va la diferencia y detener la prueba el día que aparece un resultado significativo. Con ese procedimiento el 5 % de significación deja de valer un 5 %: cada mirada es una oportunidad más de tropezar con una casualidad favorable, y la probabilidad real de un falso positivo se dispara muy por encima de lo prometido.
La American Statistical Association ha insistido en este punto: un valor p no se interpreta al margen de cómo se recogieron y se analizaron los datos, y decidir sobre la marcha cuándo parar cambia lo que ese valor significa. Si el plan exige mirar antes de tiempo, existen diseños secuenciales que reparten el nivel de significación entre varias revisiones, pero son otra fórmula, no esta. Aquí la regla es simple: se anotan las observaciones por variante, se espera a reunir el total y solo entonces se mira el resultado.