Dos variantes casi siempre se diferencian en algo; la cuestión es si la diferencia es mayor de lo que explica el azar. Eso comprueba la prueba de significación: calcula qué probabilidad habría de ver esa diferencia si en realidad las dos fueran iguales.
Esa probabilidad es el valor p. Si queda por debajo del cinco por ciento, el resultado se considera significativo — no demostrado, sino lo bastante improbable como para dejar de atribuirlo a la casualidad.
El error más caro: mirar demasiado pronto
Quien comprueba a diario y para el test en cuanto aparece la significación encuentra casi siempre un resultado, incluso donde no lo hay. Al mirar una y otra vez, la probabilidad de un falso positivo sube muy por encima del cinco por ciento que uno cree estar aceptando.
Por eso el tamaño de muestra se fija antes y el test se lleva hasta el final. La calculadora indica cuántas visitas hacen falta por variante para poder planificarlo, en lugar de descubrirlo al terminar.
Significativo no es relevante
Con suficientes visitas, cualquier diferencia por pequeña que sea acaba siendo significativa. Pasar del 3,00 al 3,05 por ciento puede estar estadísticamente asegurado y ser completamente irrelevante, porque el trabajo del cambio nunca se recupera.
Al revés, un resultado no significativo no significa que las variantes sean iguales: significa que el test no ha podido decidirlo. El intervalo de confianza enseña qué diferencias siguen siendo posibles.