El valor p que ve arriba responde a una sola pregunta: si la hipótesis nula fuera cierta, ¿con qué frecuencia aparecerían datos tan extremos como los suyos, o más? Introduzca el estadístico, elija entre la normal z y la t de Student, indique los grados de libertad cuando use la t y diga si el contraste es de una o de dos colas. La calculadora devuelve el valor p, lo compara con 0,05 y con 0,01 y muestra el valor crítico de la normal para el número de colas elegido.
Lo que casi nadie espera: con z = 1,96 y dos colas el valor p no es 0,05 exacto, sino 0,049996, algo por debajo del umbral. El 1,96 de las tablas es un redondeo de 1,959964, y el umbral es otro número distinto. Además, la t no se lee aquí de ninguna tabla: se calcula con la función beta incompleta, así que los grados de libertad pueden ser 7, 43 o 1.200 sin buscar la fila más cercana ni interpolar a ojo.
El valor p no dice que su hipótesis sea falsa
Este es el error que más caro sale. El valor p no mide la probabilidad de que la hipótesis nula sea falsa, ni la probabilidad de que su hipótesis alternativa sea cierta. Mide otra cosa: suponiendo que la nula sea cierta, con qué frecuencia un muestreo repetido produciría un estadístico tan alejado como el suyo o más. La condición va delante, no detrás. Un p de 0,03 no significa «hay un 3 % de probabilidad de que me equivoque»; significa que, en un mundo sin efecto alguno, resultados como el observado aparecerían tres veces de cada cien.
La confusión está tan extendida que en 2016 la American Statistical Association —la asociación estadounidense de estadística— publicó una declaración dedicada exclusivamente a los valores p, algo insólito en una sociedad científica. Sus principios recuerdan que el valor p no mide la probabilidad de que la hipótesis estudiada sea cierta, ni el tamaño de un efecto, ni la importancia de un hallazgo. Si quiere saber qué tamaño tiene el efecto, mire la estimación y su intervalo de confianza; el valor p solo indica si el ruido bastaría para explicar lo observado.
El 0,05 es un acuerdo, no una ley de la naturaleza
Ronald Fisher propuso el 0,05 como un límite cómodo para el trabajo diario, no como una frontera entre lo verdadero y lo falso. Nada en las matemáticas cambia al cruzarlo. Un p de 0,049 y otro de 0,051 describen conjuntos de datos prácticamente iguales; tratarlos como «hay resultado» y «no hay resultado» convierte dos milésimas en una decisión editorial. Si su trabajo necesita un umbral, elíjalo y déjelo escrito antes de mirar los datos, y publique después el valor p exacto en lugar de un «p < 0,05» que esconde si fue 0,049 o 0,004.
La calculadora señala 0,05 y 0,01 porque son los umbrales que el lector espera encontrar, pero muestra siempre la cifra completa, por la misma razón por la que el Manual electrónico de métodos estadísticos NIST/SEMATECH expone el valor p junto al valor crítico y no solo el veredicto. Hay además una trampa con las colas: al pasar de dos colas a una, el valor p se divide entre dos, de modo que un resultado que no llegaba al umbral lo cruza con solo cambiar la casilla. Esa elección la fija la hipótesis antes del análisis; hacerla después es maquillar el resultado.
Grados de libertad, valor crítico y el redondeo del 1,96
Con la t de Student los grados de libertad no son un adorno. Con pocas observaciones las colas de la distribución son más gruesas que las de la normal, y el mismo estadístico deja un valor p mayor. El valor crítico lo enseña de un vistazo: para dos colas y 0,05 la normal se conforma con 1,96, mientras que con diez grados de libertad hace falta llegar a 2,228. Quien aplique el 1,96 a una muestra pequeña declarará significativos resultados que no lo son, y el error no aparecerá por ninguna parte del informe.
Conviene saber qué muestra exactamente el campo del valor crítico: la calculadora devuelve el de la normal para el número de colas elegido —1,959964 con dos colas, 1,644854 con una— y no invierte la t. Con muchos grados de libertad la diferencia es despreciable; con pocos, el valor crítico real de la t es mayor que el que aparece, y esa cifra hay que buscarla en una tabla de la t. El valor p, en cambio, sí se calcula con la distribución que usted ha elegido, mediante la función beta incompleta, y es la cifra sobre la que conviene decidir.