Calculadora de test A/B

PorOleh Soloninactualizado el 25 de septiembre de 2026

Resultado

3 % frente a 3,8 %: significativo al 95 % (p = 0,0273).

Resultado

significativo al 95 % — la diferencia ya no se explica bien por azar

Las dos tasas

A 3,00 %, B 3,80 %

Diferencia

0,8 puntos porcentuales, en relativo un 26,7 % — intervalo de confianza de 0,09 a 1,51 puntos

Valor z y valor p

z = 2,207, p = 0,0273

Tamaño de muestra necesario

harían falta 8056 visitas por variante para detectar una diferencia de este tamaño con un 80 % de probabilidad — hay 5000

Cómo sale el número

3 % frente a 3,8 % con 5000 y 5000 visitas dan z = 2,207 y p = 0,0273; al 95 % el umbral está en p = 0,05.

El resultado es orientativo y no sustituye a una asesoría profesional.

Si la diferencia es real o casualidad — y cuántas visitas hacen falta.

Dos variantes casi siempre se diferencian en algo; la cuestión es si la diferencia es mayor de lo que explica el azar. Eso comprueba la prueba de significación: calcula qué probabilidad habría de ver esa diferencia si en realidad las dos fueran iguales.

Esa probabilidad es el valor p. Si queda por debajo del cinco por ciento, el resultado se considera significativo — no demostrado, sino lo bastante improbable como para dejar de atribuirlo a la casualidad.

Cómo usar la calculadora

Escribe las visitas y los éxitos de la variante A.
Escribe las visitas y los éxitos de la variante B.
Elige el nivel de confianza; lo corriente es el 95 %, o sea un nivel de significación α del 5 %.
Junto al veredicto, mira el intervalo de confianza: dice más que un sí o un no.

A partir de cuándo la diferencia deja de ser azar

Cada fila es una pasada de esta calculadora con 5000 visitas por variante y 150 éxitos en A, es decir un 3,00 %. Solo cambian los éxitos de B.

El umbral cae aquí entre el 3,5 y el 3,8 %. Por debajo, el intervalo de confianza incluye el cero, y entonces lo honesto no es decir «B es igual de buena» sino «el test no sabe distinguirlas».

Pasadas de esta calculadora con 5000 visitas por variante y 150 éxitos en A.
Éxitos en B	Tasa B	Diferencia	z	p	Veredicto al 95 %
160	3,20 %	0,2 puntos	0,577	0,5639	no significativo
175	3,50 %	0,5 puntos	1,41	0,1586	no significativo
190	3,80 %	0,8 puntos	2,207	0,0273	significativo
220	4,40 %	1,4 puntos	3,708	0,0002	significativo

El error más caro: mirar demasiado pronto

Quien comprueba a diario y para el test en cuanto aparece la significación encuentra casi siempre un resultado, incluso donde no lo hay. Al mirar una y otra vez, la probabilidad de un falso positivo sube muy por encima del cinco por ciento que uno cree estar aceptando.

Por eso el tamaño de muestra se fija antes y el test se lleva hasta el final. La calculadora indica cuántas visitas hacen falta por variante para poder planificarlo, en lugar de descubrirlo al terminar.

Significativo no es relevante

Con suficientes visitas, cualquier diferencia por pequeña que sea acaba siendo significativa. Pasar del 3,00 al 3,05 por ciento puede estar estadísticamente asegurado y ser completamente irrelevante, porque el trabajo del cambio nunca se recupera.

Al revés, un resultado no significativo no significa que las variantes sean iguales: significa que el test no ha podido decidirlo. El intervalo de confianza enseña qué diferencias siguen siendo posibles.

Fuentes

INE — Instituto Nacional de Estadística

Cifras vigentes en 2026. Los resultados son orientativos y no sustituyen a una asesoría laboral o fiscal.

Preguntas frecuentes

¿Cuánto tiene que durar un test?

Fija de antemano el tamaño de muestra y una duración que cubra los ciclos del negocio: en una tienda que vende distinto entre semana y el fin de semana, al menos una semana completa, aunque la muestra se alcance antes. El comportamiento cambia bastante entre los días laborables y el fin de semana, y un test de tres días entre semana mide el calendario, no al público.

¿Y si pruebo más de dos variantes?

Aumentan las comparaciones y con ellas la probabilidad de un falso positivo. Con tres variantes ya hay tres comparaciones por pares; conviene ajustar el nivel de significación α = 1 − nivel de confianza, por ejemplo dividiéndolo entre el número de comparaciones según Bonferroni: con el 95 % y tres comparaciones, α = 0,05 ÷ 3 ≈ 0,0167, es decir, un 98,33 % de confianza.

¿Qué quiere decir significativo?

Que una diferencia de ese tamaño rara vez saldría por puro azar si las dos variantes fueran iguales — más rara que el nivel de significación α, el 5 % con un 95 % de confianza. No quiere decir que la diferencia sea grande ni que compense.

¿Qué dice el valor p?

Con qué probabilidad aparecería una diferencia al menos así de grande si en realidad las dos variantes fueran iguales. Un p de 0,0273 significa en menos de tres de cada cien casos.

¿«No significativo» es lo mismo que «iguales»?

No: un test también se queda corto cuando es pequeño. Con 0,5 puntos de diferencia el intervalo va aquí de −0,2 a 1,2 puntos, y las dos posibilidades siguen abiertas.

¿Para qué sirve el intervalo de confianza?

Para ver el orden de magnitud en lugar de un veredicto. Un intervalo de 0,09 a 1,51 puntos dice que el efecto es más bien pequeño, aunque sea significativo.

Enlaces útiles

Negocio y comercio Todas las calculadoras

Calculadora de test A/B

Resultado

También te puede servir

Calculadora de tamaño de muestra para test A/B

Calculadora de tasa de conversión

Calculadora de embudo de ventas

Calculadora del total de una factura

Calculadora de rotación de inventario

Calculadora de stock de seguridad

Enlaces útiles