Zwei Varianten unterscheiden sich fast immer — die Frage ist, ob der Unterschied größer ist, als der Zufall erklären kann. Genau das prüft der Signifikanztest: Er berechnet, wie wahrscheinlich ein solcher Unterschied wäre, wenn beide Varianten in Wahrheit gleich gut wären.
Diese Wahrscheinlichkeit ist der p-Wert. Liegt er unter fünf Prozent, gilt das Ergebnis üblicherweise als signifikant — nicht als bewiesen, sondern als unwahrscheinlich genug, um nicht mehr an Zufall zu glauben.
Der teuerste Fehler: zu früh hinschauen
Wer täglich prüft und abbricht, sobald die Signifikanz erreicht ist, findet fast immer ein Ergebnis — auch dort, wo keines ist. Bei wiederholtem Testen steigt die Wahrscheinlichkeit eines Zufallstreffers weit über die fünf Prozent, die man zu akzeptieren glaubt.
Deshalb wird die Stichprobengröße vorher festgelegt und der Test bis dahin durchgezogen. Der Rechner nennt die nötige Zahl je Variante, damit sich das planen lässt, statt es hinterher zu bemerken.
Signifikanz ist nicht Relevanz
Mit genug Besuchern wird jeder noch so winzige Unterschied signifikant. Ein Zuwachs von 3,00 auf 3,05 Prozent kann statistisch gesichert und trotzdem völlig belanglos sein, weil der Aufwand der Umstellung ihn nie einspielt.
Umgekehrt bedeutet ein nicht signifikantes Ergebnis nicht, dass die Varianten gleich sind — es bedeutet nur, dass der Test es nicht entscheiden konnte. Das Konfidenzintervall zeigt, welche Unterschiede noch im Bereich des Möglichen liegen.