Der p-Wert beantwortet genau eine Frage: Wie wahrscheinlich sind Daten, die mindestens so extrem ausfallen wie die beobachteten, wenn die Nullhypothese zutrifft? Dieser Rechner nimmt die fertige Teststatistik entgegen — den z- oder t-Wert, den Ihr Test bereits ausgegeben hat —, dazu die Verteilung, bei t die Freiheitsgrade und die Testrichtung. Zurück kommen der p-Wert, eine Einordnung zu den Niveaus 0,05 und 0,01 sowie der kritische Wert, gegen den Sie die Statistik sonst von Hand halten würden.
Gerechnet wird nicht mit einer Tabelle: der t-Wert läuft über die unvollständige Beta-Funktion, der z-Wert über die Fehlerfunktion. Deshalb dürfen die Freiheitsgrade jede Zahl ab 1 annehmen, auch die krummen 17,4, die ein Welch-Test liefert — kein Aufrunden auf die nächste Tabellenzeile. Und ein Detail, das viele überrascht: z = 1,96 ergibt zweiseitig nicht glatte 0,05, sondern 0,049996. Der auf zwei Stellen gerundete kritische Wert und die Schwelle selbst sind eben nicht dieselbe Zahl; exakt liegt die Grenze bei 1,959964.
Der p-Wert sagt nicht, ob die Hypothese stimmt
Die häufigste Fehldeutung dreht die Bedingung um. Der p-Wert ist die Wahrscheinlichkeit der Daten unter der Annahme, dass die Nullhypothese gilt — nicht die Wahrscheinlichkeit, dass die Nullhypothese gilt, nachdem die Daten vorliegen. Aus p = 0,03 folgt also nicht, dass die Nullhypothese zu 3 Prozent zutrifft oder die Alternative zu 97 Prozent. Wie wahrscheinlich eine Hypothese nach den Daten ist, hinge zusätzlich davon ab, wie plausibel sie vorher war, und diese Information steckt in keiner Teststatistik.
Die American Statistical Association hat 2016 eigens eine Stellungnahme dazu veröffentlicht, weil sich die Verwechslung durch Lehrbücher, Vorlagen und ganze Fachzeitschriften zog. Ebenso wenig misst der p-Wert die Größe eines Effekts oder seine praktische Bedeutung: Bei einer sehr großen Stichprobe wird auch ein winziger, völlig belangloser Unterschied irgendwann signifikant, bei einer kleinen bleibt ein handfester Effekt unauffällig. Wer eine Aussage über die Stärke des Effekts braucht, berichtet Effektstärke und Konfidenzintervall — der p-Wert allein trägt sie nicht.
0,05 ist eine Verabredung, kein Naturgesetz
Die Schwelle geht auf Ronald Fisher zurück, der sie als bequem bezeichnete — als Faustregel, nicht als Grenze zwischen wahr und falsch. Der Rechner zeigt das an zwei benachbarten Eingaben: z = 1,9 ergibt zweiseitig p = 0,0574, z = 1,96 ergibt 0,049996. Zwischen beiden Statistiken liegt fast nichts, zwischen den Urteilen liegt angeblich alles. Wer p = 0,051 als Misserfolg und p = 0,049 als Beleg liest, behandelt eine stetige Größe, als hätte sie eine Stufe.
Daraus folgt eine praktische Regel: Die Schwelle taugt nicht als Stoppsignal beim Datensammeln. Wer weitere Fälle aufnimmt, bis p endlich unter 0,05 rutscht, erzeugt die Signifikanz selbst — die Rechnung setzt einen vorher festgelegten Stichprobenumfang voraus. Dasselbe gilt für die Testrichtung. Der einseitige p-Wert ist hier immer genau die Hälfte des zweiseitigen, weil der Rechner mit dem Betrag der Statistik arbeitet und ihr Vorzeichen ignoriert. Legitim ist diese Halbierung nur, wenn die Richtung vor dem Blick auf die Daten stand.
z oder t, und was der kritische Wert verschweigt
z passt, wenn die Streuung der Grundgesamtheit bekannt ist oder die Stichprobe groß genug, dass die geschätzte Streuung kaum noch schwankt. Sonst t: Die Student-Verteilung hat schwerere Ränder und bestraft die Unsicherheit der Schätzung. Wie stark, hängt an den Freiheitsgraden. Bei df = 1 ist die Verteilung so breit, dass t = 1 schon einen zweiseitigen p-Wert von 0,5 ergibt — die Hälfte aller Ergebnisse liegt weiter außen. Mit wachsendem df nähert sich die Kurve der Normalverteilung, und der Unterschied zu z verschwindet.
Eine Einschränkung gehört offen dazu: Das Feld für den kritischen Wert stammt immer aus der Normalverteilung — 1,959964 zweiseitig, 1,644854 einseitig — auch dann, wenn Sie t gewählt haben. Der p-Wert selbst berücksichtigt die Freiheitsgrade korrekt, nur diese eine Zahl ist eine Näherung. Bei wenigen Freiheitsgraden liegt die echte t-Schranke höher: bei df = 10 nicht bei 1,96, sondern bei 2,228. Wer sie genau braucht, findet die Tabellen im NIST/SEMATECH e-Handbook of Statistical Methods; für die Entscheidung genügt ohnehin der ausgegebene p-Wert.