A/B-Test-Rechner

VonOleh Soloninaktualisiert 25. September 2026

Ergebnis

3 % gegen 3,8 %: signifikant auf 95 % (p = 0,0273).

Ergebnis

signifikant auf 95 % — der Unterschied lässt sich nicht mehr gut mit Zufall erklären

Die beiden Raten

A 3,00 %, B 3,80 %

Unterschied

0,8 Prozentpunkte, relativ 26,7 % — Konfidenzintervall von 0,09 bis 1,51 Prozentpunkten

z-Wert und p-Wert

z = 2,207, p = 0,0273

Nötige Stichprobengröße

8.056 Besucher je Variante wären nötig, um einen Unterschied dieser Größe mit 80 % Wahrscheinlichkeit zu finden — vorhanden sind 5.000

Rechenweg

3 % gegen 3,8 % bei 5.000 und 5.000 Besuchern ergeben z = 2,207 und p = 0,0273; auf 95 % Niveau liegt die Schwelle bei p = 0,05.

Das Ergebnis ist ein Richtwert und ersetzt keine Beratung.

Ist der Unterschied echt oder Zufall — und wie viele Besucher braucht der Test.

Zwei Varianten unterscheiden sich fast immer — die Frage ist, ob der Unterschied größer ist, als der Zufall erklären kann. Genau das prüft der Signifikanztest: Er berechnet, wie wahrscheinlich ein solcher Unterschied wäre, wenn beide Varianten in Wahrheit gleich gut wären.

Diese Wahrscheinlichkeit ist der p-Wert. Liegt er unter fünf Prozent, gilt das Ergebnis üblicherweise als signifikant — nicht als bewiesen, sondern als unwahrscheinlich genug, um nicht mehr an Zufall zu glauben.

So benutzen Sie den Rechner

Tragen Sie Besucher und Erfolge der Variante A ein.
Tragen Sie Besucher und Erfolge der Variante B ein.
Wählen Sie das Konfidenzniveau; 95 Prozent ist der gebräuchliche Wert, also ein Signifikanzniveau α von 5 Prozent.
Lesen Sie neben dem Urteil das Konfidenzintervall: Es sagt mehr als ein Ja oder Nein.

Ab wann ein Unterschied kein Zufall mehr ist

Jede Zeile ist eine Durchrechnung dieses Rechners mit 5.000 Besuchern je Variante und 150 Erfolgen in A — also 3,00 Prozent. Verändert wird allein die Zahl der Erfolge in B.

Die Schwelle liegt hier zwischen 3,5 und 3,8 Prozent. Unterhalb davon schließt das Konfidenzintervall die Null ein, und dann ist die ehrliche Aussage nicht «B ist gleich gut», sondern «der Test kann es nicht unterscheiden».

Durchgerechnet mit diesem Rechner bei 5.000 Besuchern je Variante und 150 Erfolgen in A.
Erfolge in B	Rate B	Unterschied	z	p	Urteil auf 95 %
160	3,20 %	0,2 Punkte	0,577	0,564	nicht signifikant
175	3,50 %	0,5 Punkte	1,41	0,1586	nicht signifikant
190	3,80 %	0,8 Punkte	2,207	0,0273	signifikant
220	4,40 %	1,4 Punkte	3,708	0,0002	signifikant

Der teuerste Fehler: zu früh hinschauen

Wer täglich prüft und abbricht, sobald die Signifikanz erreicht ist, findet fast immer ein Ergebnis — auch dort, wo keines ist. Bei wiederholtem Testen steigt die Wahrscheinlichkeit eines Zufallstreffers weit über die fünf Prozent, die man zu akzeptieren glaubt.

Deshalb wird die Stichprobengröße vorher festgelegt und der Test bis dahin durchgezogen. Der Rechner nennt die nötige Zahl je Variante, damit sich das planen lässt, statt es hinterher zu bemerken.

Signifikanz ist nicht Relevanz

Mit genug Besuchern wird jeder noch so winzige Unterschied signifikant. Ein Zuwachs von 3,00 auf 3,05 Prozent kann statistisch gesichert und trotzdem völlig belanglos sein, weil der Aufwand der Umstellung ihn nie einspielt.

Umgekehrt bedeutet ein nicht signifikantes Ergebnis nicht, dass die Varianten gleich sind — es bedeutet nur, dass der Test es nicht entscheiden konnte. Das Konfidenzintervall zeigt, welche Unterschiede noch im Bereich des Möglichen liegen.

Quellen

Statistisches Bundesamt

Stand der Werte: 2026. Die Ergebnisse sind Orientierungswerte und ersetzen keine Steuerberatung.

Häufige Fragen

Wie lange muss ein Test laufen?

Stichprobengröße und Dauer vorab festlegen, und zwar so, dass die Dauer die Zyklen des Geschäfts abdeckt: Bei einem Shop, der werktags anders verkauft als am Wochenende, mindestens eine volle Woche, auch wenn die Stichprobe früher erreicht ist. Das Verhalten unterscheidet sich zwischen Wochentagen und Wochenende deutlich, und ein Test über drei Werktage misst nicht das Publikum, sondern den Kalender.

Was, wenn ich mehr als zwei Varianten teste?

Dann steigt die Zahl der Vergleiche, und damit die Wahrscheinlichkeit eines Zufallstreffers. Bei drei Varianten sind es schon drei Paarvergleiche; das Signifikanzniveau α = 1 − Konfidenzniveau gehört dann angepasst, etwa nach Bonferroni durch die Zahl der Vergleiche geteilt: Bei 95 Prozent und drei Vergleichen wird α = 0,05 ÷ 3 ≈ 0,0167, also 98,33 Prozent Konfidenz.

Was heißt signifikant?

Dass ein Unterschied dieser Größe bei gleichen Varianten selten allein durch Zufall entstünde — seltener als das Signifikanzniveau erlaubt. Es heißt nicht, dass der Unterschied groß oder wirtschaftlich relevant ist.

Was sagt der p-Wert?

Wie wahrscheinlich ein mindestens so großer Unterschied wäre, wenn beide Varianten in Wahrheit gleich gut sind. Ein p von 0,0273 heißt: in knapp drei von hundert Fällen.

Warum ist «nicht signifikant» nicht «gleich gut»?

Weil ein Test auch dann nichts findet, wenn er zu klein ist. Bei 0,5 Prozentpunkten Unterschied reicht das Konfidenzintervall hier von −0,2 bis 1,2 Punkten — beide Möglichkeiten bleiben offen.

Was bringt das Konfidenzintervall?

Eine Größenordnung statt eines Urteils. Ein Intervall von 0,09 bis 1,51 Prozentpunkten sagt, dass der Effekt eher klein als groß ist — auch wenn er signifikant ist.

Nützliche Links

Betrieb und Handel Alle Rechner

A/B-Test-Rechner

Ergebnis

Passt dazu

Stichprobengröße für A/B-Tests berechnen

Conversion-Rate-Rechner

Verkaufstrichter-Rechner

Rechnungsbetrag-Rechner

Lagerumschlag-Rechner

Sicherheitsbestand-Rechner

Nützliche Links