Stichprobengröße für A/B-Tests berechnen

VonOleh Soloninaktualisiert 25. September 2026

Ergebnis

2.214 Beobachtungen je Variante, zusammen 4.428. Gesucht wird der Sprung auf 7 Prozent — relativ sind das 40 Prozent mehr.

Beobachtungen je Variante

2.214

Beobachtungen insgesamt

4.428

Zielrate der Variante (%)

7 %

Zuwachs gegenüber heute (%)

40 %

Hinweis zur Planung

Der Bedarf wächst mit dem Quadrat des Kehrwerts der Differenz: Wer statt zwei Prozentpunkten einen einzelnen finden will, braucht rund die vierfache Stichprobe. Rechnen Sie das VOR dem Test — wer in die laufenden Daten schaut und abbricht, sobald die Zahl gefällt, macht aus dem Signifikanzniveau eine leere Angabe.

Rechenweg

Von 5 % auf 7 % sind 2 Prozentpunkte, relativ 40 %; bei 80 % Power und 5 % Signifikanzniveau ergeben sich 2.214 Beobachtungen je Variante, zusammen 4.428.

Das Ergebnis ist ein Richtwert und ersetzt keine Beratung.

Berechnet aus der heutigen Conversion-Rate, dem Zuwachs in Prozentpunkten, der Teststärke und dem Signifikanzniveau, wie viele Beobachtungen ein A/B-Test je Variante und insgesamt braucht — samt Zielrate und relativem Zuwachs.

Bevor ein A/B-Test startet, ist eine Frage zu klären: Wie viele Besucher braucht jede Variante, damit ein Unterschied überhaupt zu erkennen ist? Dieser Rechner beantwortet sie aus vier Angaben — der heutigen Conversion-Rate, dem Zuwachs in Prozentpunkten, den Sie noch bemerken wollen, der gewünschten Teststärke und dem Signifikanzniveau. Heraus kommen die Beobachtungen je Variante, die Summe für beide Gruppen und die Rate, auf die die Variante dafür kommen müsste.

Gerechnet wird mit der üblichen Normalverteilungsnäherung für den Vergleich zweier Anteile, für zwei gleich große Gruppen und eine zweiseitige Prüfung: Aus Signifikanzniveau und Teststärke werden zwei Quantile gebildet, ihre Summe wird quadriert, mit der Varianz der gemittelten Rate multipliziert, verdoppelt und durch das Quadrat des Unterschieds geteilt. Bei fünf Prozent Ausgangsrate, zwei Prozentpunkten Zuwachs, achtzig Prozent Teststärke und fünf Prozent Signifikanzniveau ergeben sich 2.214 Beobachtungen je Variante, zusammen 4.428.

So benutzen Sie den Rechner

Tragen Sie die heutige Conversion-Rate als Basisrate ein.
Tragen Sie den Effekt ein, den Sie noch finden wollen — in Prozentpunkten, nicht relativ.
Prüfen Sie Power und Signifikanzniveau; voreingestellt sind 80 Prozent Teststärke und 5 Prozent Signifikanzniveau, also ein zweiseitiges Konfidenzniveau von 95 Prozent.
Rechnen Sie das vor dem Test und halten Sie die Zahl durch: Wer in die laufenden Daten schaut und abbricht, sobald es passt, hat kein Signifikanzniveau mehr.

Warum kleine Effekte so teuer sind

Jede Zeile ist eine Durchrechnung dieses Rechners bei 5 Prozent Basisrate, 80 Prozent Power und 5 Prozent Signifikanzniveau. Verändert wird nur der Effekt, den der Test noch finden soll.

Der Bedarf wächst mit dem Quadrat des Kehrwerts der Differenz: Wer statt zwei Prozentpunkten einen einzelnen finden will, braucht fast die vierfache Stichprobe. Genau deshalb scheitern kleine Tests nicht am Ergebnis, sondern an der Zahl der Besucher.

Durchgerechnet mit diesem Rechner bei 5 % Basisrate, 80 % Power und 5 % Signifikanzniveau.
Gesuchter Effekt	Zielrate	Relativ	Je Variante	Zusammen
1 Prozentpunkt	6 %	20 %	8.159	16.318
2 Prozentpunkte	7 %	40 %	2.214	4.428
3 Prozentpunkte	8 %	60 %	1.061	2.122
5 Prozentpunkte	10 %	100 %	436	872

Halber Effekt, fast vierfache Stichprobe

Der Unterschied steht im Nenner, und zwar im Quadrat. Deshalb wächst die nötige Stichprobe nicht mit dem Kehrwert des Effekts, sondern mit dem Quadrat dieses Kehrwerts: Wer statt zwei Prozentpunkten nur noch einen erkennen will, braucht nicht doppelt so viele Nutzer, sondern rund viermal so viele. Aus 2.214 Beobachtungen je Variante werden 8.159. Genau vier ergibt das Verhältnis nicht, es sind 3,69 — und das ist kein Rundungsfehler: Mit dem kleineren Ziel sinkt auch die gemittelte Rate im Zähler von sechs auf fünfeinhalb Prozent, und ihre Varianz schrumpft mit.

Für die Planung ist das die wichtigste Zahl auf dieser Seite. Ein Shop mit dreihundert Besuchern am Tag ist mit dem Test auf zwei Prozentpunkte nach rund fünfzehn Tagen durch, mit dem Test auf einen Prozentpunkt erst nach knapp acht Wochen — bei gleicher Teststärke. Kleine Verbesserungen sind damit nicht unmessbar, sie sind nur teuer: Sie kosten Laufzeit, und je länger ein Test läuft, desto mehr Saisonwechsel, Kampagnen und Feiertage mischen sich in die Daten. Wer die Zahl vorher kennt, entscheidet ehrlich, ob der Test es wert ist — oder ob besser eine mutigere Änderung geprüft wird, deren Wirkung groß genug ist, um in vertretbarer Zeit sichtbar zu werden.

Prozentpunkte und Prozent sind zwei verschiedene Dinge

Das Feld für den Effekt erwartet Prozentpunkte, nicht Prozent. Von fünf auf sieben Prozent sind zwei Prozentpunkte — und zugleich vierzig Prozent mehr Conversions, denn zwei geteilt durch fünf ergibt 0,4. Beide Zahlen beschreiben denselben Sprung, aber sie klingen völlig verschieden, und in Berichten stehen sie oft ohne Einheit nebeneinander. Der Rechner gibt deshalb beides aus: die Zielrate der Variante, hier sieben Prozent, und den relativen Zuwachs von vierzig Prozent.

Die Verwechslung ist teuer, weil sie in beide Richtungen wirkt. Wer „vierzig Prozent mehr“ in das Effektfeld einträgt, plant in Wahrheit einen Sprung von fünf auf fünfundvierzig Prozent: Der Rechner zeigt dann 19 Beobachtungen je Variante an, in dem Shop von oben wäre der Test nach drei Stunden fertig und fände nichts. Umgekehrt klingt „zwei Prozentpunkte“ bescheiden, während vierzig Prozent Zuwachs für eine einzelne Änderung an einer Seite ausgesprochen viel wären. Ein brauchbarer Ausgangspunkt ist der Zuwachs, den vergleichbare Änderungen bei Ihnen früher gebracht haben — nicht der, den das Projekt gerade bräuchte.

Vor dem Test rechnen, nicht während des Tests nachschauen

Die Zahl aus diesem Rechner gehört in die Planung, nicht in die Auswertung. Wer den Test laufen lässt, jeden Morgen auf das Zwischenergebnis schaut und in dem Moment abbricht, in dem der p-Wert unter fünf Prozent rutscht, prüft nicht einmal, sondern jeden Tag aufs Neue. Bei genügend Auswertungen rutscht irgendwann auch reines Rauschen unter die Schwelle. Das Signifikanzniveau bedeutet dann nicht mehr, was es verspricht: Wer zwei Wochen lang täglich auswertet und beim ersten Treffer abbricht, liegt beim Fehlalarm deutlich über fünf Prozent — wie weit, hängt vom Prüfplan ab, und mit jeder weiteren Auswertung steigt der Wert.

Festlegen heißt deshalb: Stichprobengröße, Signifikanzniveau und Teststärke stehen fest, bevor der erste Besucher einer Variante zugewiesen wird, und der Test läuft bis zum Ende — am besten über volle Wochen, damit sich die Wochentage gleichmäßig auf beide Varianten verteilen. Wer strenger sein will, bezahlt das mit Umfang: Bei fünfundneunzig Prozent Teststärke sind es 3.665 Beobachtungen je Variante statt 2.214, bei einem Prozent Signifikanzniveau 3.294. Die Formel ist eine Näherung und wird unzuverlässig, wenn in einer Gruppe nur eine Handvoll Abschlüsse zusammenkommt. Die Grundlagen dazu stehen im NIST/SEMATECH e-Handbook of Statistical Methods; was ein p-Wert aussagt und was nicht, hat die American Statistical Association in ihrer Stellungnahme festgehalten.

Quellen

Stand der Werte: 2026. Die Ergebnisse sind Orientierungswerte und ersetzen keine Steuerberatung.

Häufige Fragen

Warum brauche ich für den halb so großen Effekt fast viermal so viele Nutzer?

Weil der Unterschied im Nenner steht, und zwar im Quadrat: Halbiert man ihn, vervierfacht sich der Bruch. Aus 2.214 Beobachtungen je Variante werden bei einem statt zwei Prozentpunkten 8.159. Das Verhältnis ist 3,69 und nicht glatt 4, weil mit dem kleineren Ziel auch die gemittelte Rate im Zähler sinkt — von sechs auf fünfeinhalb Prozent — und mit ihr die Varianz.

Trage ich den Effekt in Prozentpunkten oder in Prozent ein?

In Prozentpunkten. Von 5 auf 7 Prozent sind 2 Prozentpunkte, obwohl das zugleich 40 Prozent mehr Conversions bedeutet. Wer versehentlich 40 einträgt, plant einen Sprung von 5 auf 45 Prozent und bekommt 19 Beobachtungen je Variante angezeigt — ein Test, der nichts finden kann. Zielrate und relativer Zuwachs stehen getrennt im Ergebnis, damit die beiden Zahlen nicht durcheinandergeraten.

Darf ich abbrechen, sobald das Ergebnis signifikant aussieht?

Nicht bei dieser Rechnung: Sie unterstellt eine einzige Auswertung am vorher festgelegten Ende. Wer täglich schaut und beim ersten p-Wert unter 5 Prozent abbricht, prüft vielfach und findet auch in reinem Rauschen irgendwann etwas; der Fehlalarm liegt dann weit über den versprochenen fünf Prozent. Für geplante Zwischenauswertungen gibt es eigene, gruppensequenzielle Verfahren mit angepassten Schwellen.

Wie viele Besucher braucht ein A/B-Test?

Das hängt vor allem vom gesuchten Effekt ab. Bei 5 Prozent Basisrate braucht ein Sprung um zwei Prozentpunkte 2.214 Beobachtungen je Variante, einer um einen Prozentpunkt bereits 8.159.

Was bedeutet Power?

Die Wahrscheinlichkeit, einen tatsächlich vorhandenen Unterschied auch zu finden. Bei 80 Prozent Power übersieht der Test jeden fünften echten Effekt — das ist die gebräuchliche, nicht die sichere Einstellung.

Warum vervierfacht sich der Bedarf bei halbem Effekt?

Weil die nötige Stichprobe mit dem Quadrat des Kehrwerts der Differenz wächst. Bei sonst ähnlicher Streuung braucht ein halb so großer Effekt ungefähr die vierfache Stichprobe; im Beispiel sind es 8.159 statt 2.214 je Variante, das 3,69-Fache, weil sich mit dem Effekt auch die mittlere Rate verschiebt.

Darf ich den Test vorzeitig beenden?

Nicht, ohne das Signifikanzniveau zu verlieren. Wer wiederholt in laufende Daten schaut und abbricht, sobald das Ergebnis gefällt, findet Unterschiede, die keine sind — die vorher berechnete Zahl ist der Schutz dagegen.

Nützliche Links

Betrieb und Handel Alle Rechner

Stichprobengröße für A/B-Tests berechnen

Ergebnis

Passt dazu

A/B-Test-Rechner

Conversion-Rate-Rechner

Verkaufstrichter-Rechner

Druckkosten-Rechner

Kapazitätsplanung-Rechner

Working-Capital-Rechner

Nützliche Links