Bevor ein A/B-Test startet, ist eine Frage zu klären: Wie viele Besucher braucht jede Variante, damit ein Unterschied überhaupt zu erkennen ist? Dieser Rechner beantwortet sie aus vier Angaben — der heutigen Conversion-Rate, dem Zuwachs in Prozentpunkten, den Sie noch bemerken wollen, der gewünschten Teststärke und dem Signifikanzniveau. Heraus kommen die Beobachtungen je Variante, die Summe für beide Gruppen und die Rate, auf die die Variante dafür kommen müsste.
Gerechnet wird mit der üblichen Normalverteilungsnäherung für den Vergleich zweier Anteile, für zwei gleich große Gruppen und eine zweiseitige Prüfung: Aus Signifikanzniveau und Teststärke werden zwei Quantile gebildet, ihre Summe wird quadriert, mit der Varianz der gemittelten Rate multipliziert, verdoppelt und durch das Quadrat des Unterschieds geteilt. Bei fünf Prozent Ausgangsrate, zwei Prozentpunkten Zuwachs, achtzig Prozent Teststärke und fünf Prozent Signifikanzniveau ergeben sich 2.214 Beobachtungen je Variante, zusammen 4.428.
Halber Effekt, fast vierfache Stichprobe
Der Unterschied steht im Nenner, und zwar im Quadrat. Deshalb wächst die nötige Stichprobe nicht mit dem Kehrwert des Effekts, sondern mit dem Quadrat dieses Kehrwerts: Wer statt zwei Prozentpunkten nur noch einen erkennen will, braucht nicht doppelt so viele Nutzer, sondern rund viermal so viele. Aus 2.214 Beobachtungen je Variante werden 8.159. Genau vier ergibt das Verhältnis nicht, es sind 3,69 — und das ist kein Rundungsfehler: Mit dem kleineren Ziel sinkt auch die gemittelte Rate im Zähler von sechs auf fünfeinhalb Prozent, und ihre Varianz schrumpft mit.
Für die Planung ist das die wichtigste Zahl auf dieser Seite. Ein Shop mit dreihundert Besuchern am Tag ist mit dem Test auf zwei Prozentpunkte nach rund fünfzehn Tagen durch, mit dem Test auf einen Prozentpunkt erst nach knapp acht Wochen — bei gleicher Teststärke. Kleine Verbesserungen sind damit nicht unmessbar, sie sind nur teuer: Sie kosten Laufzeit, und je länger ein Test läuft, desto mehr Saisonwechsel, Kampagnen und Feiertage mischen sich in die Daten. Wer die Zahl vorher kennt, entscheidet ehrlich, ob der Test es wert ist — oder ob besser eine mutigere Änderung geprüft wird, deren Wirkung groß genug ist, um in vertretbarer Zeit sichtbar zu werden.
Prozentpunkte und Prozent sind zwei verschiedene Dinge
Das Feld für den Effekt erwartet Prozentpunkte, nicht Prozent. Von fünf auf sieben Prozent sind zwei Prozentpunkte — und zugleich vierzig Prozent mehr Conversions, denn zwei geteilt durch fünf ergibt 0,4. Beide Zahlen beschreiben denselben Sprung, aber sie klingen völlig verschieden, und in Berichten stehen sie oft ohne Einheit nebeneinander. Der Rechner gibt deshalb beides aus: die Zielrate der Variante, hier sieben Prozent, und den relativen Zuwachs von vierzig Prozent.
Die Verwechslung ist teuer, weil sie in beide Richtungen wirkt. Wer „vierzig Prozent mehr“ in das Effektfeld einträgt, plant in Wahrheit einen Sprung von fünf auf fünfundvierzig Prozent: Der Rechner zeigt dann 19 Beobachtungen je Variante an, in dem Shop von oben wäre der Test nach drei Stunden fertig und fände nichts. Umgekehrt klingt „zwei Prozentpunkte“ bescheiden, während vierzig Prozent Zuwachs für eine einzelne Änderung an einer Seite ausgesprochen viel wären. Ein brauchbarer Ausgangspunkt ist der Zuwachs, den vergleichbare Änderungen bei Ihnen früher gebracht haben — nicht der, den das Projekt gerade bräuchte.
Vor dem Test rechnen, nicht während des Tests nachschauen
Die Zahl aus diesem Rechner gehört in die Planung, nicht in die Auswertung. Wer den Test laufen lässt, jeden Morgen auf das Zwischenergebnis schaut und in dem Moment abbricht, in dem der p-Wert unter fünf Prozent rutscht, prüft nicht einmal, sondern jeden Tag aufs Neue. Bei genügend Auswertungen rutscht irgendwann auch reines Rauschen unter die Schwelle. Das Signifikanzniveau bedeutet dann nicht mehr, was es verspricht: Wer zwei Wochen lang täglich auswertet und beim ersten Treffer abbricht, liegt beim Fehlalarm nicht mehr bei fünf Prozent, sondern bei rund zwanzig — und mit jeder weiteren Woche steigt der Wert.
Festlegen heißt deshalb: Stichprobengröße, Signifikanzniveau und Teststärke stehen fest, bevor der erste Besucher einer Variante zugewiesen wird, und der Test läuft bis zum Ende — am besten über volle Wochen, damit sich die Wochentage gleichmäßig auf beide Varianten verteilen. Wer strenger sein will, bezahlt das mit Umfang: Bei fünfundneunzig Prozent Teststärke sind es 3.665 Beobachtungen je Variante statt 2.214, bei einem Prozent Signifikanzniveau 3.294. Die Formel ist eine Näherung und wird unzuverlässig, wenn in einer Gruppe nur eine Handvoll Abschlüsse zusammenkommt. Die Grundlagen dazu stehen im NIST/SEMATECH e-Handbook of Statistical Methods; was ein p-Wert aussagt und was nicht, hat die American Statistical Association in ihrer Stellungnahme festgehalten.