A/B-Tests — zwei Popups ehrlich vergleichen

Ein A/B-Test zeigt der einen Hälfte eurer Besucher das laufende Popup (Control A) und der anderen Hälfte eine Variante (B). Gemessen wird, welche Version mehr E-Mail-Anmeldungen pro Ansicht bringt. Einen Gewinner gibt es erst, wenn die Daten ihn wirklich tragen.

Was verglichen wird#

• Aufteilung: fest 50/50 auf die berechtigten Popup-Ansichten.
• Gewinner-Kennzahl: die E-Mail-Submit-Rate — Anmeldungen geteilt durch Popup-Ansichten. Nicht der Umsatz und keine geschätzte Gewinnwahrscheinlichkeit.
• Was gemeinsam bleibt: Theme, Belohnung, Code-Zustellung, Targeting und Integrationen gelten für beide Varianten. B unterscheidet sich im Inhalt: Texte, Aufbau, Design — oder eine ganz andere Mechanik.

Standardmäßig teilen beide Varianten dieselbe Belohnung, deshalb lassen sich unterschiedliche Rabatthöhen (etwa 10 % gegen 15 %) nicht gegeneinander testen. Vergleicht Texte oder Design bei gleichem Angebot.

Belohnung pro Variante (wo sie für euren Shop freigeschaltet ist): Im Editor von Variante B kann B im Reiter „Reward“ eine eurer vorhandenen Belohnungen statt der von A nutzen. Es wird kein neuer Code angelegt. Das ändert sich:

• Unterschiedliche Angebote: Der Test vergleicht Anmeldungen, nicht den Gewinn, und der Gewinner wird immer von Hand gewählt.
• Eigener Code pro Variante: Ein statischer Code, den nur eine Variante nutzt, macht den Umsatz pro Variante messbar. Ein Code, den A und B teilen, zählt für das Popup, nicht pro Variante.
• Beim Start eingefroren: Jede Variante behält die Belohnung, mit der sie gestartet ist, auch wenn die Belohnung später geändert wird. Ein Gewinner behält seine eigene Belohnung.

Einen Test anlegen#

Voraussetzungen: Das Popup ist veröffentlicht, nicht pausiert und hat keine unveröffentlichten Änderungen — Control A braucht einen eindeutigen Live-Stand. Dann auf der Detailseite des Popups Add test variant oder über A/B Tests in der Navigation.

1. Starting point — womit B beginnt: eine Kopie eures veröffentlichten Popups (Edit current popup), ein anderes Popup aus eurem Shop (Use existing popup, veröffentlicht oder als gespeicherter Entwurf) oder ein neuer Ausgangspunkt.
2. Was ändern? — gezielt Test headline or button text (ein Textelement, A gegen B) oder Edit freely im vollen Editor.
3. Review variant B — B prüfen und in der Vorschau ansehen. Bis hier ist alles nur ein Entwurf; das Live-Popup bleibt unverändert.
4. Start 50/50 test — ab jetzt sind beide Varianten gesperrt, bis ein Gewinner feststeht.

Variante B darf ihr kopiertes Popup frei bearbeiten, aber nicht nachträglich in eine andere Mechanik umbauen (etwa vom Glücksrad zur Rubbelkarte). Wer das will, verwirft den Entwurf und legt B neu an.

Wann es einen Gewinner gibt#

PopUplift meldet einen gemessenen Gewinner erst, wenn beide Varianten mindestens 1.000 Ansichten haben und die Evidenzschwelle des statistischen Verfahrens überschritten ist. Vorher — und bei „The measured result does not show a clear difference" — läuft der Test einfach weiter.

Gewinner übernehmen: von Hand oder automatisch#

Im Test wählt ihr unter Winner selection, was passieren soll:

• Choose a winner manually — der Test läuft, bis ihr selbst einen Gewinner übernehmt (End test and apply a winner). Ab genug Daten zeigt PopUplift den gemessenen Gewinner als Empfehlung an.
• Apply a statistically confirmed winner automatically — PopUplift übernimmt den Gewinner selbst, sobald Mindestmenge und Evidenzschwelle erreicht sind. In den Ergebnissen steht dann Applied automatically.

Die Wahl von Hand bleibt in beiden Fällen jederzeit möglich — auch früher, dann aber womöglich ohne klares Ergebnis. Automatisch umgeschaltet wird nur ein Popup, das zu diesem Zeitpunkt veröffentlicht und aktiv ist; pausierte oder unveröffentlichte Popups werden übersprungen.

Mit der Übernahme wird die Gewinner-Version zum einzigen Live-Stand, und der Test endet. Das lässt sich nicht rückgängig machen.

Tests mit mehr als zwei Varianten#

Aus bereitgelegten Entwürfen lassen sich auch Tests mit mehreren Varianten starten. Sie teilen die Ansichten gleichmäßig auf, haben aber keinen automatischen Gewinner: Ihr seht die Ergebnisse je Variante und wählt selbst.

Ergebnisse lesen#

Die Ergebnisse stehen auf der Test-Seite (View test results, auch erreichbar über A/B Tests oder Reports → A/B test performance): Ansichten, Anmeldungen und Rate je Variante sowie das aktuelle Urteil. Umsatzzahlen mit Codes stehen ergänzend dabei — sie entscheiden aber nicht über den Gewinner.

Solange ein Test läuft, steuert er auch den Smart Trigger dieses Popups; dessen Schalter ist dann gesperrt.

Autopilot#

Der Autopilot testet eure Popups selbst weiter, eine Runde nach der anderen. Er wird schrittweise freigeschaltet und ist noch nicht für alle Shops aktiv; wo er aktiv ist, findet ihr auf Home den Schalter PopUplift improves my popups automatically.

• Ein Schalter für den Shop. Ist er an, kommt jedes veröffentlichte, aktive Popup mit mindestens 1.000 Aufrufen in 14 Tagen, ohne offenen Test und ohne unveröffentlichte Änderungen von selbst dazu, auch neue Popups.
• Was getestet wird. Zuerst eure eigenen vorbereiteten Varianten: die älteste als Ready markierte, die den Reward des Originals behält. Eine Variante mit anderem Reward nimmt der Autopilot nie, ebenso keine, deren Text ein anderes Angebot nennt (etwa 20 % bei einem 10-%-Popup); Home sagt euch, welche ihr anpassen solltet. Ein Popup ohne passende Variante wartet; Home zeigt es mit Add a variant als nächstem Schritt. Sind alle eure Varianten gelaufen, erscheint derselbe Schritt wieder, und eine neue Ready-Variante kommt innerhalb einer Stunde dazu. Ein Popup, dessen eigene Einrichtung einen Test verhindert (etwa ein Reward ohne Element, das den Code zeigt), steht unter Needs a fix before testing.
• Wie eine Runde endet. Ein gemessener Gewinner wird übernommen. Ohne Unterschied (3.000 Aufrufe je Variante oder 28 Tage) oder wenn die Anmelderate um 40 % einbricht, endet die Runde und das Original bleibt.
• Was sich nie ändert. Angebote, Rabatte und Rewards. Pro Popup läuft nur ein Test; jede eigene Änderung am Popup stoppt den Autopiloten für dieses Popup.
• Stopps und Pausen. Nach 3 Runden in Folge ohne Gewinner pausiert der Autopilot das Popup 14 Tage und versucht es danach erneut.
• Eure Kontrolle. Schalter auf Home aus: Es starten keine neuen Runden, ein laufender Test läuft als normaler Test weiter. Auf der Seite eines Popups nimmt Turn off nur dieses Popup dauerhaft heraus; dort lassen sich auch die automatischen Enden abwählen.

Jeder Schritt steht in der Timeline des Popups.