Im letzten Beitrag ging es darum, was Split-Kampagnen genau sind und welche Begriffe in diesem Zusammenhang immer wieder auftauchen. Nun sehen wir uns einmal näher an, was sich alles für A/B-Tests anbietet und worauf Sie bei der Durchführung achten sollten.
Moderne eMail-Marketing-Tools machen die Umsetzung von Split-Kampagnen sehr leicht. Trotzdem sollten Sie nicht einfach loslegen, denn damit verschenken Sie Potenzial. Überlegen Sie sich als Erstes: Was sind die Erfolgskriterien?
Das heißt, was wollen Sie mit Ihrer Kampagne überhaupt erreichen? Die Antwort „eine bessere Kampagne“ gilt nicht – das ist zu unspezifisch. Überlegen Sie, was besser werden soll. Es bieten sich messbare Kriterien an, wie etwa:
Je nach Ihrem Zielkriterium müssen Sie die Varianten für den Test unterschiedlich anlegen. Möchten Sie zum Beispiel die Öffnungsrate verbessern, brauchen Sie nichts beim Inhalt des Newsletters zu variieren – hier entscheiden nur andere Kriterien.
Beschränken Sie sich auf möglichst wenige Kriterien. Wenn Sie aussagekräftige Ergebnisse wollen, um den Erfolg Ihrer Newsletter langfristig zu verbessern, dann testen Sie die einzelnen Dinge möglichst separat.
Folgende Parameter bieten sich zur Variation an, berücksichtigen Sie hier aber die Erfolgskriterien (Tipp 1):
Diese Liste ist keineswegs vollständig, Sie soll Ihnen nur vor Augen führen, an wie vielen Schrauben Sie drehen können, um bessere Newsletter zu erstellen.
Teilen Sie die Gruppen, die jeweils eine unterschiedliche Version bekommen, so auf, dass sie nicht zu klein werden. Ansonsten sind die Ergebnisse nicht statistisch relevant – und dann haben Sie keine repräsentativen Ergebnisse, sondern Zufallsbefunde.
Meist verschickt man an jeweils 10 Prozent der Empfänger eine Version – bei einem Test mit zwei Varianten bekommen dann 20 Prozent Testversionen und später 80 Prozent die Gewinnerversion. Als Faustregel ist das ganz gut, aber statistisch gesehen ist dieses Vorgehen sehr grob. Denn es kommt insbesondere auf zwei Faktoren an:
Je mehr Empfänger eine Testversion bekommen, desto valider werden die Ergebnisse. Bei einem Special-Interest-Newsletter mit 1.000 Empfängern sind zehn Prozent nur 100 Empfänger – keine besonders große Stichprobe. Bei einem B2C-Newsletter mit 500.000 Empfängern sind 10 Prozent 50.000 Empfänger – so viele brauchen Sie praktisch nie für einen Test. Bleiben Sie hier trotzdem bei der 10-10-80-Aufteilung, bekommen unnötig viele Empfänger die Version des Newsletters, der weniger erfolgreich ist.
Rechnen Sie mit nur geringen Unterschieden beim Erfolg der beiden Versionen, dann brauchen Sie eine größere Stichprobe. Wissen Sie zum Beispiel aus früheren Tests, dass Ihre Variation der Betreffzeile die Öffnungsrate von 60 Prozent auf ca. 62 Prozent erhöht, dann brauchen Sie für zuverlässige Aussagen deutlich mehr Testpersonen, als wenn Sie mit einer Steigerung der Öffnungsrate von 60 auf 80 Prozent rechnen. Wenn Sie die genaue Zahl der notwendigen Empfänger wissen wollen, dann müssen Sie tiefer in die Statistik einsteigen. Die Begriffe Stichprobengröße und Signifikanzniveau sind dabei gute Ausgangspunkte für eigene Recherchen.
Achten Sie darauf, die Empfänger zufällig zu den Gruppen zuzuweisen. Verwenden Sie statt dessen z. B. einfach eine nach dem Eintragungsdatum sortierte Liste, verfälschen Sie die Ergebnisse, weil neu-Abonnenten sich anders verhalten als Alte Hasen.
Haben Sie Ihre Empfänger in Gruppen unterteilt (siehe Post zur Nutzersegmentierung), dann testen Sie am besten jede dieser Gruppen einzeln, sofern die Empfängerzahl dann nicht zu klein wird. Das ist zwar deutlich mehr Arbeit, führt aber zu deutlich aussagekräftigeren Ergebnissen.
Keine Kommentare möglich.
