Multivariate Tests schlagen A/B-Tests im Marketing

Bei der "Evolution of Experimentation"-Studie    wurden 127.000 Marketingtests auf der Optimizely-Plattform untersucht. Dabei waren 88 Prozent der Tests nicht erfolgreich. Tatsächlich sagen die Studienautoren, dass nicht der Testerfolg entscheidend ist. Stattdessen sollte man sich auf die Gesamtwirkung konzentrieren, wobei die Gewinnrate zusammen mit dem durchschnittlichen Uplift pro Gewinner, der Geschwindigkeit der Einführung und der Zeit bis zum Erreichen der Ergebnisse gemessen wird.

A-/B-Tests vs. multivariate Tests

Einmalige A-/B-Tests sind wichtig, genügen jedoch meist nicht: Wie die Ergebnisse von Optimizely zeigen, sind davon nur 12 Prozent erfolgreich. Das heißt, 88 Prozent erreichen keine statistische Relevanz. Ein Grund hierfür ist der Mangel an personalisierten Botschaften. Tests, die auf die Kunden und Nutzer zugeschnitten sind, sind dem Report zufolge um 41 Prozent erfolgreicher. Neben der Personalisierung von Hypothesen empfehlen sich multivariate Tests, bei denen mehr Varianten hinzugezogen werden. Sie zeichnen sich durch eine 1,5-fach höhere Erfolgsquote aus. Aktuell machen multivariate Tests jedoch nur ein Drittel aller Experimente aus.

Hohe Test-Frequenz steigert Erfolg

Grundsätzlich gilt: Je mehr Unternehmen experimentieren, desto erfolgversprechender ist ihr Online-Marketing. Aber nur drei Prozent aller Unternehmen kommen auf 500 Experimente im Jahr. Um zu den Top 10 Prozent der Firmen mit den häufigsten Experimenten zu zählen, sollten Unternehmen jährlich über 200 Tests durchführen. Das entspricht etwas mehr als 16 Experimenten pro Monat. Im Durchschnitt üblich sind allerdings gerade einmal drei Experimente pro Monat.

Nicht jede Branche hat das Potenzial regelmäßiger Experimente erkannt. Und: Nicht jede Branche kann gleichermaßen von Tests profitieren. Bei den untersuchten zehn Sektoren sticht vor allem die Lebensmittel- und Getränkeindustrie positiv hervor. 17 Prozent der dort durchgeführten Tests haben statistische Relevanz. Optimierungspotenzial gibt es auf dem letzten Platz: Der Telekommunikationssektor kommt auf einen Wert von lediglich 12 Prozent.

Top 5 der Branchen mit den statistisch relevantesten Test-Ergebnissen:

1. Lebensmittel- und Getränkeindustrie: 17 %
   
2. Automobilbranche: 16,2 %
   
3. Reisebranche: 15,7 %
   
4. Medien- und Unterhaltungsbranche: 15,5 %
   
5. Finanzbranche: 15 %?

Das Ergebnis basiert auf insgesamt mehr als 127.000 analysierten Experimenten, die seit 2018 von 1.100 Unternehmen auf der Optimizely-Plattform durchgeführt wurden. Die Anzahl der Experimente ist dabei um 227 Prozent gestiegen. Dies unterstreicht den wachsenden Wert von Experimenten im Online-Marketing.