Schritt für Schritt Anleitung, wie man zum eigenen A/B Test kommt.

1. In 8 Schritten zum A/B Test
Gabriel Beck
www.conversiondoktor.de
Gabriel Beck

2. sdfsdfsdf
INHALT
Einleitung ............................................................................................................................................... 3
1. Sichern des Status Quo .................................................................................................................... 3
2. Dauer des Tests berechnen ............................................................................................................. 3
3. Anzahl Conversions .......................................................................................................................... 4
4. Wahl der A/B – Testmethode ............................................................................................................ 5
5. Traffic Segmentierung ...................................................................................................................... 5
6. Signifikanz .......................................................................................................................................... 7
7. Conversion Goals .............................................................................................................................. 8
8. Auswahl Testing Tool und Setup ..................................................................................................... 8
www.conversiondoktor.de
Gabriel Beck
2

3. sdfsdfsdf
Einleitung
Im Blog habe ich schon viele Artikel darüber geschrieben, was man auf Webseiten testen
kann. Die zuletzt veröffentlichte Conversion Case Study von Margarete Steiff hat gezeigt, wie
wenig manchmal geändert werden muss, um gute Testergebnisse zu erzielen. Eine weitere
Fundgrube für Testing Ideen ist das PDF „10 Testkonzept für 476% mehr Conversions“.
Die nachfolgende kurze Checkliste dient der Orientierung und soll dabei helfen, was man vor
dem Test Setup nicht vergessen darf. Sie setzt zudem voraus, dass man bereits ein A/BTestkonzept (siehe oben) im Kopf hat und weiß, was man auf welcher Seite testen möchte.
Idealerweise ist die Variante B bereits entwickelt. Wer sich noch kein Testkonzept überlegt
hat, findet im Blog unter Kategorie Testkonzepte genügend Input.
Checkliste: in 8 Schritten zum A/B-Test
1. Sichern des Status Quo
2. Dauer des Tests berechnen
3. Anzahl Conversions auswerten
4. Wahl der A/B – Testmethode
5. Traffic Segmentierung
6. Statistische Signifikanz
7. Conversion Goals
8. Auswahl Testing Tool und Setup
1. Sichern des Status Quo
Bevor man etwas ändert, ist es generell wichtig, den Status Quo zu sichern. Dies macht es
einfacher, auch im Nachhinein herausfinden zu können, wo man ursprünglich hergekommen
ist. Hier gehört nicht nur ein einfacher Screenshot von der unveränderten Seite, sondern
auch, die Ursprungsvariante vorher technisch unverändert (inkl. Quellcode) zu sichern.
Screenshot-Tools gibt es viele – für Firefox kann ich zum Beispiel → Screengrab empfehlen,
da hiermit auch eine komplette Seite (also über den sichtbaren Bereich hinaus) gesichert
werden können.
2. Dauer des Tests berechnen
A/B Tests sollten generell nicht allzulange laufen. Ein Test der sehr lange laufen muss, um
signifikante Uplifts zu generieren, weist im Grunde genommen darauf hin, dass der zu
messende Effekt zu gering ist. D.h. das variierte Test-Element, oder die variierte Seite B hat
demzufolge zu wenig Einfluss auf die Conversion Rate. Eine (persönliche!) Empfehlung
lautet daher:
Nicht mehr als 2 Monate testen!
www.conversiondoktor.de
Gabriel Beck
3

4. sdfsdfsdf
Wer sich vor einem A/B-Test ausrechnen möchte, wie lange ein Test dauert wird, kann
verschiedene Testing Calculators verwenden. Ich möchte allerdings darauf hinweisen, dass
man in derartigen Tools auch einen geschätzten Conversion-Uplift mit einberechnen muss.
Eine derartige Schätzung fällt (auch uns Experten) schwer (näheres dazu im nächsten
Punkt).
A/B Test Duration Calculator (→ visualwebsiteoptimizer)
A/B Test Duration Calculator (→ Google)
3. Anzahl Conversions
Die Frage nach den zu erwartenden Conversions zielt vor allem auf Tests ab, die ein
Mindestmaß an Conversions nicht erreichen können. Um dennoch testen zu können, muss
man sich sogenannter Micro-Conversions bedienen. Hier eine Daumenregel, die bisher
immer sehr gut funktioniert hat:
Man braucht pro getesteter Variante ca. 10 Conversions pro Tag.
Bei einem A/B Test bedeutet dies, dass man vor dem Test 20 Conversions pro Tag haben
sollte, damit der Test nicht ewig läuft. Nun denkt man sich vielleicht: 20 Sales (als Beispiel)
pro Tag für eine Variante hätte ich gerne, dann müsste ich nicht testen.
Daher muss man sich in diesem Fall der Micro-Conversions bedienen. Wichtig ist dabei,
dass das eigentliche Conversion Goal (Beispiel Sale) neben den verschiedenen MicroConversion Goals (AddToCart, etc.) mit getrackt wird.
Auf den Punkt gebracht: Erst einmal die Conversions pro Testseite im Webanalyse-Tool
auswerten. Wer keine 20 Conversions pro Tag vor dem Test hatte, sollte sich auf die Suche
nach anderen Conversion Goals begeben, bzw. Micro-Conversions definieren, die neben
dem Hauptziel mit getrackt werden.
Beispiel Micro Conversion Rates:
Click-Through-Rate
Add-To-Basket-Rate
Click-To-Product-Rate
Basket-To-Buy-Rate
Beispiel Macro Conversion Rates:
Sales Conversion Rate (SCR)
Lead Conversion Rate (LCR)
Download-Rate
www.conversiondoktor.de
Gabriel Beck
4

5. sdfsdfsdf
4. Wahl der A/B – Testmethode
Hier geht es nicht darum, zwischen A/B Testing oder multivariate Testing zu entscheiden,
sondern vielmehr darüber, ob die optimierte Variante als eigenständige URL zur Verfügung
steht, oder ob nur die Testelemente innerhalb der bestehenden Seite geändert werden.
Vereinfacht gefragt:
Steht die neue Variante als eigene URL zur Verfügung?
(www.domain.de/landingpage/version-b.html)
>> ja / nein?
Ist die neue Variante über einen Parameter zu erreichen?
(www.domain.de/landingpage/?v=2)
>> ja/nein?
Variante 1)
Wenn beides verneint wurde, dann handelt es sich um einen „normalen“ A/B -Test auf der
Website, bei der ein bestimmtes Element direkt ausgetauscht wird
Variante 2)
Wenn einmal mit „Ja“ geantwortet wurde, dann handelt es sich um Split-URL Test. In
diesem Fall kann man das Testsystem so aufsetzen, dass beim Aufruf einer URL vom
System entschieden wird, welche Variante ausgespielt wird. Wichtig ist dabei, dass die
ursprüngliche Variante auch als „Control“ im System hinterlegt wird, denn das Tool kann die
neue Variante nur dann anzeigen, wenn die URL auch aufgerufen wurde.
5. Traffic Segmentierung
Manchmal macht es Sinn, nicht immer den kompletten Traffic zu testen, sondern nur
bestimmten Nutzergruppen (Neu vs. wiederkehrend, SEA Traffic für eine bestimmte
Kampagne, organischer Traffic, Affiliate Traffic, mobile Nutzer, oder nur direkter Traffic).
Bevor der A/B Test live geht, sollte man sich überlegen, ob man alle Nutzer mit einbezieht,
oder nur ganz bestimmte. Eine Segmentierung des Traffics kann durchaus zu ganz anderen
Ergebnissen führen, als ungefiltertes Testing. Nachfolgend ein paar
Segmentierungsbeispiele.
www.conversiondoktor.de
Gabriel Beck
5

6. sdfsdfsdf
Mein Tipp: SEA Traffic eignet sich in der Regel gut fürs A/B Testing, da dieser Traffic relativ
gleichbleibende Qualität aufweist. Sollte der Test zum Uplift führen, kann das Konzept auch
auf den kompletten Website Traffic ausgeweitet werden. Zur Segmentierung müssen beim
Setup in der Regel die Kampagnen Parameter in der URL eingetragen werden.
www.conversiondoktor.de
Gabriel Beck
6

7. sdfsdfsdf
6. Signifikanz
Ein A/B Test ist dann aussagekräftig, wenn eine gewisse Anzahl an Conversions aufgelaufen
sind und der Test statistisch signifikant ist. In der Realität wird dies leider allzu häufig
vernachlässigt, was nachfolgende Grafik verdeutlicht:
Wer mit einem A/B Testing Tool testet, der bekommt die Signifikanz (Chance to beat original,
etc.) in der Regel mit ausgewertet. Bei manchen Tools kann vorher das Signifikanzniveau
verändert werden. Aus der Praxis heraus kann ich empfehlen, das Signifikanzniveau auf
95% (= Fehlerwahrscheinlichkeit von 5%) einzustellen. Ein 90%-iges Signifikanzniveau ist
ebenfalls noch vertretbar.
Nachfolgender Screenshot zeigt die Einstellung im Visual Website Optimizer (Zu finden unter
Test-Settings).
www.conversiondoktor.de
Gabriel Beck
7

8. sdfsdfsdf
7. Conversion Goals
Das wichtigste beim Testing sind wohl die Conversion Ziele. Erst wenn man diese
Kennzahlen steigern konnte, war ein Test auch erfolgreich. Doch welche Ziele sollte man
setzen? Hierbei ist auf jeden Fall der Punkt 3 zu berücksichtigen, d.h. man muss auf die
Anzahl der Conversions achten.
In einem Prozess (zum Beispiel Checkout) sollte man zudem immer alle Schritte mit tracken.
Es ist einem nicht geholfen, wenn die optimierte Produktseite zwar mehr Warenkorb-Aufrufe
hat, dafür aber weniger Abschlüsse (ja, das kann passieren!).
Je nachdem welches Testing Tool gewählt wird, ergibt sich daraus auch eine
unterschiedliche Anzahl von möglichen Conversion Goals. Der Visual Website Optimizer
bietet zum Beispiel 7 Conversion Goals, wohingegen der Google Website Optimizer (auch
wenn kostenlos) nur 1 Conversion Goal anbietet.
UPDATE: Der Google Website Optimizer wurde eingestellt und durch Google Content
Experiments abgelöst. Hier die Informationen dazu.
Wichtig ist, dass man die Conversion Ziele auch sprechend bezeichnet, damit jeder weiß,
was damit gemeint ist (Conversion 1 =Abschluss, Conversion 2 = In Warenkorb gelegt, etc.)
und sie bevor der Test startet auch überprüft.
8. Auswahl Testing Tool und Setup
Wer erfolgreich alle Punkte durchlaufen hat, kann sich nun an die Auswahl des Testing Tools
machen. Eine schöne Übersicht findet man auf → whichmvt - auch wenn es der Name nicht
vermuten lässt, aber A/B Testingtools sind ebenfalls enthalten.
Nach der Auswahl eines Testingtools geht es nun an das Setup. Wer die vorherigen Punkte
bereits abgehakt hat, wird merken, dass die unterschiedlichen Tools mehr oder weniger
genau diese Informationen abfragen.
Wer vor dem Test noch auf Nummer sicher gehen will, führt zunächst einen A/A Test durch,
um herauszufinden, ob das Tracking wirklich funktioniert, denn die neue Variante A sollte
beim A/A Testing nicht besser konvertieren als die ursprüngliche Variante A .
Viel Erfolg beim A/B – Testing!
www.conversiondoktor.de
Gabriel Beck
8

9. sdfsdfsdf
Über den Autor
Gabriel Beck ist Head of Conversion Optimization und Standortleiter
Hamburg bei explido WebMarketing und seit 2005 im Unternehmen. Zu
seinen Themenschwerpunkten zählen Landingpage Optimierung, Shop
Optimierung, Testing und Konzeption.
explido WebMarketing ist eine Fullservice Agentur für Performance Marketing und einer der
führenden Anbieter von SEA, SEO, Affiliate Marketing, Display Advertising und Website
Consulting.
2010 gründete er zusammen mit André Morys und Frank
Reese die Xing Gruppe „Conversion Optimization –
Boost Your Profit“, die sich ausschließlich um
Conversion Optimierung dreht.
Kontakt
Xing Profil //
Kontakt Conversiondoktor //
Newsletter //
https://www.xing.com/profile/Gabriel_Beck
http://www.conversiondoktor.de/kontakt/
http://www.conversiondoktor.de/newsletter/
Links
Conversiondoktor Blog //
Xing Conversion Gruppe //
explido Website //
http://www.conversiondoktor.de
http://bit.ly/boostyourprofit
http://www.explido.de
Downloads im Blog
Conversion Tool Liste
Weitere Ebooks und Informationen
gibt es im Download Bereich
Eine Liste mit vielen vielen
Conversion Tools findet man im Blog
Link
Link
www.conversiondoktor.de
Gabriel Beck
9