Mit einem A/B Test Erkenntnisse erlangen – Wer auf Veränderungen hofft aber nichts ändert, der kann lange warten. Aus diesem Grund habe ich getestet was das Zeug hält. Es war ein klassischer A/B Test. Über ein eigens für den Test erstelltes WordPress Plugin habe ich 50 % meiner Besucher etwas anderes angezeigt als den anderen 50%. Der Testzeitraum lief parallel und wer einmal im Case A war, wurde/wird 30 Tage dort „gefangen“, wer Case B betreten hat, ebenfalls.
Bei dem Test habe ich zwei Buttons gegeneinander antreten lassen.
Die These war folgende: Button mit Amazon-Farben und Logo generiert mehr Verkäufe / Umsatz als der „neutrale“ Button.
- Welche Daten muss ich sammeln um am Ende auch eine Auswertung zu machen?
- Wie Tracke ich die Verkäufe
- Ab wann kann ich mit einer relevanten Datenbasis rechnen
- Wie werte ich aus
Das waren die Fragen die ich mir vorher gestellt habe und deren Antworten ich vor dem Test definiert habe.
Daten die mich interessieren:
- Wie oft wurde welcher Button angezeigt
- Wie oft wurde welcher Button geklickt
- Wie oft wurde nach einem Klick auf einen Button ein Verkauf ausgelöst
Die Frage nach dem „wie oft“ habe ich mittels GoogleAnalytics und einem Event per Klick und View erledigt. Dazu haben die Buttons jeweils ein eigenes Event bekommen. In Google Analytics kann ich mir nun die Anzahl der Button-Impressionen und Klicks ansehen. Dies ist später bei der Auswertung wichtig und zur Kontrolle, ob das Plugin den Traffic bzw. die User wirklich 50/50 aufteilt.
Dazu könnt ihr eurem Link z.B. ein einfaches Event zuordnen:
<a class=“case_2b“ style=“color: #f2f2f2; text-decoration: none;“ onclick=“ga(’send‘, ‚event‘, ‚click‘, Button-Test‘, Case A‘);“ href=“ZIELURL“ target=“_blank“ rel=“nofollow>ANKERTEXT</a>
Die Ergebnisse der „Ereignisse“ könnt ihr euch dann an dieser Stelle in Google-Analytics ansehen: https://analytics.google.com/analytics/web/?hl=de&pli=1#report/content-event-overview/
Wie tracke bzw. messe ich die Verkäufe / den Umsatz:
- Jeder Button hat eine eigene Amazon-Partner-ID erhalten
- Jeder Case bekommt Seitenweit immer diese ID bei der Verwendung des Buttons
Das A/B Plugin hat dabei die IDs je nach Case A/B ersetzt. Somit war klar, einmal im Case A gefangen gibt es 30 Tage lang den Button A mit der Amazon ID für Case A.
Ab wann kann ich mit einer relevanten Datenmenge rechnen:
- Ich würde gerne mindestens 1000 Klicks auswerten und schaue nach 7 Tagen nach, wie der Stand ist. Nach 1000 Klicks sollte eine Tendenz zu sehen sein.
- Je nach Projekt und Seite kann dies unterschiedlich lange dauern. Im dealfall lässt man den Test jedoch mindestens 7-14 Tage laufen.
Wie werte ich aus:
- Ich habe alle relevanten Daten in eine Excel-Tabelle geschrieben und habe einen direkten Überblick der einzelnen Datensätze.
Wir erinnern uns an die These: Button B wird gefühlt mehr Verkaufe / mehr Umsatz auslösen als Button A.
Schauen wir uns die Auswertung nach verschiedenen Zeiträumen an:
| Case A/B - 10 Tage | Einblend. | Klicks | Bestel. | Werbek.Erst. | Conver.-Rate |
|---|---|---|---|---|---|
| Button A | 5.361 | 433 | 44 | EUR 55,78 | 10,16% |
| Button B | 5.268 | 365 | 41 | EUR 75,14 | 11,23% |
| Case A/B - 13 Tage | |||||
| Button A | 7.115 (50,55 %) | 630 | 66 | EUR 97,25 | 10,48% |
| Button B | 6.960 (49,45 %) | 516 | 58 | EUR 93,10 | 11,24% |
| Case A/B - 18 Tage | |||||
| Button A | 10.141 (49,40 %) | 823 | 77 | EUR 121,14 | 9,36% |
| Button B | 10.389 (50,60 %) | 667 | 74 | EUR 127,52 | 11,09% |
| Case A/B - 21 Tage | |||||
| Button A | 11.166 (50,70 %) | 936 | 84 | EUR 127,89 | 8,97% |
| Button B | 10.858 (49,30 %) | 749 | 85 | EUR 137,78 | 11,35% |
| Case A/B - 25 Tage | |||||
| Button A | 14.621(49,64 %) | 1227 | 123 | EUR 189,22 | 10,02% |
| Button B | 14.836(50,36 %) | 943 | 101 | EUR 157,34 | 10,71% |
| Case A/B - 34 Tage | |||||
| Button A | 17.200(50,38 %) | 1674 | 158 | EUR 239,17 | 9,44% |
| Button B | 16.904(49,51 %) | 1270 | 139 | EUR 186,07 | 10,94% |
| Case A/B - 52 Tage | |||||
| Button A | 25.563(50,40 %) | 2476 | 229 | EUR 338,95 | 9,25% |
| Button B | 25.106(49,50 %) | 1873 | 200 | EUR 319,87 | 10,68% |
| Case A/B - 210 Tage | |||||
| Button A | 81.649(49,87 %) | 8292 | 779 | EUR 1.207,72 | 10,11% |
| Button B | 81.874(50,00 %) | 6264 | 673 | EUR 1.116,30 | 11,56% |
Die Einblendungen hätten keine größere Abweichung haben dürfen, sonst wäre unser Plugin fehlerhaft. Hier hat also alles so geklappt wie ich es wollte.
Es zeichnet sich eine leichte Tendenz für Button B ab. Die Conversion-Rate ist etwas höher, viel wichtiger ist jedoch, der generierte Umsatz bzw. die Werbekostenerstattung liegt deutlich höher bei weniger Klicks. Ich werde den Test jetzt weitere 10 Tage laufen lassen und dann erneut auswerten. Immerhin war ich noch nicht auf meine 1000 Klicks, ein Zwischenergebnis hat mich dennoch interessiert.
Bislang scheint die Ausgangsthese bestätigt zu sein, ich bin gespannt was die nächsten 10 Tage an neuen Daten bringen. Jetzt werden sicherlich viele sagen: „Das hätte ich dir auch ohne Test sagen können“. Richtig, die Vermutung hatte ich auch, nur weiß ich es jetzt „sicher“ und brauch mich gedanklich nicht mehr mit der blauen Version beschäftigen. Die These wurde gestützt und nach 1000 Klicks entscheide ich ob die These bestätigt wurde. Mit einem solchen Test kann man z.B. in einem Unternehmen über relevante Daten einen Vorgesetzten von einer Idee überzeugen.
Update 13 Tage: Nach 13 Tagen, es war ein starker Sonntag dabei, sieht die Verteilung der Werbekostenerstattung schon wieder ganz anders aus. Ein schönes Beispiel dafür, dass man immer langfristig die Daten erheben muss bzw. immer eine ausreichend hohe Menge an Daten vergleicht.
Update 18 Tage: Button B steht steht beim Umsatz wieder vorne, auch wenn weniger Klicken, die die klicken sind sich bewusst das Amazon geöffnet wird und klicken scheinbar nicht willkürlich sondern gezielt.
Update 25 Tage:
….
Update 52 Tage:
Eine sehr geringe Abweichung beim Umsatz, dafür bereits größere Abweichungen in der Anzahl der Klicks und in der Anzahl der bestellten Produkte. Demnach werden mit dem Button B eher teurere Produkte verkauft. Dies kann ein Indiz dafür sein, dass der Amazon-Button mehr Vertrauen schafft und die User bereit sind mehr Geld online auszugeben.
Vor-Fazit zum A/B
Als Fazit kann ich jetzt schon sagen, der Test macht neugierig auf mehr und wenn dieser Test durch ist und der Button B gewinnt, wird direkt ein Update des Button B gegen den Button B im erneuten Test antreten. Auch wenn EUCH dieser Test nichts bringt, es reicht schon wenn ihr darüber nachdenkt selbst Dinge auf euren Seiten zu testen. Holt aus den vorhanden Usern mehr heraus! Strebt nicht immer nach mehr Traffic, nutzt erstmal den vorhandenen Traffic optimal.
