• Homepagina
  • Blog
  • Succesvol A/B-testen in e-mailmarketing: een stappenplan!

Succesvol A/B-testen in e-mailmarketing: een stappenplan!

moniekbanner

Het principe van A/B-testen in e-mailmarketing is niet nieuw. Veel e-mailmarketeers A/B-testen door twee varianten te verzenden en na een uur te analyseren welke variant de winnaar is. Maar dat is niet de juiste manier! Wil je A/B-testen echt goed aanpakken, dan gaat er een groter proces achter schuil. In dit artikel leg ik uit hoe je A/B-testen in e-mailmarketing op de juiste manier inricht.

Inhoud

Direct naar: 

  1. Inzichten opdoen
  2. Prioriteren
  3. Testplan maken
  4. Testen
  5. Analyseren
  6. Doorvoeren

Leestijd: 3 minuten

 

A/B-testen: dit zijn de 6 stappen 

Voor succesvolle A/B-testen in e-mailmarketing heb je een gestructureerd proces nodig. Zonder een gestructureerd proces is de kans klein dat je continu de meeste impact maakt op je KPI met de A/B-testen. 

Een geslaagde test bestaat uit zes stappen:

  1. Inzichten opdoen
  2. Prioriteren
  3. Testplan maken
  4. Testen
  5. Analyseren
  6. Doorvoeren

 moniek1

Afbeelding 1: de zes stappen van een A/B-test

 

 #1: inzichten opdoen

Dit is het startpunt, want zonder goede inzichten heb je geen goede A/B-test. Er zijn veel bronnen die je kunt raadplegen. Denk aan benchmarks. Zelf gebruik ik de nationale e-mailbenchmark van DDMA die elk jaar uitkomt. DDMA is de branchevereniging voor datagedreven marketing. Verder kun je inspiratie opdoen uit blogs, whitepapers, boeken en events.

Een bron waar bedrijven vaak overheen kijken zijn interne bronnen. Deze zijn erg waardevol; een interne bron zegt namelijk rechtstreeks iets over je eigen doelgroep. Klantenservicevragen, input van winkelpersoneel, feedback van nieuwsbriefontvangers en A/B-testen in de webshop zijn allemaal voorbeelden van waardevolle interne bronnen. Verder heb je Google Analytics en e-mailmarketingsoftware om inzicht uit te halen. Het is belangrijk dat je beide goed inricht zodat je betrouwbare resultaten meet.

 

 #2: prioriteren

Er zijn veel bronnen die pijnpunten van bezoekers aantonen, dus je verkrijgt ook veel inzichten en testideeën. Maar waar begin je? Ga niet zomaar aan de slag met testen, want je weet nog niet welk punt de hoogste prioriteit heeft. Het is belangrijk dat je prioriteert, zodat je zo efficiënt mogelijk test en continu de meest mogelijke impact maakt op je KPI's.

Voor het prioriteren weeg je elk verbeterpunt op in drie factoren: potentie, belang en het gemak waarmee je de testvariant maakt. Elk onderdeel krijgt een score, waarna de totale score aangeeft hoeveel prioriteit het verbeterpunt heeft. Dit staat ook bekend als het PIE-model (Potential, Importance, Ease). 

Hoe gebruik je PIE?
De potentie van een verbeterpunt bepaal je door de mate van onderbouwing. Is het verbeterpunt direct zichtbaar in je e-mailmarketing, is het wetenschappelijk onderbouwd en hoeveel bronnen onderbouwen het? Hoe meer bronnen je verbeterpunt ondersteunen, des te hoger de score.

Bij importance kijk je naar de KPI die je wilt verbeteren met de test. De score wordt hoger als het een KPI betreft die achter loopt ten opzichte van de benchmark. Je geeft ook een hogere score als het een KPI is die effect heeft op andere KPI’s. Zo krijgt bijvoorbeeld een testidee waarmee je het aantal geopende e-mails wilt verbeteren (openpercentage) een hogere score dan een testidee die mogelijk het aantal keer dat er in je mail wordt geklikt (clicks) optimaliseert. Een beter openpercentage heeft tenslotte ook een positief effect op het aantal klikken.

‘Ease’ gaat over het gemak van het implementeren van de oplossing. Een knopkleur aanpassen is eenvoudiger dan gratis verzending doorvoeren, want voor het realiseren van gratis verzending moet de hele organisatie aan de slag. Dus hoe makkelijker het doorvoeren van de verbetering, hoe hoger de score het verbeterpunt op dit onderdeel krijgt.

Het PIE-model kun je in Excel verwerken. Je benoemt het mogelijke verbeterpunt, waar je het in je e-mailmarketing wilt testen en je geeft per onderdeel van het PIE-model een score. Het ziet er dan ongeveer zoals onderstaand uit:

 

moniek2

Afbeelding 2: een voorbeeld van het PIE-model


 #3: testplan maken

Een testplan helpt je bij het klaarzetten van een succesvolle A/B-test. Het maken van een testplan bestaat uit drie stappen: (1) het vaststellen van de test-KPI, (2) het opstellen van een hypothese en (3) de verzendmethode bepalen. Daarna maak je de testvariant. 

Het is belangrijk dat je weet wat je test-KPI is (‘welke KPI je optimaliseert’) aangezien je anders niet weet wanneer je test succesvol is. Bovendien loop je zonder test-KPI de kans dat je naar een betekenisvol resultaat gaat zoeken in een dataset. De kans is groot dat je dan verbanden ziet die er in werkelijkheid niet zijn. 

Weet je eenmaal je test-KPI, dan kun je de hypothese invullen. Een hypothese is cruciaal aangezien deze je test nauwkeurig maakt en je laat nadenken over het ‘waarom’ achter de test. Een goede hypothese geeft antwoord op de volgende vragen:

  • Waar ga je testen?
  • Welke aanpassing ga je testen?
  • Waarom denk je dat deze aanpassing effect zal hebben?
  • Wat voor effect heeft de aanpassing?

Met de opzet hieronder kun je een goede hypothese opstellen.

 

 moniek3

Afbeelding 3: opzet voor een hypothese

 

De verzendmethode is afhankelijk van wat de test-KPI en hoeveel ontvangers je per variant hebt. De mogelijkheden zijn:

  • 10 procent krijgt variant A -  10 procent krijgt variant B (daarna bepaal je welke versie wint en die stuur je naar de overige 80 procent)
  • 50 procent van alle ontvangers krijgt variant A -  50 procent krijgt versie variant B

De vuistregel is dat je minimaal 300 “stuks” van de KPI (dus conversies) per variant nodig hebt. Als je test-KPI bijvoorbeeld het klikpercentage is, dan heb je minimaal 300 klikken per variant nodig.

 

Zo bereken je het verwachte aantal ontvangers

De methode van het bereken van hoeveel ontvangers je e-mailcampagne heeft, hangt af van hoe je de test uitvoert. Wil je een A/B-test doen waarbij je de campagne eerst naar een gedeelte van je ontvangers stuurt, vervolgens de resultaten analyseert en dan de campagne naar de rest van je ontvangers stuurt? Dan hou je een verdeling aan waarbij je 10 procent van de selectie variant A laat zien en 10 procent variant B. Naar de overige 80 procent verstuur vervolgens alleen de winnende variant.

Je hebt echter niet altijd genoeg ontvangers voor deze methode. Daarom kun je ook de campagne versturen naar al je ontvangers, waarbij de helft variant A ontvangt en de andere helft variant B. Hierdoor behaal je voor de specifieke campagne niet betere resultaten, maar je leert wel je doelgroep beter kennen. Kortom, je doet kennis op die je kunt inzetten voor andere campagnes. 

Meestal wil je de eerste testmethode toepassen, maar je moet wel berekenen hoeveel ontvangers je hebt per variant. Hoe bereken je dit? Stel je hebt 200.000 nieuwsbriefontvangers en twee varianten van dezelfde e-mail. Er valt altijd een deel van de ontvangers af, aangezien een e-mail niet altijd aankomt. In ons voorbeeld komt 99 procent van de e-mails wel goed aan. Daarnaast is het klikpercentage 3 procent. Met deze gegevens kun je het aantal ontvangers per variant berekenen zoals in het onderstaande voorbeeld:

 

Aantal ontvangers x percentage waarbij de e-mails aankomen x percentage ontvangers dat de variant krijgt x huidig openpercentage x huidig klikpercentage

=>

 200.000 x 99% x 10% x 20% x 3% = 119 klikken

Het zijn minder dan 300 klikken per variant. Daarom gaan we nu na hoeveel klikken een variant heeft bij de verdeling van waarbij je elke variant naar de helft van de ontvangers stuurt.

 200.000 x 99% x 50% x 20% x 3% = 594 clicks

Deze methode heeft meer dan 300 klikken per variant. Dat zijn er genoeg, dus kies je deze verdeling.

 

Daarna ga je aan de slag met het maken van een variant. Zorg dat je in de UTM-codes meegeeft wat versie A is en wat versie B is, want hierdoor kun je eenvoudig statistieken doormeten in Google Analytics.

 

 #4: testen

Nu ben je klaar om te testen. Welke verdeling je ook hebt, het is belangrijk dat de ontvangers willekeurig een variant ontvangen. Anders is de test niet zuiver.

Wij zijn partner van e-mailmarketingsoftware Copernica. Deze software biedt veel A/B-testmogelijkheden. Bij andere software kan het meer handwerk zijn om het in te stellen. Ik leg hierna wel uit hoe je dit doet met Copernica. 

 

Zo A/B-test je in Copernica
In Copernica kun je dit alles handig instellen. Dat doe je bij de derde stap van het verzenden van een bulkmailing. Bij een test waarbij beide varianten de helft van de ontvangers krijgt toegewezen, kies je voor testtype A/B-test. Je hoeft alleen nog aan te geven welke e-mail de B-variant is. Bij een 10 procent - 10 procent - 80 procent verdeling selecteer je split-run. Copernica kun je automatisch de winnende versie laten kiezen na een opgegeven tijd.

 

moniek4

Afbeelding 4: A/B-test instellen in Copernica

moniek5 

Afbeelding 5: split-run instellen in Copernica

 

Je hebt veel werk verzet, neem een kopje koffie of thee! Het is nu een kwestie van wachten totdat je genoeg data binnen hebt.

 

 #5: analyseren

Dit vind ik de leukste stap, want nu kom je erachter of je testidee zich bewijst met data. Ik merk vaak dat marketeers een A/B-test analyseren door het vergelijken van cijfers. Ze zeggen bijvoorbeeld dat “B wint, omdat B vaker geopend is dan A.” Maar hoe weet je of dat dit resultaat geen toeval is?

Daarvoor analyseer je de resultaten met een statistische tool (we gebruiken in mijn team de online tool van A/B-testguide). De tool geeft twee cijfers. Dat zijn enerzijds de procentuele verbetering en belangrijker nog, de mate van zekerheid die je hebt om de verbetering toe te schrijven aan de verandering. Je bent dan zeker genoeg dat de verandering niet komt door toeval. Die zekerheid drukt de tool uit in een percentage: hoe hoger het percentage, des te meer zekerheid je hebt. In statistische termen heet dit het significantiecijfer.

Wat zeggen die percentages precies? Afbeelding 2 toont het in een handig overzicht:  

moniek6

Afbeelding 6: de significantiewaarde en bijbehorende conclusies


Is je test geen winnaar? Dan kun je nog inzoomen op segmenten. Wat voor bijvoorbeeld voor mannen niet goed werkt, kan wel goed werken voor vrouwen. Het is wel belangrijk dat je per segment minimaal 300 conversies hebt zodat de conclusies betrouwbaar zijn.


 #6: doorvoeren

Deel je resultaten met de rest van het onlinemarketingteam. Bijvoorbeeld met de conversiespecialist, omdat je ontdekking bijdraagt aan de optimalisatie van de webshop. Maar ook voor SEO- en SEA-specialisten is het interessant, omdat zij zo hun zoekresultaten in Google beter kunnen afstemmen. Je optimaliseert tenslotte voor dezelfde doelgroep. Daarnaast kun je ook een omzetberekening maken waarbij je berekent hoeveel de A/B-test heeft opgeleverd. Daarmee vergroot je intern draagvlak voor de investering in e-mailmarketing. 

 

Morgen aan de slag?

Dit is het proces om succesvolle A/B-testen uit te voeren in e-mailmarketing. Nu heb je een handleiding om te A/B-testen! Het lijkt misschien complex, maar je zult merken dat het in de praktijk meevalt.

Wil je toch graag strategisch advies of begeleiding met het doen van A/B-testen in e-mailmarketing? Volg dan voor meer inspiratie mijn webinar met praktijkvoorbeelden op 13 december. 

 

New call-to-action

 

Blogger

Monique Zwanenburg, E-mailmarketing Consultant
Monique Zwanenburg, E-mailmarketing Consultant

Monique heeft brede kennis van online marketing, maar loopt vooral warm voor e-mailmarketing. Het biedt namelijk veel mogelijkheden waarin ze haar creativiteit kwijt kan. Ook zijn de resultaten snel en goed meetbaar, zodat ze volop kansen kan spotten en benutten. Alles om de juiste mix van content, personalisatie en timing te ontdekken. Dit doet ze onder andere voor Zinzi, Riverdale en Fietsenwinkel.nl. 

E-mail: m.zwanenburg@ism.nl

Blogger

Monique Zwanenburg, E-mailmarketing Consultant

E-mail: m.zwanenburg@ism.nl

Contact

Direct één van onze e-commercespecialisten spreken?

Neem contact met ons op

Deel deze pagina