Hvad skete der på grund af indsatsen?
120 − 100 = 20 ekstra køb i testgruppen. Eksemplet beregner ikke statistisk sikkerhed.
01Definér test, kontrolgruppe og målepunkt, før testen starter.
Problemet med små lister
En A/B-test kræver nok modtagere til, at forskellen kan skelnes fra tilfældighed. På en liste med få tusind aktive modtagere skal forskellen være stor, før den er reel — små forskelle i åbningsrate er som regel støj.
Det betyder ikke, at man ikke skal teste. Det betyder, at man skal teste store forskelle og acceptere, at mange test ender uafklarede.
Test store ting, ikke små
Glem to varianter af den samme emnelinje med et komma til forskel. Test i stedet noget, der kan flytte adfærd markant: rabat mod nyhed, produktfokus mod historie, kort mail mod lang, ét tilbud mod et udvalg.
Jo større forskellen mellem varianterne er, jo færre modtagere skal der til, før resultatet kan bruges.
Mål på det rigtige
Åbningsraten er blevet upålidelig, fordi Apples beskyttelse markerer mails som åbnede, uden at nogen har set dem. Test derfor på klik og omsætning frem for på åbninger.
Og mål pr. modtager, ikke pr. åbning. En emnelinje, der giver flere åbninger og færre køb, har tabt.
Sådan gør man i praksis
Del listen i to lige store halvdele, send samtidig, og lad testen løbe i mindst et døgn. Sender man med tre timers mellemrum, tester man tidspunktet.
Skriv resultatet ned. Ikke i værktøjet, men et sted, hvor det kan læses om et halvt år. Ellers tester man det samme igen næste år.
Når testen er uafklaret
Det er et resultat. Konkluder, at forskellen ikke betød nok til at kunne måles, og gå videre til noget større. Den hyppigste fejl er at vælge en vinder alligevel og bygge en regel på den.
Over tid er det mere værd at samle læring på tværs af mange udsendelser end at afgøre hver enkelt. Gentag den samme vinkel flere gange, og se på mønsteret.
Ofte stillede spørgsmål
Hvor stor skal listen være, før A/B-test giver mening?
Der findes ingen fast grænse — det afhænger af, hvor stor forskellen mellem varianterne er. Store forskelle kan afgøres på små lister; små forskelle kan ikke afgøres på nogen.
Kan jeg teste afsendernavn?
Ja, og det er en af de test, der oftest giver en reel forskel — netop fordi ændringen er stor nok til at kunne måles.
Fra indsigt til handling
Se, hvordan det bruges i praksis.
E-mails med afsæt i kundens behov
Hos Cotonshoppen indgår e-mail marketing i arbejdet med kunderejsen. Casen viser sammenhængen mellem sortiment, kommunikation og genkøb.
Læs casenKlaviyo og retention
Tal med os om jeres e-mailflows
Vi tager udgangspunkt i kunderejsen, de eksisterende flows og den data, I har til rådighed.
Vælg et tidspunkt30 minutter · Uforpligtende
Om forfatteren
Nicklas Segatz Mortensen
Growth hacker og fractional CMO med 10+ års erfaring og trecifrede millioner i forvaltet ad spend bag sig. Erfaring fra større danske og internationale scale-ups og fra bureaubranchen.
Mød teamet