Definition
En A/B-test viser to varianter til hver sin tilfældige halvdel af trafikken og sammenligner resultatet. Testen er kun brugbar, hvis forskellen er stor nok til at kunne skelnes fra tilfældig variation ved den mængde data, der er til rådighed.
Også kaldet: Split test, A/B-splitHvad skete der på grund af indsatsen?
120 − 100 = 20 ekstra køb i testgruppen. Eksemplet beregner ikke statistisk sikkerhed.
01Definér test, kontrolgruppe og målepunkt, før testen starter.
Det problem, ingen taler om på dansk volumen
For at kunne påvise en lille forbedring skal man bruge overraskende meget data. Skal en ændring fra 2,0 % til 2,2 % konverteringsrate kunne skelnes fra tilfældighed, taler vi om titusindvis af besøgende pr. variant.
De færreste danske webshops har den trafik på en enkelt side inden for en rimelig periode. Konsekvensen er ikke, at man ikke skal teste — men at man skal teste ting, der er store nok til at kunne ses.
Hvad man så skal teste
Test tilbud, ikke knapper. Fri fragt mod 10 % rabat. En anden pris. Et andet produktmix i annoncen. En helt anden vinkel på budskabet. Den slags flytter i procentpoint, ikke i promiller, og det kan måles på dansk volumen.
Og accepter, at nogle beslutninger ikke kan testes. Så træffer man dem på erfaring og logik i stedet, hvilket er ærligere end at køre en test, der aldrig kunne have givet et svar.
De klassiske fejl
Den hyppigste er at stoppe testen, når den ser rigtig ud. Kigger man dagligt og stopper ved første signifikante udslag, finder man vindere, der ikke findes. Beslut varigheden på forhånd, og hold den.
Den næsthyppigste er at teste i en atypisk periode. En test hen over Black Friday måler Black Friday, ikke varianten. Og den tredje er at teste flere ting på én gang og bagefter ikke kunne sige, hvad der virkede.
Ofte stillede spørgsmål
Hvor længe skal en A/B-test køre?
Mindst en hel uge, så alle ugedage er med, og gerne to. Vigtigere end tiden er antallet af konverteringer pr. variant — er der under et par hundrede, er resultatet sandsynligvis støj.
Kan man A/B-teste annoncer i Meta og Google?
Ja, begge platforme har indbyggede split-tests, som fordeler målgruppen korrekt. Det er mere pålideligt end at oprette to kampagner ved siden af hinanden, hvor budgivningen selv kan flytte trafikken skævt.
Fra indsigt til handling
Se, hvordan det bruges i praksis.
Købsoplevelsen som en del af marketing
Fotproffsen samler annoncering, e-mail, profitmåling og konverteringsoptimering. Produktsidevisningerne i casen er illustrative designforslag.
Læs casenKonvertering og web
Tal med os om jeres konvertering
Vi afklarer, hvor besøgende falder fra, hvad der bør undersøges, og hvordan effekten kan måles.
Vælg et tidspunkt30 minutter · Uforpligtende
Om forfatteren
Nicklas Segatz Mortensen
Growth hacker og fractional CMO med 10+ års erfaring og trecifrede millioner i forvaltet ad spend bag sig. Erfaring fra større danske og internationale scale-ups og fra bureaubranchen.
Mød teamet