Inkrementalitetstest i praksis: geo-lift og holdout

Attribution kan ikke fortælle, om et salg var sket alligevel. Her er, hvordan du kører en geo-lift- eller holdout-test og måler den reelle mereffekt.

Prøv regnestykket

Hvad skete der på grund af indsatsen?

A / Kontrol1.000 personer
Én firkant = 10 personer. Fyldt = købt.
B / Test1.000 personer
Én firkant = 10 personer. Fyldt = købt.
Observeret forskel+20køb

120 − 100 = 20 ekstra køb i testgruppen. Eksemplet beregner ikke statistisk sikkerhed.

01Definér test, kontrolgruppe og målepunkt, før testen starter.

Illustrativ test med lige store, sammenlignelige grupper. Forskellen er et estimat; usikkerhed og testdesign skal vurderes.

Hvorfor du ikke kan stole på attribution alene

Attribution fordeler æren for salg, der allerede er sket. Den kan ikke vide, om salget var kommet uden annoncen. Retargeting og brand-søgninger ser fantastiske ud netop, fordi de rammer folk, der alligevel var på vej. Inkrementalitet spørger det eneste spørgsmål, der betyder noget: hvad ville der være sket uden indsatsen?

Svaret findes ikke i annoncemanageren, men i et eksperiment: hold noget tilbage, og mål forskellen. Det er princippet bag både geo-lift og holdout-tests.

Prøv regnestykket

Hvad skete der på grund af indsatsen?

A / Kontrol1.000 personer
Én firkant = 10 personer. Fyldt = købt.
B / Test1.000 personer
Én firkant = 10 personer. Fyldt = købt.
Observeret forskel+20køb

120 − 100 = 20 ekstra køb i testgruppen. Eksemplet beregner ikke statistisk sikkerhed.

01Definér test, kontrolgruppe og målepunkt, før testen starter.

Illustrativ test med lige store, sammenlignelige grupper. Forskellen er et estimat; usikkerhed og testdesign skal vurderes.

Sådan kører du en geo-lift-test

Del dine markeder eller regioner i to sammenlignelige grupper: en testgruppe, hvor indsatsen kører, og en kontrolgruppe, hvor den slukkes eller holdes fladt. Kør længe nok til, at forskellen er statistisk troværdig, typisk et par uger til en måned afhængigt af volumen. Forskellen i samlet salg mellem grupperne er den inkrementelle effekt.

Fordelen er, at du ikke behøver tro på cookies eller vinduer. Du sammenligner faktisk omsætning i to grupper. Metas Conversion Lift og Googles geo-eksperimenter automatiserer dele af det, men princippet er det samme: hold tilbage, og mål forskellen.

Hvad du typisk finder

De fleste brands, der kører deres første holdout-test, opdager, at en del af deres “bedste” attribuerede kanaler er langt mindre inkrementelle, end dashboardet påstod, mens den efterspørgselsskabende topfunnel er mere værdifuld, end last-click gav den kredit for. Det ændrer, hvordan budgettet bør allokeres.

Ovenfra kan MER give et billigt, løbende tjek: stiger budgettet, og holder den blendede effektivitet, er væksten inkrementel. Formelle lift-tests og MER supplerer hinanden, det ene præcist og lejlighedsvist, det andet løbende og billigt.

Ofte stillede spørgsmål

Hvad er forskellen på en geo-lift- og en holdout-test?

Begge holder noget tilbage og måler forskellen. Geo-lift bruger geografiske grupper (regioner/markeder), mens en holdout typisk holder en tilfældig andel af brugerne uden for indsatsen. Princippet (mål mereffekten mod en kontrolgruppe) er det samme.

Hvor længe skal en inkrementalitetstest køre?

Længe nok til, at forskellen er statistisk troværdig, typisk et par uger til en måned, afhængigt af din volumen. For lidt data giver et usikkert resultat; for lang tid koster unødigt i tabt indsats i kontrolgruppen.

Fra indsigt til handling

Se, hvordan det bruges i praksis.

Løgbutikken

Webshop, kanaler og profitmåling

For Løgbutikken omfattede arbejdet webshop, e-mail, Meta, Google Ads og ProfitMetrics. Virksomheden voksede og blev efterfølgende opkøbt.

Læs casen

Måling og kundeøkonomi

Få vurderet jeres måling og budgivning

Vi ser på, hvilke værdier I måler, og hvordan de kan bruges til at prioritere budgettet.

Vælg et tidspunkt

30 minutter · Uforpligtende

Om forfatteren

Growth hacker og fractional CMO med 10+ års erfaring og trecifrede millioner i forvaltet ad spend bag sig. Erfaring fra større danske og internationale scale-ups og fra bureaubranchen.

Mød teamet

Læs videre.

Alle artikler