QR-code in Direct Mail A/B test

Test motivatie & Doelen
Vanuit Ziggo versturen we Direct Mails (fysieke brieven) naar klanten met een tv-pakket aanbieding. Vanuit deze DM moeten klanten de short URL overtypen en vervolgens hun persoonlijke code invullen om op de actie pagina te komen.

In onze Google Analytics data zagen we dat klanten vanuit de DM een hoge kans hadden om het content pakket te activeren zodra ze op de website kwamen. Naast de DM sturen we dezelfde uiting ook via email, aan klanten van wie we het emailadres hebben. De click-to-open rate vanuit email blijkt veel hoger dan vanuit de DM, waarschijnlijk omdat het vanuit de email veel makkelijker is om op de website te komen.

Hierom wilden we het % klanten dat de landingspagina bezoekt vanuit de DM vergroten door de barrière van het overtypen van de short URL en persoonlijke code weg te nemen door een QR-code toe te voegen.

Echter, we sturen alleen DM’s naar klanten die we niet kunnen mailen, wat over het algemeen een oudere doelgroep is. Een QR-code toevoegen aan de brief zou voor de doelgroep mogelijk ook voor verwarring kunnen zorgen en een negatief effect hebben op het aantal website bezoeken. Hierom was het belangrijk om dit te testen.

Test Hypothesis
“When we add a QR code to the DM, the website visits from the DM will increase which in turn shall increase the number of ordered tv-packages, because we increase the ability/ease to do so.”

Test set-up
In het databestand met de selectie van klanten die de DM moeten ontvangen, heeft elke klant random een A of een B toegewezen gekregen. Op basis van dit bestand bepaald onze partner die de DM’s print en verstuurd vervolgens welke klant de control en welke klant de variant DM ontvangt.

In de variant hebben we een QR-code toegevoegd die direct naar de bestelpagina linkt. De link van de QR-code is persoonlijk, waarbij de persoonlijke code al voor gevuld is, zodat de klant deze niet meer eerst hoeft in te vullen.

In de variant hebben we een andere short URL gebruikt dan in de control zodat we goed kunnen tracken via welke versie website bezoekers komen, en of ze vanaf de QR-code of de short URL komen in de variant.

Resultaten
Het toevoegen van de QR-code aan de DM zorgt voor significant meer bezoekers naar de website (een stijging van 9,55%). Ook heeft de variant een significant positief effect op het aantal orders (een stijging van 5,22%).

Als we inzoomen op de funnel zien we dat de click-through-rate op de pagina waar men de persoonlijke code moest invullen hoger is voor de variant. Dit was te verwachten, want bij de QR-code is deze automatisch ingevuld, dus 100% van de klanten die de QR-code gebruikt voltooit deze stap.

Echter, zodra ze op de bestelpagina komen, hebben de bezoekers van de variant een significant lagere conversieratio dan bezoekers van de control. Dit is met name het geval bij bezoekers die via de QR-code komen.

Dit kan verklaard worden door het feit dat de “sunk costs” lager zijn bij het gebruik van de QR-code dan bij het intypen van de short URL en de code. Omdat klanten een minder moeite hebben gestoken om op de website te komen, is hun motivatie om hun bestelling te voltooien wellicht lager.

Desalniettemin, het lagere conversiepercentage weegt niet op tegen de hogere traffic die de variant genereert. Hierom heeft de variant alsnog een positief effect op het aantal orders.

34% van de bezoekers van de variant gebruikt de QR-code. 2/3 heeft dus de short URL nog overgetypt. Dit geeft aan dat we de short URL niet kunnen vervangen door de QR-code. Dit is waarschijnlijk gerelateerd aan de oudere doelgroep.

Het aantal bezoekers op mobile is hoger in de variant, wat te verwachten was omdat QR-codes voornamelijk gebruikt worden op mobiel.

Opvolging
De test is geïmplementeerd voor de campagne waarin de test heeft gedraaid. Ook loopt het proces om ook QR-codes toe te voegen aan DM’s die we voor andere soortgelijke campagnes versturen van hetzelfde team. Daarnaast zijn de resultaten gedeeld met andere teams die ook DM’s versturen of andere fysieke communicatie gebruiken; deze teams geven aan de QR-code ook toe te gaan voegen, of te gaan testen of een QR code ook een positief effect heeft op hun KPI’s.

Waarom moet deze case winnen
Als we aan A/B testen of experimenteren denken we vaak gelijk aan testen op webpagina’s of misschien in e-mails. Wat deze test uniek maakt, is het feit dat het bewijst dat testen in een offline omgeving net zo waardevol kan zijn als online.

Ondanks dat het wellicht wat lastiger lijkt omdat je toegang hebt tot minder data dan bij online testen, laat deze test zien dat als je slim omgaat met hoe je de test opzet (bijv. verschillende linkjes), je alsnog hele relevante resultaten kan krijgen.

Door middel van deze case hopen we (digital) marketeers en CRO’ers te inspireren om verder te kijken dan hun website of digitale domein, en out of the box te denken welke kanalen verder nog te optimaliseren zijn.

Is VodafoneZiggo III jouw favoriet?

Stem dan nu