VodafoneZiggo IV - Copy vs. No copy

Achtergrond
Onze Entertainment nieuwbrief sturen we maandelijks naar een zeer groot aantal klanten met on demand streaming mogelijkheden in hun pakket. We informeren klanten welke films en series nieuw zijn, tips en tricks over wat en hoe te kijken en andere leuke entertainment dingen zoals winacties met kaartjes voor Ajax of Ziggo Dome. Ons ultieme doel is dat klanten het maximale uit hun pakket halen, en dus vaker kijken, omdat onderzoek aantoont dat deze klanten tevredener zijn. We willen dus op een zo goed mogelijke manier zoveel mogelijk klanten bereiken met onze boodschap.

Vorig jaar zijn we begonnen met de eerste testen om de performance van de nieuwsbrief te verbeteren. Al snel kwamen we erachter dat dit een fantastische plek is om te testen, dat komt doordat de aantallen hoog zijn, zowel de verzendingen (±1 mln ontvangers) als de conversies (op Opens en Click Through Rate). Hierdoor zijn testen bijna nooit ‘inconclusive’.

De testcase
Onze nieuwsbrief heeft al jaren een redelijk vast format. Een stuk of 5 items met een plaatje, titel, klein stukje copy, en een CTA button. Entertainment is iets emotioneels, iets dat je wilt ervaren en het gebruik van visuals spreekt vaak erg tot de verbeelding (‘a picture says more than a thousand words’), maar tekst is niet snel te verwerken en kost meer moeite. In de test hebben we in de variant het stukje tekst weggehaald (‘No copy’). Met de ‘No copy’ variant spreken we systeem 1 aan, snel en emotioneel. De control kost meer moeite en is rationeler, na het lezen moet men een bewustere beslissing nemen of men door wilt lezen op de website (systeem 2).

Hypothese
Wanneer de paragrafen tekst uit de email worden verwijderd (enkel afbeeldingen, titels en buttons behouden), zorgt dit voor een snellere en betere verwerking van de email (systeem 2), waardoor meer bezoekers doorklikken naar de website, zonder de engagement op de website te verminderen.

Doelen
Met deze test wilden we met de nieuwsbrief meer bezoekers naar onze website krijgen. We hoopten op maximaal 5-10% extra traffic. Echter, we wilden niet dat de kwaliteit van het verkeer er onder leed. Met andere woorden, we wilden dat de bounce rate ongeveer gelijk bleef, en de engagement timing (https://www.simoahava.com/analytics/track-content-engagement-via-gtm/) er niet op achteruit ging.

Resultaten
De resultaten waren verbluffend, we ontvingen 41,7% (!) extra verkeer, zonder dat onze kwaliteits metrics er onder leden; De bounce rate verbeterde met 14% en de engagement seconds verslechterde weliswaar maar de schade was beperkt met 5%, zeker gezien de enorme uplift in verkeer.

Strategie
Hoe nu verder, en wat voor impact heeft dit op onze andere belangrijke service nieuwsbrief met gelijk format? Bij Service hebben we de test herhaald met gelijke resultaten (40% uplift in verkeer) en extra metingen op kwaliteits metrics zoals een usabilla survey die ook deze keer geen negatieve invloed lieten zien. De resultaten hebben behoorlijke impact op de nieuwsbrief en we doen nu een derde en laatste hertest, waarbij we kijken naar een usability onderzoek om de verschillen in perceptie bij klanten die de mail wel openen maar niet doorklikken te bekijken. Deze extra onderzoeken en hertesten zorgen voor een gefundeerde beslissing die door andere afdelingen zoals Communicatie en Brand kan worden omarmd.

Nu we weten dat dit zoveel impact heeft zijn we gestart met het testen van commerciële nieuwsbrieven en emails waarbij het doel is dat ontvangers ook een aankoop doen. De eerste resultaten laten wederom een flinke winnaar zien. Zo beginnen de nieuwsbrief testen een proeftuin te worden voor testen dieper in de funnel waar de test capaciteit lager is en hierdoor een betere inschatting levert voor de prioritering. Zo dienen de succescases van de nieuwsbrieven enerzijds als inspiratiebron en anderzijds zorgen ze voor prevalidatie voor testen op de website waar de aantallen (en test capaciteit) lager zijn.

Waarom moet deze case winnen?
Ten eerste omdat het resultaat niet over kleine percentages gaat maar over een uplift van ruim 40%! Het is een simpel op te zetten test en het heeft enorme impact.

Ten tweede omdat dit inzicht geeft in hoeverre geschreven tekst invloed kan hebben op het gedrag online. Het zet ons aan het denken hoe we copy moeten inzetten om onze doelen te bereiken. Een stukje tekst bij een plaatje is niet meer vanzelfsprekend.

Ten derde worden Email testen vaak minder interessant gevonden omdat je nog ver afstaat van een uiteindelijke aankoop. Echter, voor een CRO specialist is dit een snoepwinkel vanwege de grote aantallen en conversies (op Opens en Click Through Rate). Daardoor is het een goede proeftuin en prevalidatie voor testen die wat betreft omzet belangrijk zijn voor de business, terwijl we tegelijkertijd de performance van onze nieuwsbrief verbeteren.

Credits
Opdrachtgever: VodafoneZiggo
Bureau: Niet van toepassing

Is VodafoneZiggo IV jouw favoriet?

Stem dan nu