Website-foto-11-2019
Experimenteer programma

Waarom experimenteer programma’s mislukken deel 4: ‘Verliezen’-experimenten worden genegeerd in plaats van onderzocht

Jeffrey
Door Jeffrey op 15 oktober 2019
Leestijd 5 minuten

 

Het is algemeen bekend dat slechts ongeveer 30% van de experimenten tot een succesvol resultaat leidt. Dit is de aard van het spel, het is tenslotte een experiment, als je weet dat het een succes zal worden, is het niet nodig om te testen.

Dus als de kans op succes zo laag is, waarom zou je dan überhaupt nog een experimentenprogramma uitvoeren? Welnu, het feit dat 70% van uw experimenten geen winnaar heeft, betekent niet dat er geen waarde in zit. Het is uiterst belangrijk om de waarde van uw CXO-programma te begrijpen en te weten hoe u dit aan het senior management moet uitleggen. In het ergste geval moet je een aantal mislukte experimenten doorstaan ​​voordat je een verbetering kunt laten zien. Dit zal het geduld van het senior management op de proef stellen en de druk op het CXO-team verhogen om resultaten te leveren.

Als de druk te hoog wordt, kan het CXO-team kiezen voor experimenten met een laag risico. Experimenten die kunnen worden beschouwd als best practices waarvan de uitkomst zeker een positieve impact zal hebben. Dit zal het CXO-programma helpen te overleven, maar een aangenaam management zal het succes van de CXO op de lange termijn tenietdoen.

Hier zijn drie manieren om de waarde van uw CXO-programma te krijgen (zelfs als de uitkomst negatief is):

1 – Rapport over vermeden risico

Neem de statistiek ‘Vermeden risico’ op in uw dashboard en rapportage. Als de variant beter presteert dan de controle in een A/B-test, heb je een winnaar en kun je de stijging van de omzet berekenen voor de tijd dat het experiment liep. U kunt zelfs opnemen wat de extra inkomsten in de loop van de tijd zullen zijn, inclusief het afnemende effect zodra de winnende variant is geïmplementeerd.

Het tegenovergestelde van verhoging is het vermijden van risico. In dit scenario presteert de besturing beter dan de variant. Dankzij de briljante geesten van het CXO-team werd de nieuwe variant getest in plaats van live te zetten omdat hij er zo sexy uitziet. Zoals gebruikers hebben gezegd, weet je nu dat het beter is om bij de controle te blijven en de variant niet te implementeren. Doordat je de variant niet implementeert, heb je omzetverlies voorkomen. Je hebt risico vermeden.

Op experiment niveau is dit misschien geen enorm bedrag, maar als je alle bedragen optelt die verband houden met vermeden risico in de loop van de tijd, is het aanzienlijk. Naast het geld dat niet is verspild aan het implementeren van de verkeerde variant, zal ‘risico vermeden’ het bewustzijn vergroten over het belang van experimenteren. Hoe goed of sexy een idee ook lijkt, gebruikers het laatste oordeel laten vellen, is de betere optie.

2 – Zet leren voorop

Elk experiment onthult een puzzelstukje van gebruikersgedrag en voorkeuren. Eén puzzelstukje zal je niet tot diepere inzichten brengen of je in staat stellen de puzzel te voltooien. Maar met veel experimenten op zak (of beter natuurlijk, in je CXO-bibliotheek), worden de contouren duidelijk. Hoe meer puzzelstukjes op hun plaats komen, hoe beter je het eindresultaat begrijpt. De wens om gebruikersgedrag te leren en te begrijpen is misschien wel de belangrijkste kracht in je reis om een ​​optimale gebruikerservaring te krijgen.

3 – Ontwerp nieuwe hypothese

In sommige gevallen is niet meteen duidelijk waarom de uitkomst van een experiment negatief was. Zeker als je alles goed hebt gedaan. Je deed onderzoek naar gebruikersgedrag, gebruikte de beschikbare data, definieerde een sterke hypothese en ontwierp er een geweldige oplossing voor. De verwachtingen zijn hooggespannen en je wacht gewoon tot de A/B-test is afgelopen en schept die extra dollars erin.

Tot uw verbazing is de verwachte stijging nergens te bekennen. Maar dit is een kans om te leren, dus je graaft in de resultaten, kraakt de cijfers, maar er kan geen zinvol leren worden geëxtraheerd. Dit zuigt. Dit experiment heeft echter nog steeds waarde. Sla het gewoon op in uw CXO-kennisbank en dan is de kans groot dat wanneer u dit “mislukte” experiment combineert met de resultaten en lessen van andere experimenten, u een nieuwe trend in gebruikersgedrag ziet. Een nieuw inzicht openbaart zich en stelt je in staat een nieuwe hypothese op te stellen.

We houden allemaal van winnaars…

We houden allemaal van winnaars, maar winnen is het resultaat van een gestructureerd repetitief proces. Als u zich niet op uw gemak voelt bij het accepteren van de aard van een experimentenprogramma: winnaars en verliezers, voer dan geen programma uit en accepteer het feit dat u de kans misloopt om te leren wat uw klanten echt willen.

Deze serie is geïnspireerd op een artikel gepubliceerd door GO Group Digital. Bekijk de andere berichten die deel uitmaken van deze serie over Waarom experimenteer programma’s mislukken:

  1. Het experimentenprogramma is niet gebonden aan een overkoepelend zakelijk doel en mist een centrale leidende maatstaf
  2. Teams zijn geïsoleerd en experimenten houden geen rekening met de hele klantreis
  3. Experimenten moeten perfect zijn voordat ze het daglicht zien