Les Patterns des Grands du Web – Test A/B

le 11/04/2012 par Benoit Guillou
Tags: Product & Design

Description

Le test A/B est une méthode de développement produit qui permet d’expérimenter la performance d’une fonctionnalité.  On peut par exemple tester un mail, une page d’accueil, une bannière publicitaire ou un parcours de paiement.

Cette stratégie de test permet de valider les différentes versions d’un objet en agissant sur une unique variable : le libellé d’un objet de mail ou le contenu d’une page par exemple.

Comme toute stratégie de test mesurant une performance, le test A/B ne peut se faire que dans un environnement capable de mesurer le succès d’une action. Pour prendre l’exemple de l’objet du mail, il faudra être capable de mesurer son taux d’ouverture afin de comprendre quel message est le plus percutant. Pour une page, on regardera le taux de clic, pour un parcours de paiement le taux de conversion.

Mise en œuvre

La méthode en elle-même est donc relativement simple. Vous avez des variantes d’un objet que vous voulez faire tester à différentes sous-populations. Une fois la meilleure variante trouvée, vous la soumettez au reste de la population.

Simple comme bonjour ? Pas tout-à-fait.

La première interrogation porte sur la nature de la variation : où placer le curseur entre la micro optimisation et le grand chambardement ? Tout dépend de la phase d’apprentissage dans laquelle vous vous trouvez. Si vous êtes dans une phase de découverte client (cf. MVP, Lean Startup, Customer Discovery), les tests A/B peuvent faire complètement varier la version testée. Vous pouvez par exemple faire 2 pages d’accueil différentes, avec des messages marketing différents, une disposition différente, des images différentes pour tester le taux d’inscription sur 2 populations. Dans une phase plus avancée du projet, où la variation d’un objectif de conversion de 0,1% fait la différence, les variations devront être plus fines (taille, couleur, disposition d’un bouton par exemple).

La seconde interrogation concerne votre segmentation. Comment allez-vous définir vos différentes sous-populations ? Il n’y a pas de formule miracle mais une règle fondamentale : le critère de segmentation ne doit pas influer le résultat de l’expérience (Test A/B = une seule variable). On peut prendre un critère basique : la date d’inscription, l’ordre alphabétique, … tant qu’il ne rentre pas en compte dans les résultats.

La troisième question est celle de la condition d’arrêt. A partir de quand a-t-on assez de réponses pour généraliser le résultat de l’expérimentation ? Cela dépend du trafic que vous arrivez à générer, de la complexité de votre expérience et de la différence de performance entre vos différents échantillons. Autrement dit, peu de trafic, avec des résultats très proches les uns des autres suivant les populations fera qu’un test dure plus longtemps. Les principaux outils du marché (Google Website Optimizer, Omniture Test&Target, Optimizely) offrent la possibilité de savoir si le test que vous menez est signifiant. Si vous gérez votre test manuellement, vous devrez réviser quelques lois statistiques et d’échantillonnage. Pour vous aider, des sites web se proposent de calculer cette pertinence à votre place. (exemple : http://visualwebsiteoptimizer.com/ab-split-significance-calculator/)

Voyons maintenant deux pièges à éviter lorsqu’on commence l’A/B testing. En premier, ne regarder la performance d’un test que vis à vis d’un seul objectif est trompeur. Dans la mesure où l’on met en place un test qui change l’expérience de l’utilisateur, il est nécessaire de suivre les autres objectifs business. En changeant la page d’accueil d’un site par exemple, vous suivrez bien sur votre taux d’inscription, tout en n’oubliant pas de regarder la performance du paiement.

L’autre piège est d’offrir une expérience différente à une population dans le temps. La solution que vous mettez en place doit absolument être consistante durant la durée de l’expérience : un utilisateur qui revient doit être exposé à la même version de l’expérimentation, tant pour la pertinence des résultats de l’expérimentation que pour l’expérience utilisateur. Une fois la meilleure solution déterminée, il faudra bien sur la généraliser.

Chez qui ça fonctionne ?

On ne peut pas ne pas citer les pionniers des tests A/B : Amazon. Les acteurs web dans leur ensemble sont enclins à partager leurs expérimentations. Vous trouverez facilement sur le web des exemples de Google, Microsoft, NetFlix, Zynga, Flickr, Ebay et bien d’autres avec des résultats parfois surprenants.  Le site http://www.abtests.com/ recense certaines expérimentations.

Et chez moi ?

Le test A/B est avant tout un droit à l’expérimentation. Se mettre dans une démarche d’apprentissage, avec dès le départ des hypothèses de résultats et un modus operandi, est une source de motivation pour les équipes produit. Ce pilotage à la performance permet de mettre en place un management produit piloté par la donnée.

La mise en place d’une solution de test A/B est relativement simple. Google Web Site Optimizer, pour ne citer que lui, permet de mettre en place un outil directement couplé aux indicateurs Google Analytics. Avec un investissement moindre, vous donnez à vos équipes le moyen d’objectiver leurs actions par rapport à une finalité produit.

Retrouver toutes les pratiques des Géants du Web sur le site dédié (www.geantsduweb.com) : pdf de l'ouvrage à télécharger, vidéo et compte-rendu de la présentation "Décrypter les secrets des Géants du Web"

Sources