Les Patterns des Grands du Web - L'obsession de la mesure

Description

En informatique, nous connaissons tous des citations qui rappellent l'importance de la mesure : "Ce qui ne se mesure pas, ne se pilote pas", "sans mesure, tout n'est qu'opinion".

Les grands du web ont poussé cette logique à l'extrême et ont, pour la plupart, développé une culture poussée de la mesure.

La structure même de leurs activités les conduit très naturellement à ce tropisme.

Elles ont en effet souvent 3 caractéristiques :

• L'informatique est l’outil de production de ces entreprises. Leurs coûts sont donc directement corrélés à l'utilisation optimale des machines et du logiciel. et toute amélioration du nombre d’utilisateurs simultanés ou de l'utilisation CPU a un ROI rapide.
• Les revenus sont directement corrélés à l'efficacité du service informatique rendu. Par conséquent, l'amélioration du taux de conversion a un ROI rapide.
• Ils ont des ordinateurs partout ! Ce sont de très bons instruments de mesure. Autant essayer de s'en servir !

Ainsi, les grands du web ont pour la plupart pris l'habitude de tout mesurer : les temps de réponses, les pages les plus vues, les articles (de contenu ou de vente) qui fonctionnent le mieux, le temps passé sur chaque page... Bref, du classique à première vue.

Mais pas seulement ! Ils mesurent aussi la chaleur dégagée par tel processeur, la consommation électrique de tel transformateur, le temps moyen entre 2 pannes de tel disque dur (le MTBF, Mean Time Between Failure)[i]... et c'est sur cette base qu'ils construisent des infrastructures optimisant l’efficacité énergétique de leurs installations (le PUE - Power Usage Effectiveness - suivi de très près par ces acteurs).

Ils ont surtout appris à baser leurs plans d'actions sur cette masse d'informations.

L'A/B testing, qui consiste  à tester sur des groupes de clients différents des versions différentes d’une application, participe de cette tendance. A fonctionne-t-il mieux que B ? La meilleure façon de le savoir reste encore de le mesurer objectivement.

Avec des résultats qui défient parfois le sens commun et qui illustrent les limites de la réflexion en chambre, comme le montre le site www.abtests.com qui référence des résultats d’A/B tests.

Lors d'une interview, Yacine Hinnach, Senior Engineer chez LinkedIn nous confiait que les équipes de LinkedIn sont encouragées à tester rapidement toute technologie susceptible d'améliorer les performances du site. Les décisions d'approfondissement se font alors sur la base des métriques constatées.

Le site HighScalability.com a publié un article basé sur des interviews du CTO d'Amazon sur leur recette du succès. Parmi les citations marquantes, celle-ci a retenu notre attention :

Everyone must be able to experiment, learn, and iterate. Position, obedience, and tradition should hold no power. For innovation to flourish, measurement must rule[ii].

Pour illustrer cette approche, voici ce que dit Timothy B. Lee, journaliste à Wired et New York Times, de la culture de la mesure chez Google.

“ Plutôt que d’avoir une connaissance intime de ce que leurs subordonnés font, les cadres de Google se basent sur des mesures quantitatives pour évaluer la performance de l’entreprise. L’entreprise conserve des statistiques sur tout - nombre de chargement de pages, taux de pannes, taux de clic, etc. – et travaille avec l’obsession d’améliorer ces chiffres. L’obsession du management par la mesure diffuse jusqu’aux snacks pour les petites faims, qui sont choisis sur une analyse détaillée des usages et des resultats de sondages. “[iii]

La conséquence de ce mode de fonctionnement est profonde. On a pu ainsi lire dans les bureaux de certains pure players "In God we trust. Everything else, we test". Au delà du clin d'œil, c'est une approche profondément pragmatique des problèmes qui est véhiculée.

Une concrétisation extrême de cette tendance, qui frise la caricature, est l'initiative Oxygen de Google : une équipe interne de statisticiens a disséqué le matériel RH disponible dans l'entreprise (revues annuelles des collaborateurs, enquêtes de satisfaction, nominations pour les prix de managers) pour en extraire les pratiques managériales les plus efficaces. Et ont énoncé à cette suite les 8 règles du bon manager. N'importe quel manager expérimenté pourrait considérer que Google a réinventé l'eau chaude du management. Mais la différence, c'est qu'ils l'ont statistiquement prouvé par des métriques [iv]

Et chez moi ?

La culture française apprécie les modèles et nous conduit donc souvent à être moins bêtement pragmatiques que les anglo-saxons.

Notre conviction est que cette boucle de feedback rapide "hypothèse -> mesure -> décision" devrait être un réflexe quasi-systématique dans le monde de la DSI et qui peut être mis en oeuvre dès demain...

L'auteur de ces lignes a le souvenir encore douloureux de 2 fois 4 heures de réunion à 10 personnes pour savoir si le passage en http des appels à la couche service allait avoir un impact "significatif" sur les performances. 10 jours de travail d'un développeur auraient largement suffi à l'établir pour un coût moindre...

Autre expérience vécue plusieurs fois par des consultants OCTO lors d'audits : les performances de l'application étaient améliorées lorsque l'on débranchait le cache qui avait été mise en oeuvre... pour améliorer les performances. Le remède avait été ainsi pire que le mal et son efficacité présumée, non mesurée.

Au  niveau management, on peut souvent avoir l’illusion que ce travail d’analyse des « faits durs » est fait régulièrement. Il peut être bon de le vérifier régulièrement que c’est bien le cas et surtout que ces informations sont bien prises en compte dans les décisions.

Malgré tout, on ne le dira jamais assez : une partie des recettes du succès des grands du web viennent avec un écosystème qui favorise leur application.

Deux autres pratiques viennent ainsi étayer la culture de la mesure

• celle du test automatisé : c'est vert ou rouge, pas de discussion possible. Et du coup, on est sûr que l'on mesure toujours la même chose
• celle des cycles courts. Pour mesurer et surtout pour interpréter ces mesures, il faut être capable de comparer des options, "toutes choses étant égales par ailleurs". Ce point est particulièrement crucial. Dans un contexte récent, nous avons diagnostiqué les actions mise en œuvre pour améliorer la performance d'une application. Mais environ une dizaine avait été intégrée à la release suivante. Comment alors distinguer les optimisations efficaces de celles contre-productives ? ...

Retrouver toutes les pratiques des Géants du Web sur le site dédié (www.geantsduweb.com) : pdf de l'ouvrage à télécharger, vidéo et compte-rendu de la présentation "Décrypter les secrets des Géants du Web"

Sources

[i] http://storagemojo.com/2007/02/19/googles-disk-failure-experience/

[ii] http://highscalability.com/amazon-architecture

[iii] http://arstechnica.com/apple/news/2011/06/fourth-times-a-charm-why-icloud-faces-long-odds.ars

[iv] Adam BRYANT, Google’s Quest to Build a Better Boss, The New York Times Company, March 12, 2011, http://www.nytimes.com/2011/03/13/business/13hire.html