Penser l'évolutivité des modèles d'AI à long terme, c'est mon job

Un produit de qualité est un produit qui évolue facilement et rapidement. Penser à l'évolutivité d’un produit quand dans son quotidien de développeur on est focus sur l’objectif court terme n’est pas toujours chose aisée. Personne n’est très performant quand il cherche à concilier objectif court et long terme à la fois. Il est souvent plus efficace de chercher à séparer ces deux missions.

Puisque L’équipe s’occupe du court terme. Qui se préoccupe du long terme ?

Nous avons interviewé Matthieu Lagacherie, architecte Data chez OCTO pour en savoir plus.

Matthieu Lagacherie, tu es Data Scientist, tu interviens comme AI Advisor sur des équipes produits, tu peux nous en dire plus ?

Je suis architecte Data & AI dans les équipes d’OCTO et j'interviens en accompagnement des équipes de Data Science ou sur des équipes produit qui intègrent une forte composante AI.

Depuis 4 ans j’occupe un rôle d’Advisor pour un industriel qui construit et exploite des produits décisionnels basés sur des algorithmes d’AI. Advisor, c’est un rôle en transverse qui cherche à concilier les enjeux courts termes, sous la responsabilité des équipes, avec la dimension long terme d'évolutivité et d'exploitabilité des algorithmes.

Data Advisor, au quotidien ça veut dire quoi ?

Je suis un contributeur individuel qui vient aider les équipes dans leur quotidien à relever les défis posés par l’AI, j’apporte de la séniorité, de l'expérience mais aussi une forme d'autorité sur la façon de faire.

Il faut comprendre que les Data Scientists sont des mathématiciens qui viennent à la technologie, le code n’est pas leur première discipline et c’est forcément moins immédiat pour eux de faire de la qualité de code ou de se préoccuper des problématiques posés par le run des modèles une fois qu’ils seront en production.

Au quotidien, je passe du temps dans les équipes avec les Data Scientists pour les aider à prendre de la hauteur sur leurs expérimentations, à s’aligner avec les enjeux, parfois très court-termistes, de l’équipe produit à laquelle ils participent; je fais du pair-programming, je leur donne du temps et ils m’en donnent en retour.

Au final, je peux développer une bonne compréhension de ce qui se passe dans les équipes et pousser des bonnes pratiques jusqu’à devenir des standards.

Les standards… Les nouveaux arrivants sont toujours d’accord et contents d’appliquer les standards mais rechignent à en adopter de nouveaux par la suite, qu’en penses-tu ?

C’est vrai qu’il est difficile d’adopter des nouvelles pratiques quand on a pris certaines habitudes, c’est parfois culturellement mal perçu et la tentation pourrait être de ne rien standardiser ou au contraire de vouloir tout contrôler.

Mais on ne standardise pas pour se faire plaisir, on standardise pour faciliter le travail des nouveaux, des équipes de run, pour limiter la charge mentale, pour éviter de réinventer la roue… tout simplement pour être plus efficace.

Aujourd’hui, les GAFAM ont mis la barre très haut, tout est automatisé, standardisé et en même temps évolue très vite avec beaucoup d’innovation et un niveau de qualité qui ne fait pas défaut; c’est un environnement que l’on ne peut pas reproduire comme ça du jour au lendemain dans une entreprise classique qui veut profiter de la valeur de l’AI rapidement, on doit partir d’un point de départ, souvent bas, et faire évoluer les choses progressivement pour atteindre le bon niveau de qualité.

Que veut dire Qualité pour dans ton contexte d’IA ?

Ici, dans l’industrie, nous faisons des applications pour accompagner la prise de décision des opérationnels dans des usines ou sur des sites. Le premier signe de qualité pour moi est dans la métrique d’usage signe que l’humain comprend la recommandation de l’algorithme.

Un deuxième signe de qualité, sur lequel mon rôle d’Advisor est particulièrement clé, est la capacité d’adaptation de nos solutions d’AI à des contextes différents. Si on sait déployer avec succès une solution d’AI sur un site A et qu’il faut plusieurs mois ou années pour le déployer sur le site B, on a raté notre mission.

Pour aller plus loin dans la technique et au-delà de la traditionnelle couverture de test du code nos solutions doivent être résilientes face à des datas qui peuvent bouger sans planter.

Dernier aspect de qualité qui touche plus la posture des Data Scientists est la dimension d'expérimentation. Il n’y a pas de solution toute faites en AI, il faut tester, expérimenter, apprendre pour trouver la bonne approche, un Data Science qui n’expérimente pas, ne peut tout simplement pas produire une solution de qualité.

Revenons à cette évolution progressive de la qualité, comment la gères-tu ?

On le voit, la qualité se joue beaucoup dans des actions qui n’apportent pas de valeur court terme à la solution.

On aurait pu cacher le problème sous le tapis et se dire que les suivants trouveraient bien une solution mais on n’a pas fait ça.

On aurait pu imposer des normes de qualité mais on sait que ça ne fonctionne pas, on ne peut pas avoir le nez dans toutes les lignes de code ou de documentation… et puis quelles normes on aurait choisi ?

On a pris le problème de front et on a posé plusieurs principes :

• Régulièrement les solutions d’IA devront implémenter des nouveaux critères de qualité, les standards
• Un standard est obligatoirement le résultat d’une bonne pratique, quelque chose qui est déjà plus ou moins mis en oeuvre et a prouvé sa valeur

Ces deux principes sont le cœur de ma mission, faire émerger des bonnes pratiques, soit de mon initiative soit de celle des équipes, accompagner à la mise en œuvre en mettant les mains dedans, les améliorer et au final en choisir une qui deviendra un standard.

Un standard doit être mis en place unilatéralement sans que plus personne ne se pose la question, sur une équipe de plusieurs dizaines de data scientists cela demande un peu de temps.

Par exemple, il aura fallu presque un an pour faire émerger un standard sur la documentation des modèles mais aujourd’hui c’est un succès car tout le monde applique le standard et comprend sa raison d’être, je n’ai plus besoin de faire la police sur le sujet !

En conclusion, peut-on se passer d’un Advisor ?

À condition d’avoir plusieurs années d'expérience sur l’AI, du build, du run, de l’impact business et une collection de standards que les équipes mettent en oeuvre sans se poser de questions… et pour finir un environnement technologique stable !

La réponse est non et puis ce rôle d’Advisor existe depuis longtemps chez les GAFAM, chez eux on parle de contributeur individuel, positionné assez haut sur l’échelle de carrière et qui vient du terrain, quelqu’un de légitime et qui apporte de l'influence en transverse sur les équipes.

Merci Matthieu