School of Product 2024 Compte-rendu Faire mieux demain: 3 façons de planter son projet avec l'IA

Anne-Claire Baschet est Data scientist , Chief Data et AI Officer chez Mirakl. Elle nous partage sa passion : comment augmenter des produits avec de l’Intelligence Artificielle là où cela apporte réellement de la valeur aux utilisateurs et au business. Et si possible de la manière la plus responsable. Mais pour apprendre, la meilleure façon est d’essayer et de se planter, et recommencer ! Elle espère qu’à travers cette présentation, les spectateurs pourront prendre un pas de côté et retenir quelques conseils.

Revenons à Mirakl : cette entreprise B2B aide des retailers à développer des marketplaces pour essayer de concurrencer Amazon pour avoir le bon produit, au bon moment ET en stock.

Après cette introduction, Anne-Claire présente une statistique du Gartner de 2019 : 85% des projets IA restaient à l’état de Proof Of Concept (POC) et ne passent jamais en production. Avec l’arrivée de l’IA générative, la statistique a baissé mais reste encore à 30% (Gartner 2024). C’est toujours un investissement énorme.

Avant de présenter les façons de se planter, encore faut-il s’entendre sur ce que c’est l’Intelligence artificielle - IA.

L’IA Générative est un algorithme générant du contenu original (images, textes, sons, vidéos) en apprenant à partir de données.

Le LLM (Large Language Model) est un modèle de langage entraîné sur de vastes données pour comprendre et générer un texte.

Une fois ces définitions posées, Anne-Claire nous présente la première façon de se planter.

1- Voir de l’IA partout

Des métiers ont été disruptés par la technologie comme l’allumeur de réverbère au gaz, le toqueur de volet… par comparaison métaphorique, on a tendance à penser que les LLMs ce sont des chatbots. Est-ce utile de mettre un chatbot sur des interfaces comme Calendly qui sont extrêmement bien faites? Est-ce utile de mettre du conversationnel quand en 2 clics, l’utilisateur a la vision du calendrier et est capable de réserver tout de suite?

Le premier tips est d’aller au-delà des chatbots, au-delà de la technologie conversationnelle.

Chez Mirakl, ils ont commencé par ce qui était le cœur du produit : c’est l’onboarding du catalogue (façon d’uploader un catalogue en reprenant les champs adéquats). Avec un format et de la qualité, comment onboarder son catalogue sur n’importe quel site de retailers et avoir une fiche produit la plus adaptée pour être bien référencée par les moteurs de recherche ?

Pour les équipes de Mirakl, c’était le problème à résoudre. Pour onboarder un catalogue, il fallait au minimum 15 jours avec des tâches 100% manuelles.

Qu’est-il possible de faire avec de l’IA générative dans ce cas? En s’inspirant du Lean Engineering, ils sont partis du problème à résoudre pour les utilisateurs et d’arriver à la capability, c’est-à-dire le niveau de performance qu’attendrait un utilisateur. Pour avoir un certain niveau de capability, il y a plusieurs fonctions et plusieurs technologies.

En identifiant ce problème, c’est sur les fonctions Extraire et Transformer que l’IA générative peut faire mieux pour l’utilisateur. Les fonctions Enrichir et Traduire sont laissées à l’intervention humaine. Ainsi, les données sont chargées directement et l’IA va proposer une transformation : en s’appuyant sur le texte, elle identifie les attributs du produit. Le process est alors réduit à moins de deux heures.

En mobilisant “Catalog transformer” avec de l’IA générative, le vendeur onboarde son catalogue en un seul clic; quant au retailer, le temps d’onboarding du catalogue est réduit à quelques heures.

2- Oublier que l’IA n’est pas déterministe

Anne-Claire Baschet s’appuie sur l’exemple de Gemini en février 2024 qui devait régénérer des personnages n’ayant jamais existé sous cette forme par le passé. Du fait du non-déterminisme, les concepteurs et ceux qui vont construire ces applications ont une grande responsabilité sur la manière dont les données sont structurées pour influencer le résultat.

Pour contrer cette incertitude, Anne-Claire Baschet propose un second tips: designer pour l’imperfection et l’incertitude. Selon elle, l’IA générative ne permettra jamais d’avoir des réponses déterministes. Il faut donc prendre en compte cette incertitude dans la manière de designer ses produits. Par exemple, pour gérer cette incertitude, Google Photos a donné la possibilité à l’utilisateur de corriger. Si l’on prend Waze, l’application essaie de prédire le temps de trajet. Pour maîtriser l’incertitude, Waze propose systématiquement une alternative tout indiquant les faits pris en compte au moment de la définition de cet algorithme (accidents, contrôles de police etc.)

Pour revenir à “Catalog transformer”, en version bêta, comme ils ne savaient pas quelles étaient les incertitudes et les imperfections de l’algorithme, ils ont choisi de mobiliser la technologie seule dans un premier temps. Puis, ils ont observé quand un humain avait besoin de reprendre la main pour concevoir et continuer d’adapter le parcours. Aussi, pour commencer, il fallait rendre visible les données transformées par l’IA pour accompagner l’utilisateur qui peut ainsi adapter son comportement et ses corrections en fonction, voire adapter et enrichir le résultat.

Remplacer, automatiser n’est pas un but : donner du temps en est un et donc une valeur apportée à l’utilisateur. L’humain intervient ainsi sur la vérification et l’amélioration du contenu.

3- Systématiquement penser que l’IA va créer plus de valeur

La valeur pour Anne-Claire Baschet, c’est améliorer son geste pour faire de mieux en mieux quelque chose comme dans le kaizen. Et fondamentalement, penser si on fait la bonne chose.

Tester l’IA pour la tester, ce n’est pas utile: les collaborateurs savent ce qui va leur faire gagner du temps. C’est donc plus intéressant d’identifier là où sont les gros problèmes et se focaliser dessus en déterminant le parcours, et ainsi déterminer là où l’IA peut être un gain.

Son troisième tips est donc d’itérer pour résoudre le BON problème. Cela permet de répondre à l’équation gap de performance / valeur utilisateur / coût de la technologie.

Une fois le bon problème identifier, décomposer pour voir où l’IA générative peut permettre de changer les fonctionnalités et de créer des gaps. Elle encourage à tester par soi-même en faisant un 0-Shot prompting sur GPT4* avec un échantillon de données pour voir si cela permet de créer un gap de valeur (* NDLR: demander à GPT4 de réaliser une tâche sans lui fournir un exemple de bonne réalisation de cette dernière).

Elle encourage à ce qu’il y ait des discussions entre les équipes Data / Engineering / Product: ces discussions créent de la valeur. Puis, il faut tester la technologie afin de voir si la manière dont l’algorithme était architecturé et vérifier si cela crée une valeur suffisante et ce gap de performance. Cela veut également dire projeter à la fois, les volumétries et les coûts à l’échelle. Pour “Catalog transformer”, misant sur la réduction des coûts de la technologie, ils sont partis sur GPT4. En revanche, si cela marche et que les clients voient de la valeur, il faudra alors raffiner les algorithmes et les équipes de Mirakl savent comment le faire. C’est donc un choix dès le départ de faire ce raffinage dans un deuxième temps. En fonction de la performance de la technologie, les parcours sont designés en mettant en avant les faits importants, quand est-il important de mettre l’humain dans la boucle. Suivent alors les phases :

• de build,
• de validation (via beta ou AB Test) du gap de performance,
• de détection des freins à l’adoption,
• d’apprentissage pour ajouter ces tips de design et d’ajustement de la technologie,
• de passage à l’échelle avec le General Availability.

C’est seulement à ce stade qu’ils ont fine tuné les algorithmes.

Il est ainsi important dans un projet faisant intervenir l’IA, d’adapter un workflow de conception Produit. Chez Mirakl, ils ont alors adapté les flux en passant par des plus petits modèles comme ceux de Llama ou Mistral (soit 85% de leurs flux) qui, non seulement sont moins coûteux, mais également ont une empreinte carbone moins importante. Là où ces modèles sont moins performants, ils ont choisi d’utiliser GPT 4 ou GPT4o.

L’élément le plus important, ce sont les personnes et donc de passer d’un Product trio à un quatuor en y ajoutant les spécialistes de la Data.

Le mot de la fin pour intégrer de l’IA dans un produit, c’est d’accepter et de faire converser les diversités au sein et entre les équipes pour résoudre les bons problèmes.