School of Product 2024 - Compte rendu de Concevoir des outils suffisants par Alexis Favreau

Cette année, à la School of Product 2024, Alexis Favreau, Lead User Research chez OCTO technology, est venu nous présenter ses réflexions sur la conception d’outils suffisants. Des outils qui répondent correctement à leurs besoins, sans superflu technique, sans avoir besoin d’en faire plus. Et pour illustrer ses propos, il a pris l'exemple d’un outil qu’il a conçu. Verbatim Analyzer un outil d’Intelligence Artificielle conçu pour l’analyse de verbatims.

Contexte : analyser un grand nombre de verbatims

Le début de l'histoire commence par un constat simple. Analyser un grand nombre de verbatims est une tâche longue et répétitive. Et sur le marché, les outils existants sont rarement satisfaisants soit pour des raisons de licence, de gestion des données ou de standards de sécurité. L’idée naît à ce moment-là. Pourquoi ne pas collaborer avec les data scientists d’Octo pour construire un POC embarquant de l’IA et plus précisément du NLP.

Mais avant de continuer l’histoire Alexis fait un petit arrêt pour expliquer ce qu’est le NLP. Pour Natural Language Processing, le NLP est une discipline au croisement de la linguistique et de l’intelligence artificielle, elle s’intéresse à la compréhension, la manipulation, la synthèse et la génération du langage naturel humain. Grâce au NLP, une machine peut catégoriser, extraire des thèmes ou faire des regroupements sémantiques. Ces modèles peuvent être affinés par l’intervention humaine pour améliorer leurs résultats. Et l'interprétation et la synthèse de texte sont justement deux compétences nécessaires à l’analyse de verbatim.

C’est donc avec cette idée et un Jupiter Notebook (outil permettant de coder et de tester rapidement des scripts en Python, particulièrement adapté pour le prototypage) qu’est né Verbatim Analyzer. Et son fonctionnement est relativement simple.

• L’outil commence par éliminer les mots inutiles (comme les déterminants, les émojis ou les formules de politesse) pour se concentrer sur les termes significatifs.
• Ensuite, il utilise des algorithmes de traitement du langage naturel (NLP) pour transformer les mots en vecteurs mathématiques et regrouper les termes proches.
• Enfin, les résultats sont affichés sous forme de groupes de mots fréquents, facilitant ainsi l’analyse et la création d’hypothèses.

Pour ceux qui aimeraient en savoir un peu plus sur l’outil, pendant sa présentation Alexis nous a fait une petite démo ou peut le voir en action analyser plus de 9 000 verbatims.

Vous pouvez retrouver la vidéo de sa présentation ici.

L’idée : concevoir des produits suffisants.

Mais Alexis nous invite surtout à nous poser la question suivante : “cet outil, est-il suffisant pour ce que j’ai à faire ? ” Et par là, il faut se demander si mon outil fait suffisamment pour répondre à mes besoins, mais aussi s'il ne fait pas plus qu’il ne devrait pour répondre à mes besoins. N’y a-t-il pas de couche technique superflue ?

Et pour nous aider à répondre à cette question Alexis nous propose de s'intéresser à la performance Vs le coût de vos outils. Il y a de nombreux paramètres que l'on peut m'être d’un côté comme de l'autre de la balance. Dans le cas de Verbatim Analyzer, Alexis propose pour la performance de s'intéresser à des métriques de temps et qualité. Et pour le coût, à des métriques économiques, écologiques et humaines.

Sur la performance, on peut facilement vérifier le temps gagné à analyser des verbatims avec Verbatims Analyzer. On compare plusieurs fois le temps à analyser des groupes de données de verbatim avec l'outil et sans l'outil. Et on trouve qu’il faut environ 8 fois moins de temps avec l’outil. Pour la qualité, on suit le même procédé, mais cette fois, on compare la similitude dans les résultats d’analyse entre ceux qui utilisent Verbatim Analyzer et des user researchers qui effectuent l’analyse à la main. Et on trouve une similitude proche dès 95%. Et plus le nombre de verbatims à analyser est grand et plus la similitude des résultats est proche, jusqu’à atteindre 100%. On peut donc logiquement conclure que Verbatim Analyzer est un outil suffisamment performant.

Maintenant, il faut aussi s'intéresser à son coût. De ce côté-là, on peut aussi trouver un certain nombre de réponses. Sur le coût environnemental, on peut raisonnablement dire qu’il est faible. Sur la taille et son entraînement, Verbatim Analyzer pèse 43 Mo. À titre de comparaison, on estime que Chat GPT4o pèse environ 700 000 Mo. Sur le coût financier, il est relativement faible puisque l'outil tourne en local et il n’y a pas de coût de licence. Sur le coût humain, même chose, tout tourne en local donc pas de problème au niveau de la sécurité des données et leur lieu de stockage. En revanche, il est vrai que l'outil pêche un peu en termes d'expérience utilisateur et que sa prise en main et son installation nécessite du temps et des connaissances.

En mettant en balance ces différents paramètres, on peut dire que Verbatim Analyzer est un outil parfaitement adapté au besoin. Il n’embarque pas de couche superflue et son gain à l’utiliser est conséquent.

Conclusion : Concevoir des outils réellement utiles

En résumé, Alexis souligne la nécessité de se poser la question de l’utilité de nos produits. Avec l'intérêt grandissant des outils s'appuyant sur la Data et l'IA, il est important de se poser les questions de performance vs le coût.

“Il est important de prendre le train (de l’IA) en marche, mais pas à n’importe quel prix.”

Il faut se demander si mon outil est utile ? Si c’est utile avec une IA ? Si c’est suffisant pour le besoin? Et Alexis nous rappelle que la simplicité est souvent la clé d’une adoption réussie et durable. Même les outils les plus modestes, lorsqu’ils sont bien conçus, peuvent être plus pertinents que des solutions surdimensionnées.

“Un outil suffisant n’est pas forcément complexe ou sophistiqué, mais il est exactement adapté à son usage.”

Pour conclure sa présentation, Alexis nous raconte une anecdote d'enfance avec son père. Il compare le choix des outils d’IA que l’on utilise à un mécanicien devant choisir la bonne pince pour une tâche spécifique. Pour chaque action qu’un mécanisme peut avoir à effectuer sur une voiture, il existe un outil spécifique dédié à cette tâche. Et ce n’est pas forcément le plus polyvalent ou le plus connu des outils.

“La bonne pince, c'est pas forcément la première que l'on voit, la plus familière, la plus connue ou la plus jolie, c'est pareil avec nos outils d'IA”

Je vous invite fortement à visionner la rediffusion de la conférence pour avoir encore plus de détails. Vous pouvez retrouver le lien prochainement sur notre page youtube School of product.

Et pour ceux qui aimeraient approfondir le sujet, voici le contact d’Alexis.