Yann LeCun considère que les LLMs dans leur conception actuelle sont condamnés. Va-t-on rapidement atteindre la pente de la désillusion du hype cycle de Gartner ?
De nombreuses questions se posent à nous : comment contourner les limites des modèles existants ? Comment construire une feuille de route permettant à la fois de bénéficier de l’IA générative avec les modèles disponibles et d’être en mesure de s’adapter au rythme de l’évolution des technologies sous-jacentes ? Comment déployer l’IA générative à l’échelle ? Comment s’organiser autour des solutions mises en œuvre pour en assurer l’adoption et l’évolutivité ? Comment s’assurer que les investissements engagés délivrent la valeur escomptée ? Comment l’utiliser en conscience tout en limitant son impact social et environnemental ?
La stratégie data consiste à établir une vision à long terme et un plan d’action sur la manière de structurer et de faire fructifier le patrimoine de données d’une entreprise pour répondre à ses ambitions. La mise en place d’une fondation de données pour collecter, stocker, gérer et industrialiser l’exploitation des données afin de répondre aux attentes des Métiers est un pilier de la stratégie data mais ne peut et doit pas en être la finalité.
En effet, les changements incessants, qu’ils soient concurrentiels, réglementaires, conjoncturels, sociétaux, comportementaux, environnementaux, technologiques avec l’AI, et les contraintes induites obligent les organisations et les Hommes qui la composent à adapter en permanence, et de plus en plus vite, leurs modèles d'affaires.
Chez OCTO nous avons la conviction qu’il est indispensable de combiner dès le départ une vision “Business” pragmatique dans la stratégie data au travers de cas d’usage Métier concrets qui délivrent de la valeur dès que possible et qui viennent au fur et à mesure valider ainsi la stratégie data par la preuve de valeur (exemples : augmentation du CA, réduction des coûts).
La stratégie data consiste alors à articuler les moyens qui permettent d'accélérer la génération de valeur pour l’Entreprise au travers la démultiplication de la livraison des cas d’usage à valeur Métier (via les méthodes de product management, Value Ops, etc.).
La stratégie data devient dès lors une démarche pour déployer des méthodes inclusives afin d’impliquer l’ensemble des collaborateurs (Métiers, DSI) via l’acculturation à la donnée et à la gouvernance de données, afin de prendre conscience des enjeux de la data et de l’IA, et de la nécessité de flexibiliser le SI (via le Cloud et l’IA par exemple) pour pouvoir opérationnaliser les évolutions de la stratégie de l’entreprise.
Au-delà de ces convictions, des questions surviennent : comment générer d’autres types de valeurs que le gain financier ? Comment gagner l’adhésion des collaborateurs à l'échelle de l’entreprise et à quel moment l’intégrer dans notre stratégie data pour passer à l’échelle ? Comment combiner les enjeux de la création de valeur et du passage à l’échelle dès la mise en place de la stratégie data ? OCTO propose de répondre avec vous à ces interrogations, en abordant les aspects culturel, organisationnel et de performance opérationnelle.
L’ambition de devenir data driven enjoint à démultiplier les usages de la donnée pour la création de produits digitaux, à rechercher des gains d’efficacité et à prendre de meilleures décisions de management. Cette recherche de nouvelle valeur métier par la donnée rend d’autant plus cruciale la maîtrise de sa qualité, mettant ainsi sous pression les équipes Data des organisations.
Pour aider la transition vers un nouveau modèle organisationnel et d’architecture autour de la donnée, un changement radical de point de vue propose de positionner la “donnée elle-même comme un produit” (au delà même de la donnée comme asset d’une organisation), produit qui lui-même permettra de construire les nouveaux “produits data” (dashboards, APIs, apps, algorithmes...).
Cette nouvelle perception de la donnée va dans le sens d’une “data democratization” avec de nouveaux rôles et responsabilités pour les métiers et l’IT et de nouveaux outils et plateformes digitaux. Chez OCTO, nous sommes persuadés que les LLM accélérerons cette tendance. Des LLMs interopérant avec ce nouvel écosystème de “data products” permettront de simplifier l’interaction avec les données pour atteindre toutes les strates de l’organisation.
Du prototype de Machine Learning à un service en production qui livre la valeur promise, en servant de nombreux utilisateurs de manière robuste, il y a un long chemin à parcourir. Ce chemin fera appel à la plupart des compétences du monde du logiciel.
Premier challenge, rendre les expérimentations reproductibles : transformer le code produit (souvent dans un notebook) en code robuste, scalable, testé de manière automatisée et documenté. Nous faisons ici appel à des compétences venant du software craftsmanship.
Deuxième challenge : designer une architecture qui prend en compte les spécificités du Machine Learning (avoir un service d’entraînement, un service d’inférence, un registre de modèle). Face à la hype du MLOps et des nouvelles technologies qui sortent toutes les semaines, il faut savoir faire preuve de pragmatisme pour éviter que le run ait un coût disproportionné par rapport aux bénéfices tirés du modèle. Nous faisons ici appel à des compétences d’architecture.
Troisième challenge : avoir une infrastructure capable d’accueillir le cas d’usage (il peut requérir une puissance importante, des GPUs, etc.). Puis mettre en place la chaîne de CI/CD pour déployer de manière automatisée la solution en production. Nous faisons ici appel à des compétences d’Ops. Une fois en production, des questions de monitoring, d’annotations, de ré-entraînement se posent, il convient de définir des niveaux de service attendu et de mettre en place les outils nécessaires pour y répondre. Nous faisons alors appel à des compétences SRE et Data Science.
Finalement, pour que tout cela ne ressemble pas à un énorme tunnel de plusieurs mois, il faut faire appel à de l’agilité et du pragmatisme pour mettre en place au fur et à mesure l’ensemble de ces briques.
Pour approfondir ces pratiques, restez connecté dans les prochaines semaines sortira notre livre Culture MLOps : plus de 200 pages de convictions et de pratiques sur le MLOps !
85 tonnes : c’est l’estimation de la consommation CO2 pour entraîner GP3, l’ancêtre de ChatGPT de taille bien inférieure. Aujourd’hui, force est de constater que la compétition que se livrent les principaux acteurs IA se fait au détriment de leur consommation énergétique qui est occultée. OpenAI a d’ailleurs décidé de ne plus communiquer sur la taille de ses modèles. Bien évidemment, ils ne sont pas les seuls pollueurs : l’utilisation de l’IA explose dans toutes les entreprises de tous les secteurs confondus.
Si les résultats atteints par l’IA sont souvent remarquables, justifient-ils les moyens mis en œuvre ? Aujourd'hui, on ne sait pas répondre à cette question, car aucune mesure de l'empreinte carbone d’IA n’est faite. Seule la performance compte ! Tel le Pharmakon d’Homère, une IA est à la fois une potion (avec des algorithmes capables d’optimiser l’utilisation de nos ressources), mais également un poison en étant une source de pollution plus importante qu’une application standard. La réponse à cette question n’est donc pas uniquement du ressort des équipes qui construisent ces IA. Elle concerne également les équipes métier pour définir la juste performance d’une IA dans son domaine d’application. Et la réponse n’est évidemment pas la même s’il s’agit d’optimiser une campagne marketing ou de poser un diagnostic un médical…
Nous avons la conviction qu’il est urgent de changer de paradigme pour créer des IA frugales en adoptant une démarche éco-modélisation des IA capables de diviser jusqu'à 2 leur émission de CO2 sans dégrader significativement leur performance. Comment gérer et faire adopter ces changements ? Comment s’organiser autour des solutions à mettre en œuvre pour le décliner de manière opérationnelle ? Ce sont autant de questions auxquelles OCTO apporte une réponse en 3 volets : culturel, organisationnel et opérationnel.
→ Pour tout savoir sur les enjeux Data & IA, rendez-vous sur notre page dédiée.
→ La Grosse Conf, c’est la conférence Data & IA by OCTO qui pose un cadre à la mesure des enjeux. Programme, infos et billetterie sur lagrosseconf.com.