La Grosse Conf 2025 - Model Platform : Industrialiser et gouverner vos modèles à grande échelle

Baptise COURBE, Machine Learning Engineer et Data Architect à OCTO, nous présente explique pourquoi:

“La Model Platform va être une solution aux problèmes liés à l'explosion du nombre et la variété des modèles.”

Qu’est-ce que la Model Platform ?

La Model Platform est une solution centralisée pour versionner, déployer, héberger et monitorer tous types de modèles. Assurant scalabilité, gouvernance et conformité, elle simplifie leur intégration et leur gestion dans le temps (de la phase d’apprentissage à la phase d’archivage).

D’accord mais pourquoi cette solution ?

1. L’IA est partout et évolue en permanence: La Model Platform offre une solution pour garantir une standardisation du déploiement, une scalabilité et un passage à l’échelle afin d’atteindre des milliers de modèles en production (quel que soit son type).
2. Besoin qualité et pérennité des modèles: Cette infrastructure permet de suivre dans le temps les modèles afin de vérifier la qualité des prédictions mais aussi de détecter le changement de distribution des données en production (data drift).
3. Cadre juridique qui se construit: La plateforme liste les modèles en production, leurs objectifs et leurs criticités. Mais également fournit une model card pour chacun de ces modèles, offrant cette vision macro qui permettra de répondre aux nouvelles exigences juridiques.
4. Besoin d’un p****ilotage éclairé pour les décideurs: Cette solution donne une vue globale sur l’ensemble des modèles existants dans leur organisation afin d’identifier les axes d’amélioration et pérenniser les modèles. Ainsi, elle propose aux décideurs un outil de pilotage complet, les aidant pour leur stratégie, les investissements et la maîtrise des risques.

Au travers de ces 4 constats, on voit bien l’intérêt de la Model Platform. Elle est un moteur d'accélération de déploiement des modèles et permet de piloter en confiance ces modèles (gestion du versionnage, de la documentation, etc.) avec une gouvernance renforcée (historisation des entraînements et déploiements). À cela, on peut y voir plusieurs bénéfices:

• Centralisation: Gestion, suivi et déploiement des modèles se font à un seul endroit
• Automatisation: Réduction des erreurs humaines dans le processus de déploiement et de monitoring
• Scalabilité: Processus et documentation standardisés. Couplé à l’automatisation, elle permet de passer de 1 à 1000 modèles déployés en peu de temps.
• Fiabilité: Suivi des performances, de la disponibilité, de l’utilisation, etc.
• Gouvernance: Garantie de sécurité et conformité des modèles, facilite leur audit notamment au travers d’un audit log (liste des opérations réalisées sur un modèle) couplé au model card et propose un model lineage.

La solution s’adresse essentiellement à 4 types de personas:

De la Data Platform à la Model Platform

Si l’on translate les données aux modèles, on peut constater que l’émergence de la Model Platform est similaire à celle de la Data Platform. En effet, dans un système traditionnel (legacy), les données étaient dispersées et il n'existait pas d'outils centralisés pour les exploiter, ce qui compliquait leur utilisation. Puis est arrivé le concept de data lake, destiné à centraliser, structurer et valoriser ces données. Cependant, cette solution technique souffrait très rapidement d'un manque de gouvernance, créant ainsi un data swamp. Pour remédier à cela, la data governance a émergé comme solution, apportant une standardisation des données et garantissant le respect du RGPD. Enfin, plus récemment, la notion de data product a vu le jour, visant à rendre les données accessibles et exploitables pour divers cas d’usage.

La Data Platform est une solution qui répond à ces défis. Il s’agit d’une véritable stratégie d’entreprise se basant sur plusieurs solutions techniques et visant à rendre les données plus accessibles, faciliter leur exploitation et optimiser les coûts en les centralisant. Cela permet ainsi de standardiser et de réduire les coûts liés au stockage et à la manipulation des données.

Les avantages de la Data Platform sont similaires à ceux de la Model Platform :

• Centralisation
• Standardisation
• Exploitabilité
• Gouvernance

Tout comme la Data Platform, la Model Platform offre des bénéfices en matière de centralisation, de standardisation, d'exploitabilité et de gouvernance car les modèles sont souvent gérés de manière isolée, sans standardisation ni suivi adéquat. Cette situation entraîne des silos entre les équipes projets, une ré-utilisation limitée, des processus divergents et une absence de standardisation dans la gestion et la documentation des modèles. De plus, il est difficile de suivre l'impact des modèles en production. On retrouve bien ici le problème du data swamp mais appliqué aux modèles: absence de bonnes pratiques et difficulté de gestion des versions des modèles et donc potentiellement des modèles stockés qui ne sont pas utilisés. Si l’on reprend donc la frise chronologique ci-dessus, on peut donc dire qu’aujourd’hui nous sommes au même stade que la l’arrivée des data lake il y a quelques années.

Si nous appliquons la même approche aux modèles – en centralisant leur gestion, en standardisant leurs processus de déploiement, de surveillance et de gouvernance – pourquoi ne pas envisager une vision model as product ? Dans ce cas, le modèle serait considéré comme un produit, avec une gouvernance, une qualité et une accessibilité garanties.

“La Model Platform va utiliser plusieurs solutions techniques qui sont déjà disponibles dans votre SI mais il suffit juste de les articuler afin de pouvoir l’utiliser.”

Il existe déjà des solutions techniques pour faire du versionning, monitoring mais il manque ces couches de gouvernance et de pilotage de ces modèles.

De la même manière qu’une Data Platform est devenue incontournable pour exploiter le plein potentiel des données, une Model Platform devient essentielle pour gérer l’explosion du nombre et de la diversité des modèles.

Périmètre et composants de la Model Platform

La Model Platform couvre ces 4 aspects:

1. Registre et historisation: Comment retrouver l’ensemble des données et configurations utilisées pour entraîner une version spécifique ? Si une mise à jour échoue, comment revenir à une version précédente sans impact ?
2. Standardisation & Scalabilité: Comment standardiser les processus pour faciliter le déploiement à grande échelle ?
3. Monitoring & Observabilité: Quels indicateurs suivre pour garantir la pertinence d’un modèle dans le temps ? Comment alerter rapidement les équipes en cas de dysfonctionnement critique ?
4. Gouvernance: Quel modèle est actuellement utilisé ? Par qui ? En cas d’audit, puis-je fournir les informations nécessaires ?

Maintenant, regardons les différents composants de la Model Platform

Model Registry:

• Objectif: Centraliser tous les modèles avec leurs métadonnées (description, version, dépendances), assurer le versioning et permettre une documentation claire et complète.
• Utilisateurs:
  • Développeur de modèle: C’est ici qu’il publie ses modèles et accède à l'historique des versions et à la documentation.
  • S**takeholder: Consulte les informations sur ces modèles sous ces aspects: objectif, criticité, conformité.

Model Deployment:

• Objectif: Automatiser et standardiser la mise en production des modèles, tout en prenant en charge des scénarios simples (déploiement direct) ou avancés (A/B testing).
• Utilisateur:
  • Développeur de modèle: Choisit le modèle ou/et sa version à déployer ainsi que le type de déploiement.

Model Runner:

• Objectif: Proposer une infrastructure pour exécuter les modèles en production, avec une gestion fine des ressources (CPU, GPU), des logs et des métriques techniques (Temps de réponse, volume des appels, logs d’erreurs). Il propose des environnements cloisonnés et sécurisés.
• Utilisateurs:
  • Développeur de modèle: Déploie ses modèles sur des runners et accèdent facilement aux logs pour diagnostiquer les erreurs.
  • Consommateur de modèle: Appelle via des endpoints par des applications consommatrices afin d’obtenir des prédictions.

Model Monitoring:

• Objectif: Fournir une observabilité complète sur les modèles en production pour détecter rapidement les dérives et garantir leur performance.
• Utilisateurs:
  • Développeur de modèles: Suit les métriques métiers (précision, ROI, taux de conversion, etc.) et techniques (latence, taux d’erreurs, utilisation des ressources, etc.) pour évaluer les performances.
  • Stakeholder: Consulte des tableaux de bord synthétiques sur les usages et les performances des modèles. Ces dashboards remontent des alertes en cas de dérive des données (data drift) ou des concepts (concept drift) et proposent des tableaux de bord avec une vue macro (nombre total de modèles, thématiques couvertes, etc.) ou micro (performance d’un modèle spécifique, etc.).

Model Governance:

• Objectif: Garantir la traçabilité, l’auditabilité et la conformité réglementaire (ex: AI Act)
• Utilisateurs:
  • Legal team: Vérifie le respect des réglementations.
  • Stakeholder: Accède à des rapports sur la criticité et les risques des modèles. Pour cela, une application personnalisée est mis à disposition afin de présenter:
    • Documentation standardisée : Génération automatique de "model cards" avec toutes les informations clés.
    • Traçabilité complète : Historique des entraînements, des modifications et des déploiements.
    • Gestion des droits : Contrôle d’accès pour garantir que seuls les utilisateurs autorisés peuvent publier ou modifier des modèles.

“La Model Platform va apporter une couche de gouvernance qui manque tant à nos organisations.”

Voici une mise en oeuvre de la solution Model Platform proposée par OCTO:

Takeaway

La Model Platform est une solution imbriquant plusieurs techniques entre elles, déjà existantes dans votre SI, afin de tirer le plein potentiel des modèles grâce à ces 3 leviers: :

1. Moteur d’accélération: Une stratégie de transformation afin de mieux maîtriser vos modèles et accélérer leur déploiement et leur utilisation.
2. Gouvernance renforcée: Pleine connaissance sur l’ensemble des périmètre des modèles grâce à la documentation, la sécurité ou encore l’auditabilité.
3. Outil d’aide à la décision: Les stakeholders pourront se baser sur des éléments factuels pour piloter aux mieux les investissements sur les différents périmètres de modèles au sein de l’organisation.

Retrouver le replay ici.