Emmanuel Lin TOULEMONDE posts

Data Science

[MLOps] Monitoring & proactive notification d’une application de Machine Learning

En tant que développeur d’application embarquant une brique de Machine Learning notre  principal objectif est d’avoir une application utilisée qui fonctionne sans bogue.  Une fois en production et utilisée, il faut anticiper ou identifier les bogues dans notre application et les résoudre au plus vite, afin de maintenir le service rendu et en tirer réellement profit. Nous détaillerons plus précisément la notion de bogue en ML, mais pour commencer nous pouvons dire qu'un bogue en ML est soit une absence de prédiction, soit une erreur…

Read more
Data Science

Machine Learning delivery : intégrer au plus tôt la sécurité

Cet article fait partie de la série “Accélérer le Delivery de projets de Machine Learning”, traitant de l’application d’Accelerate dans un contexte incluant du Machine Learning. Si vous n’êtes pas familier avec Accelerate, ou si vous souhaitez avoir plus de détails sur le contexte de cet article, nous vous invitons à commencer par lire l’article introduisant cette série. Vous y trouverez également le lien vers le reste des articles pour aller plus loin. Considérer la sécurité en Machine Learning Élément clef en logiciel, la sécurité…

Read more
Data

Matrice Cynefin x Machine Learning : Quand mettre en production ?

Mettre rapide un modèle de Machine Learning en production pour minimiser le risque des systèmes complexes Certains affirment qu’il faut attendre d’avoir finalisé son modèle de Machine Learning (ML) avant d’aller en production, d'autres qu’il faut aller au plus tôt en production pour avoir du feedback. Formé à l'école Agile, DevOps, Lean, Accelerate, je fais clairement plus partie de la deuxième catégorie ; cependant je dois reconnaître que certains problèmes méritent d’être résolus complètement avant d’aller en production. Ayant découvert récemment la matrice Cynefin, dans…

Read more
Data

Et si les métriques de monitoring de ML devenaient fonctionnalités ?

Les équipes développant des applications de Data Science investissent beaucoup d’énergie pour identifier et implémenter des métriques de monitoring pertinentes. Nous pensons qu’il est possible de capitaliser sur ce travail en proposant des fonctionnalités supplémentaires à nos utilisateurs afin de renforcer l’impact de nos applications. Le monitoring s’appuie notamment sur le calcul de métriques à des fins de supervisions; c'est-à-dire mesurer l’état de service et détecter des problèmes. Les métriques calculées peuvent être plus ou moins haut niveau, plus ou moins éloignées du matériel: Bas…

Read more
Accelerate

Rendre visible la chaîne de valeur dans un projet de Machine Learning Delivery

“Make the flow of work visible through the value stream. Teams should have a good understanding of and visibility into the flow of work from the business all the way through to customers, including the status of products and features. Our research has found this has a positive impact on IT performance." Extrait de: Forsgren PhD. « Accelerate. » Cet article fait partie de la série “Accélérer le Delivery de projets de Machine Learning”, traitant de l’application d’Accelerate [1] dans un contexte incluant du Machine…

Read more
Accelerate

La gestion des données de tests en Delivery de Machine Learning

« […] successful teams had adequate test data to run their fully automated test suites and could acquire test data for running automated tests on demand. In addition, test data was not a limit on the automated tests they could run. » Extrait de: Forsgren PhD. « Accelerate. » Cet article fait partie de la série “Accélérer le Delivery de projets de Machine Learning” traitant de l’application du modèle Accelerate dans un contexte incluant du Machine Learning. Introduction Est-ce que vous avez déjà : Eu…

Read more
Accelerate

La gestion visuelle dans un projet de Machine Learning Delivery

Introduction En développement logiciel et en Machine Learning, le travail en cours n’est pas aussi visible que dans une usine où l'on voit les pièces s'assembler et progresser d'une étape à l'autre. Ne pas voir le travail en cours peut nous empêcher de voir certains des points bloquants, de se projeter sur la quantité de travail bientôt terminé, d’améliorer le process, … Pour remédier à cela, il est donc important d’outiller l’équipe pour rendre le travail visible tant au niveau des membres de l'équipe elle-même…

Read more
Data Science

Nos 10 convictions pour mieux réussir nos projets de Data Science en 2021

Pour cette nouvelle année 2021, nous souhaitons vous proposer 10 convictions qui vous permettront de mieux réussir vos projets de Data Science. Ces convictions sont inspirées de notre quotidien, de nos lectures et des évolutions du marché de la Data Science que nous observons chez OCTO. Livrer continuellement un petit incrément de valeur en production La Data Science, c’est aussi (et surtout) une matière informatique Appliquer les principes d’Accelerate aux projets Data Science Maîtriser la complexité des systèmes de Data Science Constituer des équipes autonomes…

Read more
Data Science

Data science : La shadow production pour vérifier le bon fonctionnement d’un modèle avant son déploiement

Avant de déployer un nouveau modèle en production il est difficile de savoir précisément comment il va se comporter. La shadow production est une technique qui permet de se rassurer sur les performances du modèle avant de le déployer.   Dans notre précédent article sur les alternatives aux monitoring de distributions, nous évoquions brièvement le concept de shadow production. La shadow production (également appelée shadow deployment, dark mode ou shadow mode) est une technique qui consiste à faire prédire un modèle sur les données de…

Read more