Karim Sayadi
Vers un auto-hébergement des modèles VLM/LLM : étude empirique sur une infrastructure entrée de gamme, défis et recommandations
Data & AI
Ce papier évalue l'inférence d'un LLM (14B) et d'un VLM (7B) sur une NVIDIA T4. Avec 91% de succès sur 7310 requêtes, l'architecture prouve sa résilience malgré un matériel d'entrée de gamme. Une exploration entre coût, SLO et expérience utilisateur pour optimiser le déploiement de modèles auto-hébergés.
Compte-rendu du Comptoir OCTO x La Duck Conf - Utiliser une solution d'edge Open Source pour améliorer l'inspection visuelle dans vos usines
Software Engineering
Ce comptoir a eu lieu le 09 mars 2023 et a été animé par:Karim Sayadi, Head of Augmented Industry @OCTO TechnologyYannick Drant, Senior Consultant - Big Data Analytics @OCTO TechnologyKarim et Yannick sont des Machine Learning ingénieurs qui ont travaillé essentiellement sur les problématiques de la donnée dans le milieu industriel. Le sujet de ce...
1