Gireg Roussel
Llama.cpp, SGLang, vLLM : quel framework d'inférence LLM choisir pour votre assistant de code ?
Data & AI
Étude d’une architecture auto-hébergée (LiteLLM + vLLM/SGLang/llama.cpp) sur GPUs H100/L40S avec le modèle Devstral-Small-2-24B. Tests jusqu’à 200 utilisateurs via llm-grill, notre outil d'évaluation open source.
Posté le 23/02/2026 par Karim Sayadi, Gireg Roussel
Retour d’expérience sur l’auto-hébergement de modèles VLM/LLM : infrastructure, performances, limites et recommandations concrètes.
Posté le 18/04/2025 par Teilo Millet, Gireg Roussel, Ismael Debbagh
Découvrez le Model Context Protocol (MCP), un protocole innovant pour relier vos LLMs à vos données et outils internes de manière sécurisée et efficace.
1