vLLM Compose - basculer/servir facilement plusieurs modèles vLLM avec des profils Docker Compose

Un outil de gestion TUI dédié à vLLM qui résout les contraintes du service local de plusieurs LLM (retaper les commandes docker pour chaque modèle, se souvenir des réglages GPU, surveiller l’état).

• Enregistre la configuration de chaque modèle dans des profils YAML, démarrage/arrêt depuis la TUI avec une simple touche Entrée
• Quick Setup : il suffit de saisir le nom du modèle pour générer automatiquement le profil et la configuration
• Inclut un tableau de bord de monitoring GPU en temps réel et une fonction d’estimation préalable de l’usage mémoire (hf-mem)
• Autocomplétion des arguments vLLM : extrait automatiquement depuis l’image vLLM réelle la liste des arguments disponibles pour une autocomplétion avec la touche Tab
• Licence MIT, nécessite un environnement Python 3.10+ / Docker / GPU NVIDIA

https://bae-changhyun.github.io/vllm-compose/