LM Studio - un outil pour exécuter facilement des LLM en local

 (lmstudio.ai)
11 points par GN⁺ 2023-11-23 | 1 commentaires | Partager sur WhatsApp
  • Permet de trouver, télécharger et exécuter des LLM en local, hors ligne
    • Modèles comme LLaMa, Falcon, MPT, StarCoder, GPT-Neo-X, etc.
  • Disponible sur Mac / Windows / Linux (bêta)
  • Les modèles peuvent être utilisés via une interface de chat intégrée ou un serveur local compatible OpenAI
  • Prend en charge notamment les modèles Llama, MPT et StarCoder basés sur ggml de HuggingFace
    • (par ex. : Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT, etc.).
  • Configuration minimale et prérequis
    • Apple Silicon Mac (M1/M2/M3) avec macOS 13.6 ou version ultérieure
    • PC Windows / Linux (processeur compatible AVX2)
    • 16 Go+ de RAM recommandés. Sur PC, 6 Go+ de VRAM recommandés
    • Prise en charge des GPU NVIDIA/AMD

Confidentialité et utilisation de LM Studio

  • LM Studio ne collecte ni ne surveille les données des utilisateurs, et toutes les données restent localement sur l'appareil de l'utilisateur
  • Gratuit pour un usage personnel ; pour un usage professionnel, il faut contacter l'équipe

L'avis de GN⁺

  • LM Studio est une solution séduisante pour les utilisateurs soucieux de la confidentialité, et sa capacité à exécuter des LLM hors ligne est son atout principal.
  • Le fait que les données restent uniquement en local, la prise en charge de nombreux modèles et la gratuité pour les particuliers sont des points intéressants.
  • Les exigences matérielles sont relativement élevées, ce qui le destine plutôt aux utilisateurs disposant d'appareils récents, et le fait qu'un usage professionnel soit envisagé est positif.

À lire aussi

1 commentaires

 
GN⁺ 2023-11-23
Commentaires sur Hacker News
  • Partage d’un lien montrant qu’on peut accomplir la même chose avec Ollama et une UI qu’avec le code open source.
  • Avis positif sur LM Studio et ses caractéristiques :
    • runtime de modèles en local
    • catalogue de modèles
    • UI pour discuter facilement avec les modèles
    • API compatible OpenAI
    • plugins inclus, comme le RAG (avec ChromaDB)
    • bien placé pour tirer parti des nouvelles fonctionnalités de l’écosystème OS
    • malheureusement, LM Studio lui-même n’est pas open source
  • Souhaite essayer des modèles non censurés. A trouvé le modèle "TheBloke/Luna-AI-Llama2-Uncensored-GGML" et n’a téléchargé que le premier fichier pour vérifier s’il fonctionne. Se demande s’il faut aussi télécharger les autres fichiers, et si le modèle est réellement non censuré sur certaines questions sensibles.
  • Question de débutant sur les LLM : que se passe-t-il si l’on donne la série "Le Seigneur des anneaux" à un LLM, s’il existe des LLM de base "ignorants", et s’il serait possible d’en faire un expert de la Terre du Milieu.
  • Exigences de qualification amusantes pour un poste d’ingénierie avancée : compréhension approfondie des ordinateurs et des logiciels, capacité à concevoir des algorithmes et à programmer, etc., mais il est difficile de prendre ces exigences totalement au sérieux.
  • Partage d’un lien vers une UI simple créée personnellement pour simplifier une configuration complexe.
  • Curiosité au sujet du public potentiel des logiciels de LLM, et envie de voir des informations ou des suppositions sur la segmentation du marché. Malgré la complexité de la configuration, trouve de la valeur à cette interface, aux conversations et à la gestion des modèles.
  • Suggestions d’amélioration de l’UI de l’application :
    • l’état par défaut du champ de chat doit être amélioré
    • la manière d’activer l’accélération CUDA avant le chargement du modèle n’est pas claire
    • certains modèles HuggingFace ne sont pas listés, sans explication
    • le défilement des sections en accordéon de l’interface ne réagit qu’à la molette de la souris
    • l’onglet serveur est très utile pour le débogage initial
  • Question sur les problèmes possibles lors de l’utilisation de différents modèles de LLM (Mistral, Llama 2, Code Llama, Orca Mini, Vicuna), comme 50 % d’hallucinations, des recommandations de code API inexistant, la reproduction de réponses StackOverflow obsolètes, etc., et demande de retours d’usage réels de ces modèles.
  • Après l’installation et l’exécution de LM Studio, l’utilisation du CPU est montée jusqu’à 30 % et le ventilateur du portable est devenu plus bruyant. Après avoir fermé puis rouvert le processus LM Studio, l’utilisation en arrière-plan est retombée à 5 %.