Oubliez ChatGPT : pourquoi les chercheurs font désormais tourner de petites IA sur leur ordinateur portable

• Les modèles d’intelligence artificielle (IA) sont généralement utilisés en ligne, mais plusieurs outils open source sont en train de changer cela
• Le bio-informaticien Chris Thorpe utilise un grand modèle de langage (LLM), un outil d’IA, pour transformer histo.fyi — une base de données sur les molécules du complexe majeur d’histocompatibilité (MHC), des protéines du système immunitaire — en résumés faciles à lire
• Thorpe fait tourner l’IA sur son ordinateur portable plutôt que d’utiliser un LLM web comme ChatGPT

Tendances récentes des LLM

• Des organisations publient des versions à « poids ouverts » de LLM, que les utilisateurs peuvent télécharger et exécuter en local s’ils disposent d’une puissance de calcul suffisante
• Les entreprises technologiques produisent aussi des versions réduites capables de tourner sur du matériel grand public, avec des performances comparables à celles des grands modèles d’autrefois

Pourquoi les chercheurs utilisent des modèles locaux

• Réduction des coûts
• Protection des données confidentielles des patients ou des entreprises
• Garantie de reproductibilité
• À mesure que les ordinateurs deviennent plus rapides et les modèles plus efficaces, de plus en plus de personnes feront tourner l’IA sur des ordinateurs portables ou des appareils mobiles

Exemples récents de petits modèles à poids ouverts

• Google DeepMind, Meta, l’Allen Institute for Artificial Intelligence et d’autres ont publié des modèles comportant plusieurs milliards de paramètres
• Microsoft a publié de petits modèles de langage comme Phi-1, Phi-1.5, Phi-2, Phi-3 et Phi-3.5, dont certains peuvent aussi traiter des images
• Sébastien Bubeck, vice-président de l’IA générative chez Microsoft, explique les performances de Phi-3 par son jeu de données d’entraînement

Développement d’applications sur mesure

• Les chercheurs peuvent développer des applications personnalisées à partir de ces outils
• Alibaba, en Chine, a construit un modèle appelé Qwen, qu’un chercheur en sciences biomédicales du New Hampshire a affiné sur des données scientifiques pour créer Turbcat-72b

Protection de la vie privée

• Un autre avantage des modèles locaux est la protection de la vie privée
• Envoyer des informations personnellement identifiables à des services commerciaux peut contrevenir aux réglementations sur la protection des données
• Cyril Zakka, médecin à la tête de l’équipe médicale de Hugging Face, utilise des modèles locaux pour générer des données d’entraînement destinées à d’autres modèles
• Johnson Thomas, endocrinologue du système de santé Mercy à Springfield, développe pour la confidentialité des patients un système fondé sur Whisper d’OpenAI et Gemma 2 de Google DeepMind pour transcrire et résumer les conversations entre médecins et patients
• CELLama, développé par l’entreprise pharmaceutique Portrai à Séoul, utilise des LLM locaux pour condenser en phrases de synthèse des informations sur l’expression génétique des cellules et d’autres caractéristiques, en mettant en avant la confidentialité comme avantage majeur

Utilisation des modèles

• Les chercheurs sont confrontés à une offre de LLM en évolution rapide
• Thorpe utilise actuellement Llama sur son ordinateur portable et souligne que les modèles locaux ont l’avantage de ne pas changer, ce qui favorise la reproductibilité
• Thorpe écrit du code pour aligner des molécules MHC à partir de structures 3D et utilise ProtGPT2, un modèle à poids ouverts, pour concevoir de nouvelles protéines
• Mais les applications locales ne suffisent pas toujours : Thorpe utilise GitHub Copilot, un service cloud, pour le codage

Comment s’y mettre

• Il est possible d’exécuter des LLM en local avec des logiciels comme Ollama, GPT4All et Llamafile
• Selon les préférences de l’utilisateur, on peut choisir une application ou la ligne de commande
• Stephen Hood, de Mozilla, estime que les LLM locaux seront bientôt assez bons pour la plupart des applications

Avis de GN+

• Les LLM locaux peuvent être des outils très utiles pour les chercheurs, notamment grâce à la réduction des coûts, à la protection de la vie privée et à la reproductibilité
• Mais dans certains cas, les services cloud peuvent offrir de meilleures performances ; les chercheurs doivent donc choisir l’outil adapté aux besoins de leur application
• Comme les LLM locaux progressent rapidement, les chercheurs doivent continuer à explorer et expérimenter de nouveaux modèles et outils
• Selon le domaine de recherche, il peut aussi être pertinent d’envisager le développement de modèles sur mesure. Par exemple, en biomédecine, affiner un modèle sur des données médicales peut permettre d’obtenir de meilleures performances
• Les LLM locaux en sont encore à un stade précoce ; les chercheurs doivent donc rester conscients des problèmes et limites possibles lors de leur utilisation, notamment les biais des modèles, la qualité des données et les considérations éthiques

[savvykang]

Pour l’instant, c’est encore chaud, lent et imprécis. Pour du Nature, la qualité de l’article est assez faible.

[yangeok]

N’est-ce pas lent et moins précis lorsqu’on l’exécute en edge ? ,,

[kandk]

En pratique, sauf dans les domaines où la latence et la confidentialité posent réellement problème, il n’y a aucune raison d’utiliser l’edge computing (local)..
Presque toutes les données du monde sont déjà traitées par AWS et Google, alors venir parler de confidentialité maintenant, c’est juste un argument commercial de sociétés qui n’ont pas la technologie pour créer des LLM..

[lcanon]

Bien que le mot small apparaisse dans le titre de l’article de Nature, l’essentiel du contenu porte plutôt sur le local.

[dohyun682]

À chaque fois, on nous dit d’oublier ChatGPT...

[kandk]

MDR

[GN⁺]

Avis Hacker News

• Recommandation d’utiliser des modèles locaux

  • Recommande de télécharger Llamafile à ceux qui pensent que les modèles locaux sont complexes ou que leur ordinateur manque de puissance
  • Whisperfiles est également proposé, permettant une transcription vocale en temps réel
  • Twinny permet l’autocomplétion de code et le chat en local uniquement
  • Gratuit, privé et utilisable hors ligne

• Expérience d’utilisation d’un LLM local

  • Enregistre des mémos vocaux pendant la promenade du matin, les convertit en texte en local avec Whisper, puis les fait organiser par un LLM
  • Préfère l’usage local pour protéger la vie privée

• AMD Strix Halo APU

  • Sortie prévue d’appareils équipés de l’APU AMD Strix Halo avec 128 Go de mémoire unifiée et un NPU de 50 TOPS
  • Attendu comme une alternative aux modèles MacBook Pro

• Problème de licence de Llama 3.1

  • Llama 3.1 n’est pas open source
  • Nécessité de clarifier la différence entre un modèle sous licence et l’open source

• Utilisation de Docker et Ollama

  • Avec Ollama dans Docker, expérience de performances similaire à ChatGPT
  • Intégration avec les notes Obsidian pour créer des notes et utiliser la recherche floue
  • Utilisé comme outil d’assistance pour les questions de santé mentale et médicales

• Performances des LLM locaux

  • Avec Llama 8bn sur un M1 Max, vitesse de 25 tokens/s
  • Sur un Ryzen 5600h, c’est plus lent à 10 tokens/s
  • Utilise ChatGPT ou phind.com pour la résolution de problèmes
  • Impossible d’utiliser des fournisseurs en ligne pour des informations sensibles

• Expérimentation avec des LLM locaux

  • Essai d’exécution de Llama-3.1-8b-instruct sur une Nvidia RTX 4060
  • Possibilité de charger entièrement un contexte de 20k tokens sur le GPU
  • Les capacités multimodales de Gemini offrent une meilleure qualité, ce qui réduit l’intérêt d’utiliser un LLM local

• Produits basés sur les LLM des grandes entreprises

  • Nécessité d’utiliser des modèles locaux dans le domaine de la conception de circuits
  • Préférence pour les modèles locaux afin d’éviter une dépendance à un fournisseur spécifique comme OpenAI
  • Préfère aussi personnellement utiliser des modèles locaux

• Données d’entraînement des LLM

  • Microsoft entraîne des LLM avec du contenu généré par des LLM
  • Mise en œuvre sur téléphone mobile de performances comparables aux premières versions de ChatGPT

• Recommandation de configuration pour exécuter de petits modèles

  • Demande de recommandations de configuration pour exécuter de petits modèles comme Llama3.1 ou Mistral-Nemo
  • Demande s’il est raisonnable d’attendre la sortie de nouveaux matériels Mac, AMD et Nvidia