Ollama prend désormais en charge les cartes graphiques AMD

• Ollama a commencé à prendre en charge les cartes graphiques AMD sur Windows et Linux dans une version preview
• Toutes les fonctionnalités d’Ollama peuvent désormais être accélérées par des cartes graphiques AMD sur Linux et Windows

Cartes graphiques prises en charge

• Série AMD Radeon RX : 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
• Série AMD Radeon PRO : W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
• Série AMD Instinct : MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
• La prise en charge de davantage de cartes graphiques AMD sera bientôt disponible.

[GN⁺]

Commentaires Hacker News

• Manque de reconnaissance pour les contributions de llama.cpp

  • Il est frappant de voir que llama.cpp ne reçoit ni reconnaissance directe ni remerciements pour les outils qui s’appuient sur la technologie qu’il fournit.
  • D’autres logiciels d’« exécution locale » reçoivent un niveau de crédit approprié ; Ollama semble peut-être irréprochable du point de vue de la licence MIT, mais il n’y a aucune marque de remerciement ni dans le dépôt, ni sur le blog, ni sur le site web d’Ollama.

• Avis sur le billet de blog concernant le support AMD dans Ollama

  • Le billet de blog paraît amusant. J’exécutais déjà Ollama sur une AMD RX 6650 depuis plusieurs semaines.
  • Un conteneur ROCm était déjà proposé depuis 21 jours, et cela semble avoir été publié avec la dernière version, 0.1.29. Je me demande ce qui a réellement changé dans cette release concernant le support AMD.
  • Il existe une issue décrivant le processus pour exécuter Ollama sur des cartes AMD non officiellement prises en charge. Il suffit simplement de définir des variables d’environnement.
  • J’ai remarqué un changement : le modèle starcoder2 fonctionne désormais. Auparavant, il plantait.

• Doutes sur l’attention excessive portée à Ollama

  • Je ne vois pas très bien pourquoi Ollama suscite autant d’attention. Sa valeur est limitée, puisqu’il ne prend en charge qu’un seul modèle à la fois et ne sert qu’à l’expérimentation.
  • Il simplifie énormément l’expérimentation, mais étant donné qu’il repose entièrement sur llama.cpp et que sa principale proposition de valeur est la gestion facile des modèles, j’ai l’impression que sa valeur est surestimée par rapport à l’attention et aux éloges qu’il reçoit.
  • Après les premières expérimentations, il faut au final déployer les modèles en production. Le propos n’est pas de réclamer du crédit pour llama.cpp, mais de souligner que ce produit reçoit bien plus d’attention que ne le justifie la valeur qu’il apporte.

• Remerciements pour le support des RX 6800/6800 XT / 6900 XT

  • Je suis heureux de pouvoir utiliser pour des tâches de ML une carte que j’ai achetée à un prix excessif à cause des pénuries après le Covid.
  • Merci au projet Ollama et à llama.cpp.

• Message d’avertissement lié à AMD lors de l’exécution d’Ollama

  • fooocus s’exécute, mais un message d’avertissement lié au pilote AMD sous Linux apparaît au lancement d’Ollama.
  • En l’absence des bibliothèques ROCm, c’est le CPU qui est utilisé.
  • Je dois vérifier comment réinstaller ROCm sur Arch Linux.

• Réaction positive à la perte de compétitivité de CUDA

  • Plus il y aura de projets de ce type, moins CUDA sera important, et plus l’avantage concurrentiel de Nvidia diminuera.

• Les logiciels de LLM en local poussent à acheter du nouveau matériel

  • Des cartes plus anciennes comme les RX 570/580 ne sont pas prises en charge, et même si le matériel plus récent est plus puissant, je pensais qu’il ne serait pas nécessaire d’avoir une carte récente puisque CUDA date de 2007 et ROCm de 2016.

• La simplicité d’utilisation d’Ollama

  • Je n’avais encore jamais essayé d’exécuter un modèle en local, mais sur Ubuntu 22 avec une carte 7600, cela a fonctionné immédiatement, et c’est excellent.

• Curiosité autour de l’utilisation d’OpenCL

  • OpenCL est rarement utilisé par rapport à Cuda, donc je me demande comment ils ont réussi à l’implémenter avec succès.
  • J’ai payé une somme importante pour une carte 4090, mais j’aurais aimé avoir le choix.

• Prix des cartes NVidia et efforts pour améliorer le support AMD

  • Cela laisse penser que beaucoup d’efforts sont déployés pour améliorer le support AMD, alors que les cartes NVidia haut de gamme sont très chères et difficiles à obtenir.