Apple approuve un pilote permettant d’utiliser des eGPU Nvidia sur les Mac Arm

 (theverge.com)
4 points par GN⁺ 26 일 전 | 1 commentaires | Partager sur WhatsApp
  • Ce pilote a été développé par Tiny Corp, et non Nvidia, et peut être utilisé grâce à la signature approuvée par Apple sans désactiver la System Integrity Protection (SIP)
  • Le pilote doit être compilé manuellement via Docker et ne fonctionne donc pas selon un mode plug-and-play classique
  • Selon la documentation de Tiny Corp, ce pilote est conçu pour l’exécution de grands modèles de langage (LLM)
  • Tiny Corp affirme qu’« Apple a approuvé à la fois les pilotes pour AMD et pour Nvidia »
  • Cela ouvre la possibilité pour les utilisateurs de Mac Arm d’exploiter des GPU externes (eGPU)
  • Le fait qu’Apple autorise la signature de pilotes GPU d’un développeur externe est considéré comme un cas extrêmement rare
  • Par le passé, il était impossible d’installer des pilotes non officiels sans désactiver la SIP
  • Cette approbation renforce encore l’extensibilité du matériel Mac ainsi que son intérêt pour les charges de travail en IA et en machine learning

À lire aussi

1 commentaires

 
GN⁺ 26 일 전
Commentaires sur Hacker News

  • Techniquement, c’est un bon projet, mais en pratique c’est presque inutile dans 90 % des cas
    Si on veut faire tourner des LLM sur un GPU NVidia, mieux vaut acheter un PC d’occasion, et si on veut un Mac avec beaucoup de VRAM, autant acheter directement un Mac
    L’approche proposée est limitée par le port Thunderbolt, et l’accès aux outils et bibliothèques de NVidia est aussi réduit
    En contrepartie, on se retrouve avec un système imparfait qui risque d’être cassé par une mise à jour de macOS

    • Une autre méthode consiste à monter via le réseau un GPU NVidia situé sur une autre machine du même LAN
      Cela évite la limite de bande passante de Thunderbolt et permet d’utiliser directement les appels CUDA
      En revanche, il faut rester sur le même LAN et il y a environ 4 % de surcoût
      C’est peu pratique en déplacement, et les problèmes de pilotes macOS restent entiers
      Je travaille chez GPU Go, donc je peux être biaisé en faveur de cette approche
    • Le manque d’outillage côté NVidia vient en grande partie du fait qu’il était impossible jusqu’ici d’utiliser ce matériel sur macOS
      Maintenant que c’est possible, la situation pourrait changer à l’avenir
    • J’avais confondu eGPU avec un GPU virtuel, alors qu’il s’agit en fait d’un GPU externe

  • Je ne comprends pas pourquoi le lien pointe vers un proxy plutôt que vers l’original
    L’original est le compte tinygrad sur X

    • C’est probablement à cause du mur de connexion. X impose maintenant beaucoup de restrictions du type « il faut s’inscrire pour voir les réponses », et la qualité du site s’est dégradée
    • J’ai l’impression que de nos jours, X est souvent la source d’origine

  • Si j’ai bien compris, cela ne fonctionne que pour Tinygrad
    Impossible d’utiliser CUDA ou Vulkan depuis PyTorch
    La documentation correspondante est dans la documentation TinyGPU

  • Apple refuse de signer les pilotes eGPU NVidia depuis 2018, et je ne comprends pas comment l’entreprise a pu échapper à la surveillance réglementaire

    • Je me demande s’il existe des preuves que NVidia a réellement essayé
      Depuis macOS 10.13, les pilotes graphiques tiers n’étaient plus autorisés, mais il était peut-être encore possible d’avoir des pilotes non graphiques
    • Les pouvoirs publics ne s’en soucient peut-être pas
      Il n’y avait presque aucun Mac sur lequel on pouvait brancher un GPU NVidia, et maintenant il n’y a même plus de slot
    • Apple n’est en position dominante sur aucun marché
    • C’est une situation similaire à celle où Google avait bloqué le client YouTube pour Windows Phone
    • Il ne suffit pas de désactiver SIP ?

  • En lisant le guide et les scripts, on dirait que le GPU est passé à une VM Linux puis renvoyé au Mac
    On dirait aussi que l’équipe TinyGrad a obtenu une validation pour cette méthode
    J’ai peut-être mal compris le rôle de Docker

  • Apple comme NVidia passent à côté de bons résultats à cause de leur attitude fermée
    Ce serait bien mieux si l’on pouvait faire tourner du NVidia sur le matériel Mac via Linux
    Après avoir acheté les produits, nous restons des consommateurs privés de contrôle

    • C’est pour ça que je n’achète tout simplement pas de produits Apple
      Tout fonctionne très bien en dehors de cet écosystème aussi

  • De plus en plus de personnes utilisent des portables ARM avec le GPU à distance
    Donc l’UX qui permet au GPU de suivre le workflow local devient importante
    Chez GPUGo / TensorFusion, nous étudions des moyens de combiner un flux de développement local-first avec l’accès à un GPU distant
    Je me demande si les gens veulent quelque chose qui ressemble vraiment à un eGPU, ou s’ils veulent surtout du calcul distant avec un minimum de friction

    • Mais si le GPU doit afficher des images, même 100 ms de latence réseau peuvent être problématiques

  • Je suis en voyage mais j’ai une RTX 5090 chez moi, et j’aimerais tester ça avec
    Je me base sur la documentation TinyGPU et j’espère que cela fonctionnera sur un Mac Mini M4
    Il me faudra sans doute une alimentation ATX pour fournir le courant, mais tinygrad peut-il servir à l’inférence LLM ?

    • On peut acheter sur AliExpress un boîtier GPU à environ 100 dollars
      Il utilise une alimentation standard, mais le Mac Mini n’a pas d’occulink, donc on reste limité par la bande passante USB-C
      Si les pilotes Intel Arc deviennent stables, une combinaison GPU bon marché pourrait être amusante
      La Intel Arc Pro B70 (32GB VRAM) coûte 1 000 dollars et le Mac Mini environ 500 dollars
    • Je me demande dans quelle mesure la VRAM rapide du GPU peut compenser la VRAM lente du Mac
      Si l’interconnexion n’est pas assez rapide, le changement de couches peut devenir le goulot d’étranglement
    • J’ai moi aussi laissé une 5090 encore non déballée dans sa boîte, et j’ai fini par la renvoyer
      Situation ironiquement typique : avoir l’argent mais pas le temps de l’utiliser

  • Intéressant, mais on ne peut pas exécuter CUDA ni nvidia-smi

    • Cela dit, comme c’est basé sur des bibliothèques ML d’une autre société et non sur NVidia, ce n’est pas vraiment surprenant
      Une couche de compatibilité CUDA serait bienvenue, mais c’est déjà assez impressionnant de voir l’inférence et l’entraînement fonctionner avec des bibliothèques maison

  • Si Mac prenait en charge les pilotes NVidia, les ventes de Mac Pro auraient augmenté

    • Le fait qu’Apple et NVidia aient rétabli une relation officielle est un événement important
      Depuis plus de dix ans, Apple n’autorisait pas les pilotes GPU NVidia
      Même des GPU vieux de 7 ans (par exemple VEGA64, RTX1080Ti) traitent les tokens plus vite que la plupart des Apple Silicon
      Les processeurs MAX/Ultra d’Apple conviennent aux grands modèles, mais ils ne sont pas aussi rapides qu’une RTX5090