LibreCuda - Exécuter du code CUDA sur des GPU Nvidia sans runtime propriétaire

• Projet visant à remplacer l'API du pilote CUDA afin de permettre l'exécution de code CUDA sur des GPU Nvidia sans dépendre du runtime CUDA propriétaire
• Communique directement avec le matériel via les ioctls (en particulier ce que le module noyau GPU open source de Nvidia appelle rmapi) et QMD, la structure de file de commandes MMIO de Nvidia
• Peut téléverser des binaires CUDA ELF vers le GPU et les exécuter via la file de commandes
• Fonctionnalités actuelles
  • Allocation et libération de la mémoire GPU, ainsi que mappage mémoire pour permettre l'accès par le CPU
  • Peut téléverser des binaires CUDA ELF vers le GPU
  • Exécution de kernels CUDA via la file de commandes
• Licence MIT

Le résumé de GN⁺

• LibreCUDA est un projet qui permet d'exécuter du code CUDA sur des GPU Nvidia sans runtime CUDA propriétaire
• Pour l'instant, seules des fonctionnalités de base sont implémentées et le projet n'est pas prêt pour un usage réel
• Un projet similaire est ROCm, qui fournit des fonctions comparables à CUDA sur les GPU AMD

[GN⁺]

Commentaires sur Hacker News

• Le but d’un CUDA open est de permettre l’exécution sur des GPU autres que ceux de NVIDIA

  • Si l’on doit acheter un GPU NVIDIA, cela n’a pas vraiment de sens
  • S’il y avait une vraie concurrence, on pourrait facilement acheter des cartes avec davantage de VRAM
  • Un jour, on pourra peut-être exécuter Llama 405b en local

• Mon expérience avec CUDA est limitée, mais je me demande si cela pourrait aider à résoudre les problèmes de versions de dépendances CUDA/CUDNN qui surviennent lors de l’exécution de diverses bibliothèques de ML, par exemple TensorFlow ou ONNX

• Très bien

  • C’est exactement tout ce que j’attends du runtime CUDA
  • On devrait pouvoir exécuter les tests unitaires de LLVM libc
  • Cela pourrait justifier des bibliothèques AMD utilisant la même approche d’appels système directs

• Pour les projets qui dépendent de CUDA, migrer de LibreCUDA vers HiP afin d’obtenir une liberté de plateforme devrait être la première étape

• Je me demande ce qu’est un fichier CUDA ELF

  • Je me demande s’il s’agit de code binaire SASS, ou s’il faut une alternative open source à PTXAS

• Je me demande quel problème cela résout pour quelqu’un qui débute avec CUDA

• Ils ont raté l’occasion de l’appeler CUDA Libre

• Je me demande s’il faut encore exécuter le pilote graphique propriétaire de NVIDIA, ou si c’est totalement indépendant

• Les auteurs devraient commencer à réfléchir aux notifications de violation de marque

• Depuis que ZLUDA a été abandonné à la demande d’AMD, il faut un remplaçant à ZLUDA comme moyen général de casser la dépendance à CUDA

  • Il faut quelque chose qui ne soit pas lié au matériel NVIDIA