Les gros GPU n’ont pas besoin de gros PC

• Des tests comparant l’exécution de GPU AMD, Intel et Nvidia sur un Raspberry Pi 5 à celle sur un PC de bureau montrent dans de nombreux cas une perte de performances limitée à 2 à 5 %
• Quatre catégories ont été testées — transcodage Jellyfin, rendu GravityMark, inférence LLM/IA et configuration multi-GPU — afin de mesurer l’efficacité et les performances par rapport au coût
• Dans un cas avec 4 Nvidia RTX A5000 connectés, l’écart de performances reste inférieur à 2 % par rapport à un serveur Intel, le partage de mémoire entre GPU via un switch PCIe jouant un rôle clé
• Le coût total d’un système eGPU Raspberry Pi est d’environ 350 à 400 $, contre 1 500 à 2 000 $ pour un PC, avec en plus une consommation bien plus faible côté Pi (4 à 5 W au repos contre 30 W)
• Un exemple qui démontre le potentiel du Raspberry Pi comme plateforme alternative basse consommation et à faible coût pour exploiter efficacement de gros GPU

---

Aperçu de l’expérience

• Vérification de la possibilité d’exploiter des GPU malgré la limite de bande passante PCIe Gen 3 x1 (8 GT/s) du Raspberry Pi 5
  • La comparaison a été faite avec un PC de bureau récent (PCIe Gen 5 x16, 512 GT/s)
• Les tests portaient sur le transcodage multimédia (Jellyfin), le rendu GPU (GravityMark), les performances LLM/IA et les configurations multi-GPU
• Un essai de fonctionnement simultané de 2 GPU a été réalisé à l’aide d’un switch externe PCIe Gen 4 et d’un backplane 3 slots de Dolphin ICS

Cas d’un Raspberry Pi relié à 4 GPU

• L’utilisateur GitHub mpsparrow a connecté 4 GPU Nvidia RTX A5000 à un seul Pi
  • Lors de l’exécution du modèle Llama 3 70B, l’écart de performances est resté dans les 2 % par rapport à un serveur Intel (11.83 vs 12 tokens/sec)
• Le switch PCIe permet le partage de mémoire entre GPU, ce qui contourne la contrainte de bande passante du Pi
• Même avec un seul GPU, certaines charges montrent des performances équivalentes ou supérieures à celles d’un desktop

Comparaison des coûts et de l’efficacité

• Configuration Raspberry Pi eGPU : environ 350 à 400 $ ; configuration PC Intel : environ 1 500 à 2 000 $
• Consommation au repos : Pi 4 à 5 W, PC 30 W
• À GPU identique mais hors coût du GPU, le Pi est devant à la fois en coût et en efficacité énergétique

Benchmark de transcodage Jellyfin

• Avec une Nvidia 4070 Ti, le PC garde l’avantage en débit brut (2GB/s)
  • Le Pi atteint environ 850MB/s en PCIe et 300MB/s sur SSD USB
• Mais pour le streaming multimédia H.264/H.265, le Pi gère aussi sans difficulté le transcodage 1080p et 4K
  • Prise en charge de l’encodage matériel NVENC, avec 2 transcodages simultanés stables
• Les GPU AMD ont montré quelques problèmes de stabilité en transcodage

Test de rendu GravityMark

• Tests menés principalement avec des GPU AMD ; le PC est légèrement plus rapide, mais l’écart reste minime
• Avec une RX 460, le Pi affiche une meilleure efficacité (performances/W) que le PC
• Sur d’anciens GPU limités au PCIe Gen 3, le Pi conserve un avantage relatif

Comparaison des performances IA et LLM

• Lors du test de l’AMD Radeon AI Pro R9700 (32GB VRAM), les performances ont été inférieures aux attentes, possiblement à cause d’un problème de pilote ou de réglage BAR
• Avec une Nvidia RTX 3060 (12GB), le Pi est plus rapide que le PC sur le modèle Llama 2 13B
• Les mesures d’efficacité montrent que le Pi est meilleur en débit par watt que le PC
• Même avec une RTX 4090, l’écart reste dans les 5 % sur un grand modèle (Qwen3 30B), avec dans de nombreux cas un avantage au Pi en efficacité
• Les backends CUDA et Vulkan fonctionnent tous deux correctement sur le Pi

Expérience en configuration double GPU

• Utilisation d’une carte d’interconnexion PCIe Dolphin et d’un MXH932 HBA
• La désactivation de l’ACS a permis l’accès direct à la mémoire entre GPU
• Avec une combinaison de modèles de GPU différents (4070, A4000), le pooling de VRAM n’est pas pris en charge, ce qui limite le gain de performances
• Avec des GPU identiques, il devient possible d’exécuter des modèles plus grands comme Qwen3 30B
• La combinaison AMD RX 7900 XT + R9700 a échoué à exécuter certains modèles à cause de problèmes de pilote
• Le PC Intel reste globalement plus rapide, mais le Pi conserve des performances proches sur les grands modèles

Conclusion

• En performances absolues et en confort d’utilisation, le PC garde l’avantage
• Mais pour les charges centrées sur le GPU dans un environnement basse consommation et à faible coût, le Raspberry Pi constitue une alternative pratique
• Une réduction de 20 à 30 W au repos est possible, et les SBC basés sur Rockchip ou Qualcomm offrent encore une meilleure efficacité et davantage de bande passante I/O
• L’objectif de l’expérience était de comprendre les limites du Pi et l’architecture du GPU computing, tout en confirmant le potentiel des systèmes compacts