MLC LLM - une solution open source qui permet de déployer des modèles LLM sur n’importe quel appareil

• Vise à permettre à chacun de développer et d’optimiser des modèles d’IA afin de les déployer sur n’importe quel appareil
• Utilise MLC (Machine Learning Compilation) et Apache TVM Unity
• Plateformes prises en charge
  • iPhone/iPad/Android
  • GPU Metal et MacBook Intel & ARM
  • GPU AMD/Intel et NVidia (Vulkan sur Windows/Linux)
  • GPU NVidia (CUDA sur Windows/Linux)
  • WebGPU dans le navigateur

[carnoxen]

Le multiplateforme a la cote à bien des égards.