Web LLM - Exécuter des LLM accélérés dans le navigateur avec WebGPU
(github.com/mlc-ai)- Exécute dans le navigateur, sans serveur, des LLM comme LLaMA et Vicuna à l’aide de WASM
- Accéléré par WebGPU, mais prend aussi en charge séparément les backends GPU pris en charge par Apache TVM (CUDA, OpenCL, Vulkan)
- Utilise la technologie MLC (Machine Learning Compilation)
Aucun commentaire pour le moment.