LLaMA-rs - LLaMA implémenté en Rust

• Projet qui porte llama.cpp en Rust
• Prend en charge les modèles en version f16 ou quantifiée en 4 bits
• Utilise directement la bibliothèque de tenseurs ggml comme l’original, avec les mêmes performances

[xguru]

Il existe aussi une implémentation de LLaMA en Rust : RLLaMA - Rust+OpenCL+AVX2.

llama.cpp - inférer le modèle LLaMA de Facebook en pur C/C++