IPEX-LLM - Bibliothèque PyTorch pour exécuter des LLM sur CPU/GPU Intel
(github.com/intel-analytics)- Basé sur Intel Extension for PyTorch (IPEX)
- Optimisé et validé pour plus de 50 modèles (LLaMA2, Mistral, Gemma, LLaVa, Whisper, etc.)
- Exécution à faible latence sur iGPU local ou sur des GPU distribués comme Arc/Flex/Max
- Bonne intégration avec llama.cpp, HuggingFace, LangChain, LlamaIndex, etc.
Aucun commentaire pour le moment.