18 points par xguru 2024-01-13 | 1 commentaires | Partager sur WhatsApp
  • 100 % local, fonctionne sur tous les matériels : GPU NVidia, Apple Silicon, jusqu’aux clusters multi-GPU
  • L’objectif final est de permettre à chacun d’intégrer facilement l’IA
    • Jan Framework, client desktop + serveur Jan, Nitro
  • Nitro : moteur d’inférence haute efficacité écrit en C++ (3 Mo)
    • Llama.cpp + TensorRT + Whisper.cpp + StableDiffusion

1 commentaires

 
riskatcher 2024-01-14

Je me demande ce qu’il en est des performances en coréen.