Sortie de Llama Stack 0.21 - prise en charge de Llama 4

• Llama Stack de Meta est un framework qui standardise les composants essentiels pour les applications d’IA générative
• Il fournit une couche d’API unifiée basée sur des implémentations de différents fournisseurs de services
• Il garantit une expérience développeur cohérente lors du passage de l’environnement de développement à l’environnement de production
• Principaux composants :
  • API unifiées pour l’inférence, le RAG, les agents, les outils, la sécurité (Safety), les évaluations (Evals) et la télémétrie (Telemetry)
  • Prise en charge de divers environnements (local, on-premise, cloud, mobile) grâce à une architecture de plugins
  • Démarrage rapide et fiable grâce à des distributions validées (distribution)
  • Diverses interfaces pour les développeurs, dont CLI et SDK (Python, Node.js, iOS, Android)
  • Exemples d’applications de niveau production fournis

Fonctionnement de Llama Stack

• Llama Stack se compose d’un serveur + SDK clients
  • Le serveur peut être déployé dans divers environnements, notamment en local, on-premise ou dans le cloud
  • Les SDK clients prennent en charge Python, Swift, Node.js, Kotlin, etc.

Liste des SDK clients

• Python : llama-stack-client-python
• Swift : llama-stack-client-swift
• Node.js : llama-stack-client-node
• Kotlin : llama-stack-client-kotlin

Implémentations Llama Stack prises en charge

API Inference

• Prise en charge de fournisseurs d’inférence sur différents environnements d’hébergement et en local
  • Meta Reference, Ollama, Fireworks, Together, NVIDIA NIM, vLLM, TGI, AWS Bedrock, OpenAI, Anthropic, Gemini, etc.

API Vector IO

• Fournit une interface de base de données vectorielle
• Implémentations prises en charge :
  • FAISS, SQLite-Vec, Chroma, Milvus, Postgres(PGVector), Weaviate, etc.

API Safety

• Garantit la sécurité des réponses de l’IA, notamment via l’inspection des prompts et du code
• Implémentations prises en charge :
  • Llama Guard, Prompt Guard, Code Scanner, AWS Bedrock, etc.

Ressources de développement

• Pour démarrer rapidement : Quick Start
• Pour contribuer : Contributing

Llama Stack est un framework générique conçu pour permettre aux développeurs d’intégrer et de déployer facilement diverses technologies d’IA, avec une large prise en charge de nombreux environnements et langages.