33 points par GN⁺ 26 일 전 | Aucun commentaire pour le moment. | Partager sur WhatsApp
  • Outil open source permettant d’utiliser directement le LLM on-device d’Apple inclus sur les Mac Apple Silicon sous macOS 26 ou version ultérieure
  • Ouvre le modèle basé sur FoundationModels.framework sous forme de CLI, serveur HTTP et chat interactif, avec une compatibilité OpenAI API
  • Tous les calculs sont traités en local, pour un coût nul, aucun risque de fuite de données, avec un contexte de 4096 tokens et la prise en charge multilingue
  • Propose divers outils auxiliaires comme cmd, oneliner, explain, gitsum pour le résumé de code/de commandes et l’automatisation
  • Ouvre complètement le modèle Apple Intelligence déjà présent dans macOS, afin que les développeurs puissent faire tourner l’IA de façon autonome sur leur propre matériel

Vue d’ensemble d’apfel

  • apfel est un outil qui permet d’utiliser directement le LLM on-device d’Apple intégré aux Mac Apple Silicon sous macOS 26 (Tahoe) ou version ultérieure
  • Il ouvre le modèle de langage basé sur FoundationModels.framework, qu’Apple réservait jusque-là à Siri et à certaines fonctions système, sous forme de CLI, serveur HTTP et chat interactif
  • Offre une exécution 100 % on-device, un coût nul et une compatibilité OpenAI API
  • Installation possible via Homebrew, distribution en open source sous licence MIT

Principales caractéristiques

  • Exploitation d’une IA on-device : utilise tel quel le LLM inclus dans macOS, sans appel réseau ni clé API
  • Sécurité : tous les tokens sont traités localement et aucune donnée n’est envoyée à l’extérieur
  • Spécifications de performance

    • Environ 3 milliards de paramètres
    • Fenêtre de contexte de 4096 tokens
    • Quantification mixte en précision 2/4 bits

      • Exécution basée sur le Neural Engine
      • Prise en charge de l’anglais, l’allemand, l’espagnol, le français, l’italien, le japonais, le coréen, le portugais et le chinois

Modes d’utilisation

  • Outil CLI

    • Outil en ligne de commande de style UNIX, avec prise en charge de stdin/stdout, sortie JSON, pièces jointes de fichiers et codes de sortie normaux
    • Peut être combiné avec jq, xargs et des scripts shell
    • Exemple :
      $ apfel "What is the capital of Austria?"  
      The capital of Austria is Vienna.  
      
  • Serveur compatible OpenAI

    • Fonctionne sur localhost:11434 comme serveur de remplacement OpenAI API
    • Prend en charge Streaming (SSE), Tool Calling, CORS, response_format: json_object, etc.
    • Il suffit de modifier base_url dans le SDK OpenAI pour l’utiliser avec le même code
    • Exemple :
      client = OpenAI(base_url="http://localhost:11434/v1";, api_key="unused")  
      
  • Chat interactif

    • Prend en charge les conversations multi-tours, la gestion automatique du contexte, les prompts système et 5 stratégies de trimming
    • Exemple :
      $ apfel --chat -s "You are a coding assistant"  
      > How do I reverse a list in Python?  
      

Architecture interne

  • Accède directement au LLM intégré d’Apple via FoundationModels.framework
  • Alors qu’Apple réservait ce modèle à Siri, Writing Tools et autres fonctions similaires, apfel fournit une interface d’accès direct en encapsulant LanguageModelSession dans un binaire Swift 6.3
  • Intègre un serveur HTTP basé sur Hummingbird
  • Inclut 5 stratégies de trimming du contexte et un comptage précis des tokens pour compenser la limite de 4096 tokens
  • Convertit le schéma d’outils OpenAI au format Apple Transcript.ToolDefinition

Outils auxiliaires inclus

  • cmd

    • Convertit le langage naturel en commandes shell
    • Exemple : "find all .log files modified today" → produit la commande correspondante
  • oneliner

    • Génère en langage naturel des pipelines awk, sed, sort, uniq, etc.
  • mac-narrator

    • Décrit l’activité système du Mac sous forme de narration
  • explain

    • Explique en langage clair des commandes ou extraits de code
  • wtd

    • Résume et décrit la base de code du répertoire courant
  • gitsum

    • Génère un résumé des commits git récents

Compatibilité complète avec l’API OpenAI

  • Prend en charge les principaux endpoints comme /v1/chat/completions et /v1/models
  • Utilisable avec des paramètres comme temperature, max_tokens et seed
  • Prise en charge de CORS pour les clients navigateur
  • Intégration possible de la même manière avec OpenAI SDK, LangChain, LlamaIndex, etc.

Popularité sur GitHub et diffusion

  • 1 030 étoiles et 27 forks
  • 818 étoiles gagnées en une seule journée, le 3 avril 2026
  • Des ingénieurs d’Apple, Google, VMware, NVIDIA et Grafana ont ajouté une étoile au projet
  • Commande d’installation :
    $ brew install Arthur-Ficial/tap/apfel  
    $ apfel "Hello, Mac!"  
    
  • La compilation depuis les sources nécessite le SDK macOS 26.4

Projets d’extension

  • apfel-gui

    • GUI macOS basée sur SwiftUI

      • Proposera le chat avec Apple Intelligence, les journaux de requêtes/réponses et les fonctions d’entrée/sortie vocale
      • Sortie à venir
  • apfel-clip

    • Outil d’actions IA basé sur le presse-papiers

      • Exécution en un clic depuis la barre de menus de fonctions comme correction grammaticale, traduction, explication de code et résumé
      • En cours de développement

Résumé technique

  • Matériel : Apple Silicon (Neural Engine + GPU)
  • Modèle : LLM Apple intégré à macOS
  • SDK : FoundationModels.framework
  • Langage : Swift 6.3, Xcode non requis
  • Licence : MIT
  • Fenêtre de tokens : 4096 (entrée + sortie cumulées)
  • Nombre de modèles : 1 fixe

Valeur clé

  • Ouvre complètement le modèle Apple Intelligence déjà présent dans macOS
  • Fournit un environnement d’IA local sans coût, permettant aux développeurs et utilisateurs de faire tourner directement l’IA sur leur propre matériel
  • Une interface IA open source dédiée au Mac réunissant sécurité, vitesse et indépendance

Aucun commentaire pour le moment.

Aucun commentaire pour le moment.