- Apple a présenté de nouveaux modèles d’IA vision-langage (AFM, Apple Foundation Models) ainsi que le framework Foundation Models (API) pour les développeurs, avec de nettes améliorations de performance et d’efficacité à la fois pour les modèles on-device et cloud
- Le modèle AFM on-device repose sur un transformeur de 3B de paramètres et un vision transformer de 300 millions de paramètres, avec prise en charge des entrées texte et image ainsi que des capacités multilingues et de vision ; le modèle serveur utilise une architecture MoE personnalisée
- Allègement des modèles (quantification et LoRA), prise en charge de 15 langues, compréhension d’images, utilisation d’outils, etc. : des fonctions puissantes et un meilleur accès pour les développeurs
- Le modèle on-device s’est montré plus performant que des modèles concurrents en anglais hors États-Unis et en compréhension d’images, mais le modèle serveur reste en retrait face aux modèles récents comme GPT-4o
- Après les récents débats autour d’un article d’Apple, le report de la mise à niveau IA de Siri et plus largement l’évolution de la stratégie IA d’Apple et son influence dans l’écosystème iOS attirent l’attention
Mise à jour majeure d’Apple Foundation Models (AFM)
- Apple a mis à niveau à la fois ses modèles d’IA on-device (embarqués sur mobile) et hébergés côté serveur (AFM), avec de fortes améliorations en vitesse, efficacité et performance
- Un nouveau framework API pour les développeurs (Foundation Models framework) permet désormais d’appeler l’IA on-device sur les appareils où les fonctions Apple Intelligence sont activées
Architecture et fonctionnalités clés
- Entrées/sorties : texte, image (jusqu’à 65 000 tokens en entrée), sortie en texte
- Architecture :
- AFM-on-Device : transformeur de 3 milliards de paramètres, vision transformer de 300 millions de paramètres
- AFM-Server : transformeur Mixture-of-Experts (MoE) personnalisé (nombre de paramètres non divulgué), vision transformer de 1 milliard de paramètres
- Performance : points forts en anglais hors États-Unis et en compréhension d’images
- Disponibilité : AFM-on-Device est accessible via le framework Foundation Models. AFM-Server n’est pas disponible à l’usage public
- Prise en charge de 15 langues, utilisation d’outils, etc.
- Informations non divulguées : nombre de paramètres du modèle serveur, limite de tokens, détails du jeu de données d’entraînement, etc.
Différenciation technique et optimisations
- Quantification :
- Le modèle on-device compresse la plupart des poids en 2 bits et la couche d’embedding en 4 bits (avec quantization-aware training)
- Le modèle serveur applique ASTC (compression utilisée en graphisme) et atteint une compression moyenne de 3,56 bits (4 bits pour les embeddings)
- Des adaptateurs LoRA compensent la baisse de performance due à la compression et permettent d’adapter le modèle à des tâches spécifiques comme le résumé, la correction ou les questions-réponses
- Une architecture MoE personnalisée réduit au minimum les surcoûts de communication entre matériels pour améliorer l’efficacité
Évaluation des performances
- Modèle on-device : supérieur à des modèles concurrents comme Qwen2.5-VL-3B en anglais hors États-Unis et en compréhension d’images
- Modèle serveur : parfois légèrement devant Qwen3-23B, mais reste en dessous des modèles récents comme GPT-4o
Récentes polémiques et évolution de la stratégie IA
- Apple a récemment suscité la polémique avec un article testant les limites de raisonnement de cinq modèles d’IA récents, rapidement suivi par des articles en réponse
- La mise à niveau IA de Siri a été reportée sine die, et un recours collectif a aussi été lancé autour du manque de fonctions IA sur les nouveaux iPhone
- Alors que le camp Google/Android prend rapidement de l’avance dans la compétition IA, Apple est en train de réorienter sa stratégie avec Foundation Models et d’autres initiatives
Perspectives et impact
- Avec iOS et ses modèles embarqués par défaut, Apple pourrait exercer une influence énorme sur l’écosystème des développeurs d’applications
- En raison des contraintes mémoire et de la taille des modèles, les développeurs devraient utiliser de plus en plus les modèles fournis par Apple plutôt que d’embarquer directement leurs propres modèles d’IA
- La stratégie de plateforme IA d’Apple pourrait accélérer l’innovation applicative et l’extension des usages de l’IA on-device
Aucun commentaire pour le moment.