- Apple Intelligence disposait de bases solides avec le traitement sur l’appareil et Private Cloud Compute, mais l’expérience produit réelle ressemble davantage à des améliorations de démonstration technique qu’à un « vélo pour l’esprit » aidant à créer
- La compréhension du contexte personnel de Siri annoncée par Apple promettait des usages comme « lancer le podcast que ma femme m’a envoyé il y a quelques jours », mais la fonctionnalité phare répétée dans les publicités n’est toujours pas sortie
- Private Cloud Compute est devenu un rare exemple de trusted computing vérifiable à distance, avec suppression des données utilisateur, vérification des nœuds, images d’OS publiques et publication du code critique de sécurité, mais les fonctionnalités construites dessus ne sont pas à la hauteur des attentes
- Parmi les fonctions réelles, Math Notes est la plus satisfaisante, en traitant directement dans Notes des calculs à base de variables, tandis que Writing Tools, les résumés de notifications, Clean Up et Image Playground montrent des faiblesses en utilité, précision et contrôle créatif
- L’IA générative relève davantage du détail d’implémentation au sein d’un produit plus vaste que d’un produit autonome, et Apple Intelligence paraît moins utile qu’une intégration directe d’Ollama sur le même appareil
La philosophie produit d’Apple comme « vélo pour l’esprit »
- En 1981, Steve Jobs comparait l’ordinateur à un vélo pour l’esprit humain, un outil permettant de déployer davantage de créativité avec moins d’énergie
- Le Macintosh et MacWrite, contrairement à la machine à écrire ou à l’écriture manuscrite, permettaient de voir un document à l’écran avant impression et de le corriger avec Backspace
- Le traitement de texte a profondément changé la manière de rédiger des documents, et les produits Apple ont établi l’idée qu’ils devaient fonctionner non comme de simples machines à calculer, mais comme des extensions du corps rendant la création possible
- Selon ce critère, Apple se distingue comme une entreprise qui vend des outils de création, plutôt que des « ordinateurs qui font des tâches d’ordinateur »
La vision promise par Apple Intelligence
- En juin 2024, Apple a annoncé Apple Intelligence en le présentant comme un ensemble de fonctions rendant le smartphone plus intelligent
- L’exemple où Siri traite une demande comme « lance le podcast que ma femme m’a envoyé il y a quelques jours » montrait la possibilité d’une recherche dans le contexte personnel reliant relations, liens et contexte des apps
- Si cette vision se concrétise, les utilisateurs pourront rechercher en langage naturel dans leur vie numérique dispersée entre plusieurs apps, et le téléphone pourra effectuer les tâches à leur place
- Apple a mis en avant l’idée que tous les appareils Apple accèdent à l’intelligence, comme Spotify fournit la musique et les API AWS le calcul informatique comme on ouvre un robinet
- Cette direction se rapproche de la vision du « vélo pour l’esprit », où l’ordinateur travaille avec l’utilisateur pour lui faire accomplir ce qu’il veut
Comment les apps modernes éloignent les utilisateurs de leurs propres données
- Un grand problème des apps modernes est que beaucoup fonctionnent comme une fine couche au-dessus de services web
- Des apps comme Instagram ou Bluesky envoient des requêtes à des serveurs, reçoivent des réponses et affichent du contenu
- Sans signal, il peut devenir difficile de programmer des publications, de consulter des posts déjà vus, voire de vérifier le contenu que l’on vient de publier
- Signal et les apps Apple sont citées comme exceptions, tandis que de nombreuses autres apps éloignent peu à peu les utilisateurs de leurs propres données
- L’article d’Ed Zitron critique la manière dont les plateformes rongent l’expérience utilisateur avec des traceurs publicitaires, des publicités vidéo et des demandes d’activation de notifications au nom de la croissance et de la monétisation
- Le marché ne veut pas payer directement pour la messagerie ou les réseaux sociaux, et comme le coût d’exploitation de ces services est très élevé, les données utilisateur deviennent facilement une cible de monétisation
La base solide qu’est Private Cloud Compute
- Apple Intelligence s’exécute sur l’appareil lorsque c’est possible, et Apple mène aussi des recherches pour faire tourner de grands modèles de langage et des modèles d’IA sur l’appareil
- Les calculs effectués sur l’appareil, ou sur du matériel visible par l’utilisateur, sont beaucoup plus solides en matière de confidentialité que les approches impliquant des requêtes externes
- À la WWDC, Apple a affirmé que Private Cloud Compute offrait, même pour les requêtes réseau, des garanties de confidentialité équivalentes ou supérieures au calcul local sur l’appareil
- Vu à travers l’expérience d’exploitation de services web classiques, Private Cloud Compute doit satisfaire simultanément des conditions très exigeantes
- Les données utilisateur ne sont utilisées que pour traiter la requête, puis supprimées
- L’infrastructure de répartition de charge ne sait pas qui a émis la requête ni vers quel serveur elle part
- Les chercheurs peuvent inspecter et vérifier le système, et le simuler sur un ordinateur portable
- Les employés SRE d’Apple n’ont pas d’accès privilégié aux nœuds Private Cloud Compute, et la journalisation est minimisée au niveau du compilateur
- Un attaquant ne peut pas déterminer de manière fiable quel nœud traite la requête d’un utilisateur donné
Les deux faces d’un modèle de sécurité public et d’un système fermé
- La documentation technique d’Apple est considérée comme l’un des rares cas où une équipe produit IA publie un modèle de sécurité cohérent
- Lors de l’assemblage matériel, chaque étape est radiographiée et comparée à une image de référence afin d’empêcher l’ajout de matériel non autorisé sur une carte serveur
- Les utilisateurs peuvent configurer une copie locale d’un nœud Private Cloud Compute pour mener des expériences d’attaque, et Apple verse des primes lorsqu’une vulnérabilité est découverte
- L’authentification matérielle implique des personnes issues de plusieurs services internes d’Apple sans lien entre eux
- Un nœud Private Cloud Compute révoque sa propre authentification lorsque l’alimentation est coupée, et le commutateur anti-intrusion du châssis serveur étant relié à l’alimentation principale, ouvrir le serveur coupe le courant et désauthentifie le nœud
- L’ID de nœud utilisé lorsqu’un appareil envoie une requête à Private Cloud Compute est enregistré, et l’utilisateur peut vérifier que le nœud utilisé par son appareil est toujours authentifié
- Les images d’OS de production sont disponibles en téléchargement public et ne sont pas chiffrées
- Les paquets importants de l’OS sont séparés entre code et données, et il est impossible de mélanger du code dans un paquet de données ou l’inverse
- Apple a publié sur GitHub le code source des parties critiques pour la sécurité de Private Cloud Compute
- Ce système se rapproche du Saint Graal du trusted computing vérifiable à distance, mais s’il était fourni comme OS grand public, il deviendrait un système extrêmement fermé où seul un logiciel déterminé peut s’exécuter, sans accès root, compilateur ni débogueur
Les fonctions effectivement sorties fin 2024
- Le premier ensemble de fonctions d’Apple Intelligence est sorti fin octobre 2024
- Les fonctions proposées étaient Writing Tools, les résumés de notifications, de pages web et d’e-mails, Clean Up pour supprimer des objets dans les photos, la recherche fondée sur le contenu des photos, la recherche de documentation de l’appareil par Siri, et Math Notes dans l’app Notes
- Image Playground et le tri des e-mails ont ensuite été ajoutés
- La fonction de contexte personnel répétée dans les publicités n’est pas encore sortie
Math Notes : la fonction la plus réussie
- Math Notes est considérée comme la fonction la plus satisfaisante d’Apple Intelligence
- Dans l’app Notes, lorsqu’on saisit des calculs à base de variables comme ci-dessous, le résultat est automatiquement inséré après le dernier signe égal
Rent = 2300
FamilySize = 2
Rent / FamilySize =
- L’exemple ci-dessus insère
1150
- C’est utile pour les calculs de base, l’utilisation de variables et les estimations approximatives de revenus et de dépenses
- L’évaluation indique qu’il n’y a rien à reprocher à Math Notes
Writing Tools : un résultat qui remplace la création plus qu’il ne l’aide
- Writing Tools est presque inutile pour les utilisateurs ayant beaucoup d’expérience en écriture, et fournit en pratique une version légèrement moins bonne d’un résultat qu’ils pourraient déjà produire eux-mêmes
- Cette fonction fait ressentir les mauvais effets secondaires des outils d’IA existants, qui ne complètent pas le processus créatif mais le remplacent
- Le résultat apparaît sous forme d’un bloc de texte opaque, sans calques ni possibilités d’ajustement fin, derrière des choix limités comme « rendre professionnel » ou « convertir en tableau »
- En pratique, lorsqu’un résumé de paragraphe a été demandé, l’erreur « Writing Tools Unavailable: Certain capabilities are unavailable at this time. Try again later. » est apparue
- Elle peut être utile pour transformer de longues interventions pendant un stream en plan servant de point de départ à un texte, mais elle n’est pas adaptée à l’écriture du texte lui-même à la place de l’utilisateur
- Elle peut être plus utile à des personnes ayant moins d’expérience en anglais, mais pour l’auteur, son utilité est limitée
Les problèmes des résumés de notifications, messages et e-mails
- L’idée même des résumés de notifications paraît intéressante pour parcourir facilement de nombreuses notifications d’un coup
- Dans l’implémentation réelle, les échecs ressortent fortement
- Un SMS frauduleux peut être résumé comme « livraison de colis retardée en raison d’informations d’adresse incomplètes », ce qui peut donner l’impression qu’une action immédiate est nécessaire
- La BBC a rapporté un cas où un résumé de notifications a conduit des personnes à croire qu’un suspect en détention s’était donné la mort
- Si Apple Intelligence reste activé mais que seuls les résumés de notifications sont désactivés, les notifications peuvent être retardées jusqu’à 5 secondes
- Certaines fonctions de résumé ne fonctionnaient pas sur iPhone, et comme elles n’étaient pas utiles, elles n’ont été laissées activées que sur MacBook afin d’éviter les retards de notifications
- Globalement, la finition paraît digne d’Apple, mais donne une impression de produit à moitié terminé
Clean Up : un outil qui modifie la réalité d’une photo
- Clean Up est une fonction qui supprime les objets indésirables d’une photo
- Pour qui voit une photo comme le reflet fidèle de la réalité et distingue les opérations qui changent l’expression, comme la correction des couleurs ou le recadrage, de celles qui changent le contenu de l’image, cette fonction est difficile à accepter
- Le cas historique du retrait de Nikolai Yezhov d’une photo de Staline sert d’exemple pour expliquer la nature de Clean Up
- Cet outil peut transformer une image non pas en moment réellement vécu, mais en moment que l’utilisateur aurait voulu vivre
- Pour ces raisons philosophiques, Clean Up n’a pas été utilisé et n’est pas évalué plus en détail
Image Playground : des résultats indignes d’un produit Apple
- Image Playground est une fonction qui génère des images à partir de prompts texte et de photos de personnes, entre autres
- Une image créée avec Stable Diffusion 1.5, ComfyUI et un flux de diffusion complexe mêlant 11 à 12 modèles est présentée comme un exemple de référence élevé
- L’image d’un coucher de soleil sur la tour de télévision de Berlin-Est créée avec Image Playground peut passer si on la regarde rapidement sur l’écran d’un téléphone, mais les moments de la journée se mélangent dans le ciel, et les lignes droites des fenêtres et de la terrasse sont maladroites
- Les bons exemples sont des résultats fortement sélectionnés, tandis que la plupart peuvent présenter de gros écarts de forme et de sens, comme « taco smoking beer at a party »
- Utiliser sa propre photo peut produire des résultats dérangeants dans les proportions du personnage, les yeux, etc.
- Le fait qu’Apple ait livré ce type de résultat dans un produit commercialisé semble être l’inverse de la qualité et de l’attention au détail attendues d’Apple
- Genmoji est jugé similaire, produisant des résultats vides et sans âme, mais il n’est pas traité en détail car il est difficile de l’extraire d’un message de chat tout en conservant la qualité
- D’autres entreprises utilisant des modèles open-weights pourraient produire de meilleurs résultats, et il reste regrettable que, côté Apple, les développeurs ne disposent pas d’outils comme IntelligenceKit pour exploiter les modèles de manière créative
L’IA générative n’est pas un produit, mais un détail d’implémentation
- L’IA générative est moins un produit en soi qu’un détail d’implémentation utilisé dans un produit plus vaste
- Même générer en 1 à 2 secondes une image de la tour de télévision de Berlin ne donne pas à l’utilisateur une édition par calques, comme la correction de la couleur du ciel, ni de contrôle créatif : seulement une sortie finale unique
- Ce type de fonction peut servir à des publications de réseaux sociaux à faible effort, mais ressemble davantage à une démonstration technique qu’à un produit, et, en 2025, son niveau aurait surtout été impressionnant s’il était sorti en 2022
- Les domaines où l’IA générative est réellement utile sont des tâches moins spectaculaires
- Un cas de recherche est mentionné, utilisant l’IA générative pour classer des sensations difficiles à décrire apparues lors d’expériences de méditation, avec des nouvelles liées à ce sujet et une publication d’article prévues d’ici juin
Bilan : un produit faible sur des bases solides
- Apple Intelligence est évalué comme un échec du point de vue de l’implémentation produit
- Les fondations sont très solides
- Toutes les données possibles sont traitées sur l’appareil
- Les tâches impossibles à traiter sur l’appareil utilisent les solides pratiques de sécurité de Private Cloud Compute
- L’objectif est un traitement privé et chiffré autant que possible
- Le problème est qu’après avoir construit une base proche du Saint Graal du trusted computing vérifiable à distance, l’expérience utilisateur finale paraît moins bonne que la création d’une intégration directe avec Ollama sur le même appareil
- Avec Ollama, il est possible de choisir des modèles bien meilleurs qu’Apple Intelligence, et comme ils s’exécutent sur le même appareil, la confidentialité est également préservée
- La communauté open source devant tirer le maximum de performances d’un matériel limité, elle peut produire des résultats grâce au lateral thinking with withered technology et les déployer en production sans modification
- Apple Intelligence n’a pas été un « vélo pour l’esprit », mais a fourni des améliorations périphériques ressemblant à des démonstrations techniques, donnant l’impression d’un potentiel qui semblait infini mais a été gaspillé
- L’exception est Math Notes, jugé si positivement qu’on aimerait le voir dans d’autres apps de prise de notes
Aucun commentaire pour le moment.