Annonce du partenariat entre OpenAI et Apple

• Apple intègre ChatGPT à iOS, iPadOS et macOS afin que les utilisateurs puissent profiter de fonctions de compréhension d’images et de documents sans passer d’une app à l’autre
• Siri fait appel à ChatGPT lorsque c’est nécessaire, et demande d’abord la confirmation de l’utilisateur avant l’envoi de questions, documents ou photos
• Les Writing Tools à l’échelle du système intègrent aussi ChatGPT pour l’aide à l’écriture et la génération d’images dans différents styles
• Dans Siri et Writing Tools, OpenAI ne conserve pas les requêtes et masque les adresses IP ; en cas de liaison de compte, les paramètres de données du compte ChatGPT s’appliquent
• L’intégration basée sur GPT‑4o arrivera sur iOS, iPadOS et macOS plus tard dans l’année, avec prise en charge d’un usage gratuit sans connexion ainsi que de l’accès aux fonctions payantes pour les abonnés

---

ChatGPT au cœur de l’expérience Apple

• Apple intègre ChatGPT dans l’expérience utilisateur d’iOS, iPadOS et macOS
  • Les utilisateurs peuvent accéder aux fonctionnalités de ChatGPT sans passer par un outil séparé
  • Les fonctions intégrées incluent la compréhension des images et des documents
• Siri fait appel à ChatGPT quand cela peut être utile
  • Apple demande d’abord la confirmation de l’utilisateur avant qu’une question, un document ou une photo soit envoyé à ChatGPT
  • Siri affiche directement les réponses de ChatGPT
• ChatGPT peut aussi être utilisé dans les Writing Tools à l’échelle du système
  • Il peut aider à générer du contenu en fonction du sujet en cours de rédaction
  • L’outil d’image de ChatGPT permet de créer des visuels dans différents styles pour enrichir un texte

Modalités de disponibilité et protection de la vie privée

• Des mesures de protection de la vie privée s’appliquent lors de l’accès à ChatGPT via Siri et Writing Tools
  • OpenAI ne conserve pas les requêtes
  • L’adresse IP de l’utilisateur est masquée
• Les utilisateurs peuvent lier leur compte ChatGPT
  • Si un compte est lié, les paramètres de données de l’utilisateur s’appliquent conformément à la politique de ChatGPT
• L’intégration repose sur GPT‑4o et doit être proposée sur iOS, iPadOS et macOS plus tard dans l’année
  • L’accès gratuit sera possible sans créer de compte
  • Les abonnés ChatGPT pourront lier leur compte pour utiliser les fonctions payantes dans cette expérience
• Ce partenariat s’inscrit dans la mission d’OpenAI de rendre l’IA avancée accessible à tous

[GN⁺]

Avis sur Hacker News

• Ça donne une impression similaire à l’intégration de Facebook/Twitter dans les débuts d’iOS. Une fonctionnalité qui n’a duré que quelques années
  Apple semble penser qu’un service dédié de grand modèle de langage est nécessaire pour l’instant, mais traite une grande partie des fonctionnalités clés en interne et exige un consentement explicite pour l’utilisation d’OpenAI. Vu qu’ils disent vouloir ajouter d’autres modèles, on dirait qu’ils considèrent OpenAI en partie comme une commodité générique, et ça ne ressemble pas à un contrat sur 10 ans

  • D’accord. Ils l’utiliseront tant qu’ils y trouvent un intérêt, mais d’ici environ 3 ans, j’imagine bien Apple critiquer publiquement OpenAI en disant qu’ils ne protègent pas suffisamment la confidentialité des données, tout en faisant comme s’ils n’avaient jamais vraiment eu de lien avec eux
  • D’ici 3 à 5 ans, je pense qu’un grand nombre de boîtes IA et d’icônes scintillantes appelant l’IA à côté des champs de saisie disparaîtront discrètement
    Les grands modèles de langage ne sont pas exacts et ne sont pas non plus des experts de domaine capables de rester dans une marge d’erreur de 5 %. Les gens vont finir par s’en rendre compte, et comme il est peu probable que les coûts de maintien à jour et d’exploitation des modèles baissent fortement, la bulle finira par se dégonfler
  • À l’instinct, ça ressemble à une solution provisoire pour mettre en œuvre l’expérience utilisateur qu’Apple souhaite
    L’objectif final d’Apple est probablement de déplacer autant de fonctionnalités IA que possible sur l’appareil
  • Il y a beaucoup de choses que je n’aime pas chez Sam Altman comme chez OpenAI, mais le fait qu’OpenAI ait complètement devancé Google et Apple, et qu’on voie des entreprises valorisées en milliers de milliards essayer de rattraper une startup, est vraiment étonnant
    J’aimerais que ce genre de situation arrive plus souvent. Les big tech ont freiné l’innovation pendant trop longtemps
  • Je ne suis pas d’accord. Ça ressemble davantage au partenariat Safari avec Google, qui dure depuis longtemps
    Sauf que cette fois, le gros chèque ira probablement à OpenAI

• L’accès à GPT-4o est une fonctionnalité pratique, mais ce que je voulais vraiment entendre, c’était si la compréhension du langage par Siri s’était améliorée
  Pendant cette WWDC, on a eu quelques exemples où Siri garde le contexte et comprend à qui renvoie “elle” dans une requête comme “ajoute l’heure d’arrivée de son vol à mon calendrier”. Mais au quotidien, Siri n’a pas une compréhension du langage au niveau d’un grand modèle de langage, et donne encore l’impression d’un bricolage malin façon Eliza, calé sur des formulations prédéfinies. Une demande comme “mets la chanson qui passait juste avant celle que je t’ai demandé de sauter” est facile à traiter pour GPT-4o, mais Siri semblait ne pas la comprendre. Je suis curieux de voir dans quelle mesure le modèle de langage sous-jacent de Siri va être mis à niveau

  • C’est précisément le plus gros point irritant des assistants vocaux actuels. Heureusement, la technologie permettant d’interpréter des demandes complexes ou ambiguës est déjà arrivée avec ChatGPT
    Il me semble qu’Apple a aussi montré une démo météo où le présentateur se corrigeait au milieu d’une phrase, et j’espère que c’était le signe qu’ils ont intégré un grand modèle de langage pour interpréter l’intention des requêtes utilisateur
  • Les assistants vocaux existants sont globalement tous médiocres. Quel que soit l’état de Siri, Google Assistant est encore pire
    À l’inverse, ces derniers mois, l’app ChatGPT a pu convertir la voix en texte avec moins de 5 % d’erreurs même dans des environnements bruyants quand on parle naturellement, et comprendre correctement l’intention réelle malgré des erreurs de transcription. Pour faire un bien meilleur assistant vocal, il suffirait de donner à GPT-4 les spécifications des fonctions exécutables sur le téléphone et de l’intégrer au système d’exploitation ; je me demande pourquoi aucune entreprise ne l’a vraiment fait. Je trouve aussi curieux qu’OpenAI n’ait pas étendu l’app ChatGPT dans cette direction
  • Il me semble que Cortana faisait déjà ce genre de traitement du contexte. En 2024, c’est assez peu impressionnant
  • Dans la keynote d’Apple, ça donnait plutôt l’impression que Siri allait recevoir une grosse mise à jour basée sur Apple Intelligence, et pas simplement qu’on allait greffer de force des capacités contextuelles sur l’ancien modèle de Siri
    Ils ont parlé de nouvelles fonctions de transcription vocale, de la capacité à se corriger en cours de parole, d’une compréhension approfondie du contexte personnel, etc. Ça ressemble à une grosse mise à jour appliquant des modèles d’IA générative plus largement, jusqu’au classement des photos, mais il faudra voir ce que ça donne en pratique
  • Apple affirme depuis assez longtemps pouvoir faire ce genre de choses. Pour l’instant, je ne suis pas particulièrement disposé à les croire

• C’est presque exactement ce que je voulais. Il y avait beaucoup de questions que j’aurais voulu poser à Siri en voiture, mais qu’il ne pouvait pas traiter
  Par exemple : “Dans quel État suis-je actuellement, combien de temps avant de franchir la prochaine frontière d’État, et est-ce que je peux faire le plein moi-même dans chacun des États que je traverse ?” Cela dit, ça dépend en partie de la capacité à extraire ces informations de Google Maps

  • La majeure partie de cela passera probablement par Apple Intelligence, pas par ChatGPT
    Apple a expliqué qu’Apple Intelligence fonctionnerait de façon plus locale et personnalisée en tenant compte d’informations comme la position actuelle et l’agenda. Il existe une API permettant aux apps de fournir des “intentions”, et Siri peut les combiner pour traiter des demandes comme “le prix de l’essence à la station-service la plus proche”. D’après la keynote, cette partie ne relève pas d’OpenAI
  • Les fonctionnalités Siri de CarPlay sont actuellement très limitées. Il arrive souvent qu’il refuse de répondre à des questions plus complexes auxquelles il pourrait répondre hors CarPlay
  • Je me demande quel genre de voyage nécessite “Dans quel État suis-je actuellement, combien de temps avant de franchir la prochaine frontière d’État, et est-ce que je peux faire le plein moi-même dans chacun des États que je traverse ?”
    Dans la plupart des cas, on aurait sans doute pu reformuler en “où suis-je actuellement ?”, “montre-moi la carte”, “dans quels États est-il interdit de faire le plein soi-même ?”
  • Je pensais que l’Oregon était le seul État où la loi impose qu’un pompiste fasse le plein à votre place
  • Bien sûr, cela ne fonctionnera que si l’on utilise Apple Maps

• Intégrer OpenAI comme dépendance tierce à l’échelle du système, fournie gratuitement à tous les utilisateurs, est un signal intéressant indiquant une confiance assez forte dans la maturité d’OpenAI, tant en matière d’échelle que de technologie

  • “Intéressant” est exactement le bon mot. La stabilité d’OpenAI est généralement pire que celle d’une startup de deux personnes, mais la qualité du machine learning est à ce point bonne

• OpenAI est une entreprise controversée, et il existe de bons concurrents comme Anthropic, qui paraissent mieux alignés en termes d’image de marque. C’est pourquoi cet accord semble étrange

  • OpenAI/ChatGPT est le seul nom largement connu du grand public dans l’IA
    Même si Anthropic était 10 fois meilleur, cela pourrait compter moins, pour les clients et les investisseurs des marchés publics, que le nom « ChatGPT ». Si Google a gagné dans la recherche, ce n’est pas seulement parce qu’il a été brièvement le meilleur moteur de recherche, mais aussi parce qu’une couverture médiatique incessante a ancré sa marque comme un verbe du quotidien. « Demande à ChatGPT » a de fortes chances de devenir le « Google-le » de l’IA, et les polémiques médiatiques autour d’OpenAI ne font que consolider cette position
  • C’est d’autant plus étrange que les modèles d’Anthropic sont meilleurs pour ce genre de tâches. Les réponses de Claude me semblent presque toujours meilleures que celles de GPT-4
    GPT-4 s’étend longuement sur des choses que je n’ai pas demandées, au point que j’ai cessé de l’utiliser. Claude 3 répond davantage comme le ferait une personne, avec des informations utiles et moins de baratin inutile, ce qui le rend plus humain. Au moment du lancement en fin d’année, on ne saura même pas quel modèle sera le meilleur, et on a vu à quelle vitesse les modèles open source ont rattrapé GPT-4 ; je ne comprends donc pas pourquoi miser sur le modèle d’une seule entreprise
  • OpenAI ne semble pas avoir d’actifs particulièrement précieux. Pour l’instant, ils sont en train de céder toute la boutique pour capter le trafic entrant, et j’ai l’impression que ce jeu intenable va bientôt mal se terminer

• J’ai été surpris de voir à quel point Apple dépend peu d’OpenAI. La plupart des intégrations impressionnantes qui semblent réellement utiles tournent sur l’appareil ou dans le cloud privé d’Apple
  ChatGPT d’OpenAI semble relégué dans un coin de Siri, pour répondre à des « questions à la Google » quand l’utilisateur l’autorise. Le fait de ne pas occuper une place plus importante dans l’architecture paraît défavorable à OpenAI, et personnellement je m’en réjouis

  • D’accord. Les rumeurs en amont donnaient l’impression qu’Apple et OpenAI allaient presque fusionner
    En réalité, cela ressemble plutôt à une case cochée pour pouvoir dire que l’iPhone donne accès aux modèles les plus récents. Personnellement, l’intégration profonde à l’écosystème et l’indexation sémantique me paraissent beaucoup plus intéressantes

• Je ne connais toujours personne qui veuille ce genre de chose. Je ne veux pas d’IA dans mon navigateur web, dans mon client e-mail ni dans mon téléphone
  Quand je demande autour de moi, tout le monde semble globalement d’accord ; je ne vois donc pas pour qui c’est fait

  • Ça m’a été utile pour traduire dans une autre langue des comptines à chanter à mon enfant, tout en conservant à peu près le rythme et le sens
    Ce n’était pas terrible avec GPT-3, mais 4o, ou les modèles récents, font vraiment bien ce travail. En gros, c’est fort pour « transposer le style d’une chose à une autre ». En revanche, quand je lui demande un fait que je n’ai pas trouvé sur Google, c’est toujours faux de manière presque comique
  • Je veux vraiment un assistant virtuel capable de traiter de façon fiable des demandes simples
    Mais jusqu’ici, les entreprises semblent encore chercher la bonne direction, à tout lancer contre le mur pour voir ce qui colle. J’espère qu’une fois les choses stabilisées dans 2 ou 3 ans, on obtiendra un excellent assistant virtuel
  • Tout à fait d’accord. Tout ce qui a été généré jusqu’ici était extrêmement banal
    Il peut certes y avoir quelques cas d’usage légitimes, mais comme toujours, j’ai l’impression que tout le monde fonce beaucoup trop fort sans y réfléchir suffisamment
  • Moi, j’en veux. Toute la journée, je mets les textes que j’écris dans de grands modèles de langage pour obtenir de l’aide à la rédaction
    Pour le brainstorming ou pour commencer une recherche, j’ouvre aussi ChatGPT en mode vocal et je parle, tout en ouvrant un navigateur pour vérifier factuellement ses réponses
  • Vous en connaissez donc désormais quelques-uns. J’aimerais pouvoir demander à mon téléphone : « Comment s’appelait la personne qui m’a envoyé un e-mail au sujet de l’entretien de la semaine dernière ? »
    Cela m’éviterait de fouiller dans mes e-mails et de perdre le contexte que j’ai en tête

• Cela a l’air positif, mais en réalité cela pourrait être une menace existentielle pour OpenAI
  Quand on a un unique très gros client, ce client prend un pouvoir disproportionné sur l’activité. Apple pourrait un jour simplement décider de ne pas payer, et a les moyens de tenir même si les procès durent des années. Si Benjamin Moore ne vend pas chez Home Depot ou Lowe’s et conserve ses propres magasins, c’est aussi parce que les gros clients peuvent imposer leurs conditions. Apple a même conçu ses propres puces pour accélérer les traitements de machine learning, et le partenariat avec OpenAI est clairement une solution temporaire. Si l’occasion se présente, Apple affaiblira OpenAI, puis le remplacera dès que ce sera possible. Apple déteste dépendre de partenaires pour des fonctions clés : c’est pour cela qu’il a abandonné Google Maps au profit d’Apple Maps, pourtant encore inférieur ; et s’il ne remplace pas Google Search, c’est parce que Google paie des sommes énormes et qu’Apple n’a pas encore réussi à le remplacer. Cela peut sembler être une bonne main pour OpenAI, mais c’est faire entrer le renard dans le poulailler

  • Y a-t-il une source pour ne serait-ce qu’un des points que tu viens d’avancer ?
    Dire qu’Apple ne paierait pas et tiendrait par des procès, OpenAI et Microsoft pourraient faire exactement la même chose, et Microsoft serait ravi de pouvoir nuire à Apple. Apple n’a pas non plus d’antécédents de ce type avec les fournisseurs qu’il utilise. Quant à Benjamin Moore, Home Depot a sa propre marque Behr, et pour chaque couleur Behr, il indique quelle couleur Benjamin Moore elle copie, captant ainsi des ventes comme substitut. Et dire qu’Apple Maps est « encore inférieur » dépend de la définition : combien de fois par jour utilises-tu Apple Maps, et existe-t-il des benchmarks comparant les deux services ?
  • OpenAI avait déjà un « unique très gros client » : Microsoft
    Au contraire, l’accord avec Apple est le premier signe qu’OpenAI n’est pas, de fait, une filiale de Microsoft
  • Apple se dépêche actuellement d’intégrer l’IA aussi vite que possible à ses plateformes de calcul
    OpenAI croit probablement qu’une IA suffisamment intelligente, c’est-à-dire une AGI ou une ASI, résoudra des problèmes bien plus vastes ou créera en pratique une toute nouvelle plateforme informatique. En fait, même ChatGPT, grand modèle de langage encore imparfait aujourd’hui, ressemble presque à une plateforme informatique à part entière. Apple accélère l’habituation des gens à interagir avec des agents sans passer par des apps ni de beaux appareils. Si l’IA devient réellement assez bonne, je ne sais pas qui aura encore besoin d’Apple dans 10 à 15 ans

• « Lors de l’accès à ChatGPT depuis Siri et Writing Tools, la protection de la vie privée est intégrée : les requêtes ne sont pas stockées par OpenAI et l’adresse IP de l’utilisateur est masquée. Les utilisateurs peuvent aussi connecter leur compte ChatGPT ; dans ce cas, les paramètres de données suivent la politique de ChatGPT. »
  Si c’est le cas, cela veut-il dire que, par défaut, les requêtes ChatGPT des utilisateurs Apple ordinaires ne sont pas utilisées pour l’entraînement d’OpenAI, mais que celles des clients payants ChatGPT Plus peuvent l’être ? Je me demande aussi si connecter un compte ChatGPT Plus signifie que mes données seront utilisées pour l’entraînement. Il me semble étrange que le niveau de confidentialité des clients payants soit inférieur à celui des utilisateurs arrivés via le partenariat. Bien sûr, je sais qu’on peut empêcher l’utilisation pour l’entraînement avec la fonction « Temporary Chat » ou en désactivant la mémoire.

  • Dans les paramètres du compte, on peut désactiver définitivement l’utilisation des données de chat par OpenAI pour l’entraînement.
    « Pour désactiver l’entraînement des modèles, allez dans Settings > Data Controls depuis l’icône de profil en bas à gauche de la page, puis désactivez “Improve the model for everyone”. Lorsque ce réglage est désactivé, les nouvelles conversations ne sont pas utilisées pour l’entraînement des modèles. »