- Greg Brockman estime que, pour qu’OpenAI atteigne sa mission AGI, il a fallu dépasser les limites du modèle non lucratif afin de sécuriser une entité à but lucratif et de vastes capacités de calcul
- Le tournant technique d’OpenAI a conduit à la mise à l’échelle de PPO sur Dota, à l’apprentissage du sens par les modèles de langage, puis à une réévaluation des critères de l’AGI après GPT-4
- Le développement de l’IA est déjà accéléré par l’IA elle-même, et si l’écriture de code est rapidement remplacée, la conception de l’architecture du code reste selon lui un domaine où les experts humains gardent l’avantage
- À l’avenir, la contrainte clé sera le compute, et OpenAI veut répartir largement les bénéfices de la technologie via des data centers et un accès gratuit
- Déploiement itératif, sécurité, neutralité et régulation sont tous des enjeux centraux pour le produit comme pour la société, et le critère de réussite est que l’AGI bénéficie à l’ensemble de l’humanité
Création d’OpenAI et changement de structure
-
Pourquoi passer de Stripe à l’IA
- Greg Brockman estimait que les problèmes qu’il résolvait chez Stripe n’étaient pas ceux auxquels il voulait consacrer sa vie, et que pouvoir influer sur la manière dont l’IA se déploie dans le monde pourrait donner du sens à son existence
- Lorsque Brockman envisageait de quitter Stripe, Patrick Collison lui a conseillé d’en parler avec Sam Altman, et Sam a compris en quelques minutes que Brockman avait déjà pris sa décision
- Quand Brockman a expliqué qu’il réfléchissait à créer une entreprise dans l’IA, Sam a répondu qu’il voulait lui aussi lancer quelque chose dans ce domaine et qu’ils devraient rester en contact, ce qui a débouché en 2015 sur des discussions autour de la création d’un laboratoire de recherche
-
La création du laboratoire en 2015 et l’équipe initiale
- À l’époque, DeepMind ressemblait à un “gorille de 10 000 livres”, avec ses chercheurs, ses capitaux, ses données et ses résultats, et son élan était évident même avant la présentation d’AlphaGo
- La question centrale était : “Est-il déjà trop tard, ou est-ce encore possible, de lancer un laboratoire en réunissant un grand nombre des meilleurs chercheurs ?” Il y avait beaucoup de raisons de penser que ce serait difficile, mais aucune ne menait à la conclusion que c’était impossible
- Sam Altman et Brockman ont conclu qu’“il fallait le faire”, et Brockman s’est mis dès le lendemain à bâtir l’organisation à plein temps
- Le projet initial incluait Ilya Sutskever, Dario Amodei, Chris et Greg Brockman, mais il ne s’est pas concrétisé tel quel : Chris est parti chez Google Brain, tandis que John Schulman et d’autres ont manifesté leur intérêt
- Alors qu’une dizaine de personnes demandaient “qui va participer ?”, Sam a proposé un offsite et a réuni des gens à Napa, sans offre officielle, sans structure organisationnelle arrêtée et sans participants confirmés
- Lors de cet offsite à Napa, une orientation proche du plan technique suivi pendant les dix années suivantes a émergé : au cœur de cette vision figuraient la résolution de l’apprentissage par renforcement, la résolution de l’apprentissage non supervisé, et une stratégie d’apprentissage progressif sur des objets toujours plus complexes
-
Les limites de la structure non lucrative et l’entité à but lucratif
- En 2017, OpenAI a commencé à estimer les conditions et la taille de compute nécessaires pour construire réellement une AGI, et en est arrivé à la conclusion qu’il fallait de très gros ordinateurs
- L’organisation estimait que le matériel de calcul atypique conçu par Cerebras pourrait aller bien au-delà du niveau requis selon leurs calculs, et qu’un accès exclusif ou la sécurisation de grands data centers donnerait un avantage majeur pour construire une AGI
- OpenAI considérait que la collecte de fonds pour une structure non lucrative avait ses limites, et Elon Musk, Sam Altman, Ilya Sutskever et Greg Brockman ont convenu que le seul chemin vers la réalisation de la mission d’OpenAI passait par la création d’une entité à but lucratif liée à OpenAI
- Construire une AGI exige du capital, mais avec une structure uniquement non lucrative, ils estimaient qu’il était possible de lever 100 ou 500 millions de dollars, alors qu’atteindre 1 milliard serait extrêmement difficile
-
Tensions internes et éviction de Sam Altman
- Dans une organisation convaincue qu’elle peut créer des machines dotées d’une intelligence de niveau humain, la politique interne classique des entreprises — qui décide, quelles valeurs entrent dans les décisions, comment le mérite est réparti — prend un poids existentiel
- Brockman a vu, lors d’un appel vidéo, le conseil d’administration réuni sans Sam, puis a été informé que le conseil avait décidé d’écarter Sam Altman
- Il a demandé des informations supplémentaires, mais on lui a répondu qu’il n’y avait rien de plus à partager, tout en l’informant qu’il serait lui aussi retiré du conseil mais qu’il resterait dans l’entreprise car il était important pour la mission
- N’ayant reçu ni raison ni retour précis, Brockman a parlé à sa femme juste après l’appel puis a conclu qu’il devait démissionner
- Le jour même de sa démission, Sam et Brockman ont reçu une vague de messages affirmant que, quoi qu’ils fassent ensuite, les gens voudraient les suivre, et leurs proches collaborateurs ont eux aussi démissionné ce jour-là
- Avec Sam, cinq personnes ont commencé à imaginer une nouvelle entreprise, et Brockman évaluait à 10 % les chances de reprendre la société
- Quand, dimanche soir, le conseil a remplacé Mira, alors CEO par intérim, par une autre personne, l’entreprise s’est rebellée ; le plan initial, pensé comme un petit “canot de sauvetage” destiné à n’accueillir que quelques recrues prévues, a soudain dû s’élargir pour accepter presque tout le monde
- Même juste avant Thanksgiving, de nombreux employés ont annulé leur vol de retour pour se rassembler au bureau, et tant de personnes ont essayé de signer le document de pétition en même temps que Google Docs a cessé de répondre
- Brockman a consulté Twitter à l’aube et a ressenti un immense soulagement en voyant qu’Ilya avait signé la pétition et publié qu’il voulait que l’entreprise se réunifie
-
Réconciliation avec Ilya Sutskever et leçons de leadership
- Ilya était suffisamment proche de Brockman pour officier à son mariage civil, et tous deux ont traversé ensemble des périodes difficiles
- Par la suite, ils ont passé beaucoup de temps à comprendre et à exprimer ce qui s’était accumulé ou n’avait jamais été dit, et Brockman a eu le sentiment d’être parvenu à une forme de clôture grâce à ce processus
- Après cette crise, des concurrents ont tenté de débaucher des membres de l’équipe, avec potentiellement plus d’argent ou de meilleures offres, mais durant ce week-end, OpenAI n’a perdu personne, et personne n’a accepté d’offre concurrente
- Lorsque Ilya est parti, ce fut presque le seul moment de l’histoire d’OpenAI où Brockman a eu le sentiment de ne plus vouloir continuer ; il a dû retrouver pourquoi ce travail était important et pourquoi cette souffrance valait la peine d’être endurée
- Pendant une période de pause, il a entraîné des modèles de langage sur des séquences d’ADN et, avec sa femme, s’est intéressé à ce que l’IA pouvait apporter à des problèmes de santé animale, appliquant ainsi la technologie à un domaine qui avait pour lui un sens personnel
- Avec le recul, les erreurs qu’il a commises relevaient le plus souvent de décisions qu’il savait devoir prendre mais qu’il a trop longtemps repoussées, et la leçon qu’il en a tirée à répétition est la suivante : prendre les décisions difficiles et avoir les conversations difficiles
Point d’inflexion technique et accélération du développement de l’IA
-
Une succession de moments où l’on s’est dit : « c’est réel »
- Les progrès d’OpenAI n’ont pas reposé sur une seule prise de conscience, mais sur une série de moments où l’on a senti que « c’était réel »
- Le lancement initial a été le moment où l’équipe a enfin pu se rassembler pour poursuivre la mission, mais le lendemain, dans les bureaux, personne ne savait quoi faire, et il n’y avait même pas de tableau blanc
-
La scalabilité démontrée par Dota et PPO
- Dota a été le premier grand succès et a montré que plus on augmentait la puissance de calcul, plus les résultats progressaient
- À l’origine, le projet Dota visait à développer une nouvelle méthode en partant de l’idée que l’apprentissage par renforcement existant ne passerait pas à l’échelle, et l’algorithme utilisé était PPO
- PPO planifie chaque étape temporelle, sans structure hiérarchique, ce qui est différent de la manière dont les humains organisent leur journée ; l’approche semblait pleine de défauts et peu scalable, mais l’équipe a décidé de pousser cette baseline jusqu’à ses limites
- En continuant à faire monter PPO en puissance, les performances ont fini par dépasser celles des meilleurs joueurs humains, ce qui a conduit à la découverte qu’un algorithme simple et un calcul massif pouvaient aussi fonctionner dans le monde réel
- L’environnement de Dota était complexe, difficile à programmer, à anticiper ou à explorer par recherche, et demandait presque une forme d’intuition humaine
- Le réseau neuronal utilisé avait un nombre de synapses plus proche de celui d’un « petit cerveau d’insecte », ce qui a laissé ouverte la question de ce qui se passerait si l’on appliquait la même approche de calcul à une échelle plus proche du cerveau humain
-
Modèles de langage, apprentissage du sens et changement de référence après GPT-4
- L’article de 2017 sur le unsupervised sentiment neuron est cité comme le premier moment où l’on a vu émerger de la sémantique à partir de l’objectif de modélisation du langage
- Le réseau neuronal n’avait été entraîné qu’à prédire le caractère suivant, mais il a fini par comprendre la polarité positive ou négative d’une phrase, montrant qu’il pouvait apprendre non seulement les virgules, les noms ou la position des verbes, mais aussi le sens d’une phrase
- Pendant les travaux sur GPT-4, la question « pourquoi cela ne serait-il pas une AGI ? » a émergé ; le système pouvait converser avec aisance sur les sujets souhaités, mais il lui manquait clairement encore quelque chose
- Il est possible que les critères d’AGI que l’équipe avait encore deux mois avant la publication de GPT-4 ne correspondaient pas à ses capacités réelles, et il estime qu’il reste encore à venir des moments de percée vers l’étape suivante
-
Le lien entre prédiction, apprentissage non supervisé et apprentissage par renforcement
- Prédire le mot suivant peut sembler banal, mais l’idée avancée est que si l’on peut vraiment prédire ce qu’Einstein va dire ensuite, on est au minimum aussi intelligent qu’Einstein
- L’essentiel de la prédiction n’est pas de deviner ce qui est déjà connu, mais de prévoir ce qui viendra ensuite dans une situation nouvelle jamais rencontrée auparavant
- L’apprentissage des modèles se divise entre l’apprentissage non supervisé, où l’on entraîne le modèle à prédire ce qui vient ensuite à partir de données statiques et observationnelles, et l’apprentissage par renforcement, où l’IA choisit elle-même ses actions, observe le monde et apprend à partir de ses propres données
- Les techniques utilisées dans ces deux étapes sont fondamentalement les mêmes ; ce qui change, c’est la structure des données
-
L’étape où l’IA accélère le développement de l’IA
- Il estime que l’on est entré dans une phase où l’application de l’IA à son propre processus de développement accélère progressivement la vitesse de développement
- Depuis ChatGPT, les processus internes de développement se sont accélérés de 10 à 20 %, et les outils de code récents ont profondément changé la manière de faire du software engineering
- Dans la production des modèles, la plupart des goulets d’étranglement se situent dans le logiciel : implémentation des systèmes, passage à l’échelle, gestion de grands ordinateurs
- Il pense que l’on atteindra bientôt une étape où l’IA proposera elle-même des idées de recherche, exécutera des expériences et les testera
- Il est difficile de savoir quelle part du code écrit aujourd’hui n’a pas été produite par l’IA ; selon lui, elle est à un niveau « en voie de disparition », et avec le bon contexte et la bonne structure, l’IA écrit déjà mieux le code que les humains
- En revanche, sur la conception de la structure du code — placement des modules, relations entre composants, définition d’interfaces spécifiques —, les experts humains restent selon lui largement meilleurs
-
Nouvelles idées et non-divulgation du chain of thought
- Il estime que l’on se rapproche du stade où l’IA produira de nouvelles idées auxquelles les humains n’avaient pas pensé
- En 2024, OpenAI a appliqué sa technologie à la conception de ses propres puces pour réduire la surface des circuits ; les optimisations produites par le modèle figuraient déjà sur la liste des humains, mais elles ont permis de mettre en œuvre plus vite des choses qui n’avaient pas été faites faute de temps
- En mathématiques et en physique, l’entreprise travaille sur des problèmes ouverts en mathématiques et en physique et affirme avoir récemment résolu un problème précis de physique quantique dans une direction opposée aux attentes de la communauté, en produisant même une formule élégante
- OpenAI cherche à rendre la distillation plus difficile et protège en particulier des éléments comme le chain of thought, qui font partie du modèle sans être indispensables pour fournir un résultat à l’utilisateur
- L’avantage clé d’OpenAI ne réside pas dans un modèle particulier, mais dans la machine qui fabrique les modèles
- L’une des raisons de ne pas montrer le reasoning est d’empêcher la distillation, et une autre, plus importante encore, tient à l’interprétabilité
- Si le chain of thought est entraîné pour être agréable à lire, il perd en fidélité, et le modèle peut alors produire un reasoning qui ressemble à ce que l’utilisateur veut voir, plutôt qu’aux raisons réelles
- OpenAI a décidé très tôt d’éviter la tentation d’entraîner le chain of thought dans une forme agréable à montrer aux utilisateurs et s’est orienté, pour des raisons de concurrence et de sécurité, vers la non-divulgation de ces réflexions intermédiaires
Contraintes de compute, data centers, focalisation produit
-
Un monde où le compute devient la contrainte clé
- À l’avenir, on se dirige globalement vers un monde sous contrainte de compute
- La valeur créée par les modèles dépasse les simples réponses à des questions et s’étend à l’accès aux informations de santé, à l’intégration de multiples sources de données, à la recherche dans les bases de connaissances d’entreprise, à la résolution de problèmes difficiles et à l’écriture de logiciels meilleurs que ceux des humains
- Les progrès allant de GPT-5 à 5.1, 5.2 Codex, 5.3 Codex puis 5.4 ont été très importants, et les modèles ont nettement amélioré leur capacité à comprendre l’intention des utilisateurs et à s’aligner sur leurs objectifs
- Lorsqu’on place le modèle sur une surface comme Codex, les développeurs peuvent accomplir bien davantage qu’auparavant
- Rien que pour donner un GPU à chaque personne sur Terre, il faudrait 8 milliards de GPU, mais la trajectoire actuelle ne s’en approche pas
- Aujourd’hui, plusieurs centaines de milliers de GPU représentent déjà une très grande échelle, et des millions de GPU pourraient arriver ensuite, mais le monde manque encore fortement de compute, et il en faudra bien davantage pour apporter cette technologie à tout le monde
-
Stratégie de data center et infrastructure physique
- OpenAI a consacré beaucoup d’efforts à construire du compute en anticipant ce qui allait arriver, et veut se concentrer sur sa mission de rendre ses modèles largement accessibles à tous
- La stratégie consistant à investir énormément d’efforts et d’argent dans les data centers a été moquée par les concurrents, mais elle pourrait désormais devenir un avantage non seulement pour l’activité, mais aussi pour accomplir la mission de diffuser cette technologie à tous
- Les data centers pour l’IA sont proches de « la plus grande machine que l’humanité construise », et leur objectif est d’aider à résoudre des problèmes importants pour les gens — guérir le cancer, gérer une activité ou répondre à des questions du quotidien — et à atteindre leurs objectifs
- À propos de data centers dédiés à des problèmes spécifiques, il estime qu’on ne peut pas exclure que cela arrive dès cette année, par exemple avec un immense data center dans le Dakota consacré uniquement à la résolution du cancer
- Les data centers actuels sont d’énormes machines très délicates, et autrefois il arrivait que des câbles soient trop tendus, provoquant des problèmes d’intégrité du signal qui empêchaient les ordinateurs de fonctionner
- Aujourd’hui, la maintenance des systèmes est effectuée physiquement par des humains, mais elle pourrait à l’avenir évoluer vers la robotique
- Les data centers spatiaux posent de nombreux problèmes techniques, mais il estime que la demande en compute est si forte qu’il faut envisager toutes les options
-
Allocation du compute et accessibilité
- Dans une situation où le compute est limité, la question de savoir où allouer le compute entre des besoins différents comme la « génération d’images » et la « guérison du cancer » devient un enjeu social majeur
- OpenAI considère que tout le monde doit avoir accès au compute, et la présence d’un palier gratuit dans ChatGPT vise aussi à diffuser largement la technologie afin que les gens puissent la comprendre directement et façonner eux-mêmes leurs usages
- L’approche de type « tour d’ivoire », qui consiste à résoudre d’abord les problèmes puis à diffuser les résultats, a aussi ses avantages, mais le centre de gravité d’OpenAI se situe du côté d’une distribution large des bénéfices de la technologie
-
Convergence entre entreprise et grand public
- Dans la prochaine étape d’OpenAI, l’enterprise sera très important, et l’économie se transforme sous nos yeux en économie fondée sur le compute
- Le changement est déjà visible dans le software engineering, et dans tous les domaines où l’on travaille avec un ordinateur, on passerait d’un mode où les humains travaillent avec l’ordinateur à un mode où l’ordinateur travaille pour les humains
- La frontière entre enterprise et grand public pourrait s’estomper, et le fait qu’il devienne beaucoup plus facile de créer une startup se manifeste déjà
- Un ami a saisi dans Codex les idées d’application exprimées par sa petite sœur pendant qu’il l’écoutait, puis lui a montré l’application quelques heures plus tard ; quand elle a demandé « qui l’a faite ? », il a répondu : « c’est toi qui l’as faite »
- Codex est présenté non comme un outil réservé aux software engineers, mais comme un outil permettant à toute personne ayant une vision et la volonté d’exécuter de devenir un builder
-
IA personnelle et système technologique unique
- Le domaine grand public sur lequel OpenAI se concentre particulièrement n’est pas le divertissement ni l’expression de soi, mais la résolution d’objectifs
- S’il y a environ 4 milliards d’utilisateurs de smartphones, alors chacun devrait avoir une IA personnelle, ou une AGI personnelle, qui le connaît bien, comprend son contexte personnel, soit digne de confiance et à qui il puisse demander conseil
- Une IA personnelle peut agir de manière proactive, par exemple acheter des billets lorsqu’un musicien favori vient en ville ; dans certains cas, elle demandera d’abord confirmation, et dans d’autres, elle pourra agir directement sur la base d’une autorisation préalable
- Les objectifs doivent toutefois toujours être définis par l’utilisateur, avec comme principe que l’utilisateur doit garder le contrôle
- Selon lui, les personnes qui devraient avoir accès à une IA personnelle ou à une AGI personnelle ne se limiteraient pas à 4 milliards, mais à 8 milliards, c’est-à-dire l’ensemble de la planète
- Qu’on l’utilise dans le travail ou dans la vie personnelle, on pourra peut-être avoir plusieurs instances, mais fondamentalement il s’agit d’un seul système technologique
Déploiement, sécurité, neutralité, régulation
-
Déploiement itératif
- Le déploiement itératif (iterative deployment) est l’un des piliers centraux qu’OpenAI a utilisés pour rendre la technologie bénéfique pour les personnes et accomplir sa mission
- Il existe aussi une trajectoire consistant à développer une AGI en secret sans rien déployer, puis à appuyer sur un bouton à un moment donné pour la lancer, mais dans ce cas il faut gérer d’un seul coup le premier contact entre un système puissant et le monde réel
- À l’inverse, si l’on déploie à plusieurs reprises des systèmes de plus en plus puissants, on se retrouve dans une situation où l’on gère le « 100e système », on peut apprendre des 99 résolutions de problèmes précédentes, et le monde a aussi le temps de s’adapter
- Avant le déploiement de GPT-3, l’accent était surtout mis sur des enjeux globaux comme la désinformation, mais dans la pratique, le principal usage abusif a été du spam médical faisant la promotion de divers médicaments auprès des gens
- Le déploiement itératif consiste à mettre dans le monde des versions intermédiaires afin d’observer les usages abusifs et les risques réels pour en tirer des enseignements ; cela ne signifie pas qu’il faut déployer sans discernement
- Pour une technologie aussi puissante et déployée aussi rapidement que l’IA, il n’existe pas de playbook, et OpenAI doit donc apprendre en avançant
-
La sécurité est une fonctionnalité produit
- La sécurité n’est pas un simple élément annexe, mais une fonctionnalité produit essentielle, et personne ne veut d’un modèle qui ne soit pas aligné avec soi
- Les utilisateurs veulent un modèle fiable en toutes circonstances, qui fasse ce qu’il faut
- OpenAI estime probablement investir bien davantage dans la sécurité que ce que les gens imaginent, peut-être même plus que n’importe quel autre laboratoire
- Comme ChatGPT est le déploiement de modèle de langage le plus utilisé au monde, OpenAI doit se soucier de la sécurité, et affirme s’en être toujours soucié dans les faits
- Il n’existe pas, selon eux, de situation durable dans laquelle un développeur d’IA construisant un produit à succès n’investirait pas très fortement dans la sécurité
-
Résilience sociale et OpenAI Foundation
- La sécurité ne concerne pas uniquement le modèle lui-même, mais aussi la manière dont la société développe sa résilience
- Les voitures ont besoin de ceintures de sécurité et de routes, et l’électricité repose sur des normes de sécurité ainsi que sur des règles concernant l’implantation des poteaux et des lignes à haute tension
- Pour l’IA aussi, ce qui compte n’est pas seulement le modèle lui-même, mais la manière dont il s’intègre au monde et dont la société développe sa résilience
- L’OpenAI Foundation fait de l’aide à l’investissement et à la construction par la société d’une couche de résilience pour l’IA l’un de ses axes principaux
-
Biais politique des modèles, neutralité et apprentissage des préférences utilisateur
- OpenAI affirme consacrer beaucoup d’efforts à faire en sorte que les modèles soient neutres et représentent la vérité, et précise que les valeurs intégrées au modèle ainsi que sa manière de fonctionner sont visibles dans les spécifications publiques du site web, où il est aussi possible de faire des retours
- Les captures d’écran Twitter peuvent ne pas être totalement honnêtes, car les réponses sont parfois orientées dans une certaine direction à cause de la mémoire en arrière-plan, d’instructions cachées ou du contexte des conversations précédentes
- Certaines questions n’ont pas de bonne réponse, et si l’on demande une réponse en un seul mot, quelle que soit la réponse donnée, des accusations de biais peuvent surgir
- Ce qu’OpenAI considère comme essentiel, c’est la vérité et une IA qui représente l’utilisateur
- La manière d’entraîner les modèles selon les préférences des utilisateurs a évolué, et il fut un temps où les modèles tendaient à dire à l’utilisateur ce qu’il voulait entendre
- L’objectif est que le modèle aide l’utilisateur dans ses objectifs de long terme et son bien-être à long terme, et des améliorations techniques ont été apportées pour éviter un « piratage de l’évaluateur » visant à obtenir une satisfaction immédiate
-
Régulation, inquiétudes sur les data centers et stratégie nationale
- La régulation de l’IA doit faire en sorte que la technologie profite au final aux personnes, et elle doit aussi traiter le fait que des institutions, des métiers et des trajectoires de vie que l’on croyait stables pourraient ne plus l’être
- Les questions centrales de la régulation deviennent notamment de savoir si tout le monde doit avoir accès au compute, et comment éviter que la valeur économique créée par la technologie ne s’accumule en un seul endroit
- Certaines personnes disent que leur propre vie, ou celle d’un proche, a été sauvée grâce à l’usage de ChatGPT, et ils estiment que de tels usages doivent être soutenus et protégés
- Les échanges avec un médecin ou un avocat bénéficient d’une protection légale au titre du secret professionnel, mais il n’existe pas encore de cadre équivalent pour l’IA
- Des inquiétudes existent sur le fait que les data centers puissent faire augmenter le prix de l’électricité, et OpenAI affirme avoir l’engagement d’éviter que cela se produise
- On parle beaucoup de la consommation d’eau des data centers, mais OpenAI affirme que ses data centers utilisent très peu d’eau et que les affirmations selon lesquelles ils en consommeraient beaucoup relèvent de la désinformation
- Si la consommation d’eau est faible, c’est en raison d’une architecture en boucle fermée : on remplit au départ l’équivalent d’une piscine, puis l’eau est continuellement recyclée
- La situation actuelle ressemble moins à une « course mondiale à l’IA » qu’à une renaissance mondiale de l’IA, et les dynamiques entre pays ne seraient pas encore complètement fixées
- Le fait que les États-Unis soient leaders dans l’IA est considéré comme important pour que des valeurs démocratiques soient protégées et préservées
- Les pays prennent conscience que si l’IA devient le socle de la sécurité économique et de la sécurité nationale, ils doivent y prendre part d’une manière ou d’une autre, et qu’une stratégie d’IA souveraine est nécessaire
- Restreindre trop fortement les exportations de puces et de technologies peut pousser d’autres pays à créer leurs propres concurrents ou à dépendre d’autres fournisseurs, tandis qu’un cadre trop laxiste pourrait faire perdre leur avantage aux États-Unis
- Le leadership ne consiste pas seulement à être en tête, mais aussi à emmener le monde avec soi
Emploi, compétences nécessaires et futur souhaitable
-
Anxiété liée à l’emploi et ce que l’on y gagne
- Il est incertain de savoir exactement comment l’IA va se déployer, et cela peut se manifester de manière surprenante ; l’IA actuelle et le monde diffèrent aussi de ce qu’anticipait la science-fiction
- On ne peut pas nier que le changement arrive ; ce que l’on perd est facile à voir, mais ce que l’on gagne est bien plus difficile à percevoir à l’avance
- Si l’on expliquait à une personne de 1950 qu’après les ordinateurs, les téléphones portables et le GPS, on pourrait faire venir une voiture à son emplacement actuel en moins de 3 minutes, cela lui semblerait étrange ; pourtant, ces investissements technologiques ont effectivement débouché sur des milliers, des dizaines de milliers, puis des millions d’usages
- Le cœur de l’IA réside dans le renforcement des capacités et l’autonomie humaine ; certaines institutions et professions pourraient être moins stables qu’on ne le pense, ce qui affectera les gens
- En observant plusieurs générations de technologies d’IA, il estime que les personnes qui ont d’abord appris la génération précédente ont eu tendance à en tirer les plus grands bénéfices à la génération suivante
- Les compétences clés sont l’autonomie, la vision et les idées, et la barrière à l’entrée pour essayer est plus basse que jamais
- Le monde doit réfléchir à la manière de soutenir toutes les personnes traversant cette période d’incertitude et de transition, et l’économie va évoluer vers une économie fondée sur le compute
-
Ce que les jeunes générations doivent apprendre
- Pour les lycéens, les étudiants et les personnes en début de carrière, la compétence importante consiste à utiliser l’IA en profondeur et à comprendre comment en tirer le maximum
- Il pense que l’on peut aller vers un monde où chacun devient le manager d’agents, voire le CEO d’une entreprise d’IA autonome
- On peut imaginer une situation où la force de travail d’une entreprise de 100 000 personnes œuvre 24 heures sur 24 pour soi ; pour cela, il faut des tokens et du compute
- L’accès universel au compute est un problème central que le monde doit résoudre correctement
- Les compétences importantes à l’avenir seront de savoir utiliser l’IA, recombiner les technologies de façon nouvelle, interagir avec des agents et les gérer, ainsi que comprendre ce que l’on veut et quel est son objectif
-
Risques et futur souhaitable
- Jusqu’à présent, la technologie a souvent obligé les personnes à tordre leur corps et leur mode de vie pour s’adapter aux machines ; taper devant une boîte en souffrant du syndrome du canal carpien et des épaules voûtées n’a rien de naturel pour l’être humain
- À l’avenir, on passera d’un monde où les gens travaillent avec des ordinateurs à un monde où les ordinateurs travaillent pour les gens, ce qui créera à la fois des opportunités et des risques
- Si les machines aident les humains à réaliser leurs objectifs, il faudra déterminer comment arbitrer entre des objectifs qui s’opposent, et fixer des limites sur ce que l’IA doit aider à faire ou non
- Il faut trouver comment l’IA va s’intégrer dans la société, et comment faire en sorte que ses bénéfices ne reviennent pas à une seule entreprise ou à un seul groupe, mais tirent tout le monde vers le haut
- Il faut relever le plancher pour que chacun ait accès à une vie de qualité et à cette technologie, et puisse en faire quelque chose ; selon lui, le plafond s’élèvera lui aussi en conséquence
- En matière d’accès aux soins, il estime qu’un monde est possible où chacun aurait dans sa poche un médecin meilleur que n’importe quelle équipe médicale d’aujourd’hui
- Ce changement est destructeur et ne vient pas gratuitement, et les premières erreurs sont déjà apparues
- Il estime qu’au cours des 2 prochaines années, cela peut devenir une force pour le bien, mais que pour réaliser ce potentiel ascendant, il faut aussi reconnaître les manières dont cela peut mal tourner et les risques associés
-
Critères personnels et définition du succès
- Écrire des articles scientifiques, être cité et attirer l’attention lors de conférences ne suffit pas à accomplir la mission ; cela doit être relié à la question de savoir « en quoi cette activité permet à l’AGI d’orienter le monde dans une meilleure direction » pour être suffisant
- Selon l’expression d’Ilya, il existe l’idée qu’« il faut souffrir », ce qui signifie à peu près que s’il n’y a pas de souffrance, on n’est pas en train de créer de la valeur
- Selon lui, la manière de faire d’OpenAI n’a jamais consisté à étouffer les problèmes et à foncer aveuglément, mais plutôt à affronter les vérités difficiles et à comprendre la réalité telle qu’elle est
- Le sens de l’IA qu’il veut transmettre aux non-techniciens est qu’elle sera une force bénéfique pour aider dans la vie quotidienne, faire progresser la science et la médecine, et tirer tout le monde vers le haut
- Le succès, c’est la mission d’OpenAI : garantir que l’intelligence artificielle générale profite à toute l’humanité
1 commentaires
Commentaires sur Hacker News
Je me souviens de l’époque où les magazines informatiques s’adressaient aux programmeurs et publiaient même des listings de code
Puis, à un moment, ils se sont mis à ne parler que du procès IBM contre Microsoft, et ensuite ils ont semblé trouver la formule consistant à ne plus discuter que de la politique interne des entreprises informatiques. Ce type de couverture entreprise contre entreprise est ennuyeux, on dirait une télé-réalité version tech. Le soir, c’est du genre : est-ce que Debra sera éliminée, ou Deborah ?
Pour le grand public, il s’agit moins de la technologie elle-même que des sommes d’argent délirantes, du pouvoir, de l’influence et des intrigues qu’elle rend possibles. À l’époque IBM contre Microsoft, l’ampleur était déjà grande, mais aujourd’hui, à l’ère d’OpenAI, elle dépasse l’imagination. Il y a aussi une génération dont le lien avec l’ingénierie et la technologie vient uniquement de son intérêt pour cette autre facette. L’époque de Byte magazine me manque
Si vous n’avez pas envie d’écouter l’épisode en entier, on peut le consulter ici : https://apecast.app/podcast/the-knowledge-project/episode/op...
Il y a aussi le journal intime personnel rendu public pendant la procédure du procès intenté par Musk, qui montre comment Brockman voyait les choses à l’époque
On y trouve par exemple une phrase comme « Financially what will take me to $1B? ». À noter que Musk a perdu parce qu’il a intenté l’action trop tard
Je ne comprends pas pourquoi personne ne pose de questions sur ce que pensait vraiment Ilya
J’ai du mal à comprendre l’enchaînement où il a licencié Sam, puis a signé la lettre de soutien disant qu’il quitterait OpenAI si Sam était effectivement évincé. Toutes les autres informations me semblent très superficielles
Cela aurait sans doute été beaucoup plus difficile à mettre en œuvre en pratique, mais ça a peut-être suffi à faire croire que c’était une issue inévitable
Je ne sais pas pourquoi, mais cet épisode m’a paru assez ennuyeux
Sans doute parce qu’il ne partage presque rien d’inattendu ou de peu connu
Je ne pense pas que cet événement aurait tué OpenAI. Au contraire, cela l’aurait remis sur les rails
Ce qui est intéressant, c’est qu’ils ont en fait trouvé la réponse presque par accident. Le préentraînement est de l’apprentissage non supervisé à grande échelle, et le RLHF est de l’apprentissage par renforcement. Ils ne connaissaient simplement pas encore la recette
Je ne comprends pas pourquoi une organisation à but non lucratif a pu faire ça
Est-ce que ça ne crée pas un précédent où le statut non lucratif ne signifie en réalité plus rien ? Il suffirait d’utiliser une structure avantageuse, puis de la changer au moment où l’on est sur le point de devenir riche
OpenAI a été fondée en 2015 comme organisation non lucrative dans le Delaware et, après avoir découvert en 2017 les lois d’échelle, elle a compris qu’il lui faudrait bien plus de calcul et de capitaux que prévu. Des négociations ont ensuite commencé pour modifier la structure afin de lever davantage de fonds, et Musk est parti quand les autres fondateurs ont refusé de lui donner le contrôle. En 2018, l’organisation a essayé d’augmenter fortement sa levée de fonds malgré l’arrêt des contributions d’Elon, mais n’a réuni que 50 millions de dollars sur un objectif de 100 millions. En 2019, elle a créé une filiale à profit plafonné afin d’attirer des capitaux commerciaux, et l’organisation non lucrative a fait évaluer la valeur de sa propriété intellectuelle par un expert indépendant avant de la transférer à l’entité lucrative pour une juste valeur d’environ 60 millions de dollars. En échange, l’organisation non lucrative a obtenu le droit de recevoir, si des profits étaient générés, jusqu’à 100 fois son investissement initial en propriété intellectuelle, soit jusqu’à 6 milliards de dollars, ainsi que les bénéfices résiduels restants après que les investisseurs futurs auraient atteint leur plafond. Microsoft a investi 1 milliard de dollars en 2019, 2 milliards en 2021 et 10 milliards en 2023, chaque investissement étant assorti d’un plafond de 20x ou 6x, pour un objectif de remboursement total de 92 milliards de dollars. En 2025, la structure à profit plafonné a été recapitalisée en public benefit corporation à participation classique ; l’organisation non lucrative a cédé ses droits aux bénéfices résiduels ainsi que son plafond de rendement de 100x sur le transfert initial de 60 millions de dollars, en échange de 26 % du capital de l’entité lucrative, aujourd’hui valorisé à environ 200 milliards de dollars. Ces éléments proviennent du dossier Musk v. Altman et, en résumé, l’organisation non lucrative a transformé en 2019 une propriété intellectuelle évaluée à environ 60 millions de dollars en un droit à 6 milliards de dollars de profits futurs, puis s’est retrouvée, après recapitalisation, avec une participation de 200 milliards de dollars. Beaucoup de gens dans ce fil semblent penser que l’organisation non lucrative n’existe plus, mais c’est faux
Pour dire un mot de procédure, l’entreprise d’IA la plus importante du moment est Anthropic