3 points par GN⁺ 3 시간 전 | 3 commentaires | Partager sur WhatsApp
  • Les puissants modèles d’IA Fable 5 et Mythos 5 ont vu l’accès de tous les clients brutalement interrompu après une directive de contrôle des exportations du gouvernement américain
  • La directive du gouvernement américain visait à bloquer l’accès de tous les ressortissants étrangers, aux États-Unis comme à l’étranger, y compris les employés étrangers d’Anthropic, et Anthropic a coupé l’accès globalement pour s’y conformer
  • Anthropic estime que le gouvernement a mis en cause un contournement par jailbreak, mais que la faille démontrée se limite à quelques vulnérabilités mineures déjà connues, également observables sur d’autres modèles publics
  • Cette mesure rend difficile de distinguer une régulation de sécurité de l’IA d’une pression politique ou concurrentielle visant Anthropic, et accentue un problème de confiance dans les décisions publiques
  • Elle crée un précédent où l’accès public aux LLM les plus puissants peut être restreint par contrôle gouvernemental, faisant craindre qu’à l’avenir les utilisateurs ordinaires aient du mal à utiliser les modèles les plus performants

Accès aux modèles coupé un vendredi soir

  • Alors qu’il créait un jeu HTML avec un agent IA un vendredi soir, l’auteur a vu le travail s’interrompre lorsque l’agent a répondu que « ce modèle n’existe plus »
  • Il a d’abord pensé à un problème de reconnexion ou à une erreur de limitation étrange liée à l’usage d’agents en parallèle, puis est passé à l’API sans réussir à rétablir l’accès
  • En inspectant le code Rust après avoir soupçonné une panne du harness du client d’agent Rust personnalisé développé par son équipe, il a appris par un ami que le gouvernement avait interdit Fable

Directive gouvernementale de blocage d’accès

  • Le gouvernement américain a émis une directive de contrôle des exportations au titre de ses prérogatives de sécurité nationale, exigeant la suspension de l’accès à Fable 5 et Mythos 5 pour tous les ressortissants étrangers
    • Sont visés tous les ressortissants étrangers, qu’ils se trouvent aux États-Unis ou non, y compris les employés d’Anthropic de nationalité étrangère
    • Pour s’y conformer, Anthropic a immédiatement désactivé Fable 5 et Mythos 5 pour l’ensemble de ses clients ; l’accès à tous les autres modèles Anthropic n’est pas affecté
  • La directive a été reçue le jour même à 17 h 21 (ET), et la lettre ne contenait aucun détail précis sur les préoccupations de sécurité

Position officielle d’Anthropic

  • Anthropic dit comprendre que le gouvernement a eu connaissance d’une technique de contournement par jailbreaking de Fable 5 et, après examen de la démonstration, estime qu’elle ne fait qu’identifier quelques vulnérabilités mineures déjà connues
    • Ces vulnérabilités sont relativement simples et peuvent être trouvées tout autant sur d’autres modèles publics, même sans contournement
  • L’entreprise a examiné le rapport supposé à l’origine de la directive et affirme avoir vérifié que ce niveau de capacité est largement disponible sur d’autres modèles comme OpenAI GPT-5.5, et déjà utilisé chaque jour par les défenseurs de la sécurité ; des informations supplémentaires doivent être partagées dans les 24 heures
  • Anthropic affirme respecter l’instruction légale, tout en s’opposant à l’idée qu’une découverte limitée d’un jailbreak potentiel puisse justifier le retrait d’un modèle commercial distribué à des centaines de millions de personnes

Sécurité de l’IA et inquiétudes liées à l’optimisation

  • La position sur l’IA est ambivalente, et l’expérience accumulée dans l’entraînement de nombreux modèles de deep learning alimente une forte inquiétude sur la façon dont des outils d’optimisation peuvent dysfonctionner
  • Les humains ont tendance à optimiser des métriques mesurables plutôt que les objectifs qu’ils veulent réellement atteindre
  • Cela mène à des situations où, faute de savoir comment créer un bon produit, on optimise l’engagement ; ou où, faute de savoir enseigner la lecture et l’écriture aux enfants, on optimise les notes aux examens
  • Les systèmes AGI et ASI sont des outils d’optimisation, et en optimisant ce qui est mesurable, ils peuvent s’éloigner de ce qui est bon, créant des risques difficiles à prévoir
  • Les entreprises fonctionnent elles aussi comme des outils d’optimisation, si bien que, même lorsque de nombreux développeurs parlent des risques, elles peuvent continuer à viser la monétisation rapide, objectif facilement mesurable

Contexte du conflit entre le gouvernement et Anthropic

  • Anthropic et l’administration actuelle n’entretiennent pas des relations amicales ; malgré des tentatives d’intégration au DoD et de coopération militaire ayant conduit à l’usage des modèles dans des systèmes hautement classifiés
    • L’administration Trump a néanmoins qualifié Anthropic de risque pour la chaîne d’approvisionnement (supply chain risk) et interdit l’usage de ses modèles par les acteurs coopérant avec le gouvernement
    • Au cours des six mois suivants, les modèles d’Anthropic ont pourtant continué à être utilisés dans des opérations militaires, notamment liées à la guerre au Venezuela et à la guerre avec l’Iran, tandis que les LLM chinois n’étaient même pas désignés comme risque de chaîne d’approvisionnement
  • Une partie de l’extrême droite développe l’idée qu’Anthropic est « woke », au motif que l’administration chercherait à détruire l’entreprise
  • Cela soulève la question de savoir si la mesure vise réellement à réguler une IA nuisible ou si elle constitue une occasion de frapper une cible d’hostilité culturelle

Concurrence et calendrier de l’IPO

  • Des concurrents disposent d’alliés dans l’ensemble de l’administration ; l’exemple cité est celui de la famille Kushner, qui a massivement investi dans OpenAI
  • La mesure peut être interprétée comme une occasion pour d’autres laboratoires de porter un coup à Anthropic
    • Fable est présenté comme un modèle très puissant, et le fait que son usage grand public soit interrompu à l’approche de l’IPO d’Anthropic paraît troublant
  • Le système des dépouilles (spoils system) rend l’apparence de toutes ces affaires suspecte, et il est affirmé qu’une confiance bâtie sur des décennies s’est effondrée

Annonce à 17 h 21 un vendredi et inquiétudes des marchés

  • Le fait que l’annonce ait eu lieu à 17 h 21 un vendredi est présenté comme un horaire suspect
  • Une annonce faite un vendredi soir est comprise comme une manière de publier une mauvaise nouvelle en espérant que le marché en absorbe le choc pendant le week-end
  • L’exemple cité par Claude via The Kobeissi Letter comprend des annonces géopolitiques et commerciales publiées après la clôture du vendredi ou dans la nuit de samedi
    • Parmi les exemples figurent une frappe sur des installations nucléaires iraniennes, une opération militaire contre un navire transportant de la drogue dans les Caraïbes, la menace de droits de douane de 100 % contre la Chine, la fermeture de l’espace aérien vénézuélien, une opération militaire au Nigeria et une frappe directe contre l’Iran en février 2026
    • L’annonce de la transaction Intel du 11 août 2025 est également rangée parmi les cas d’entreprise publiés hors heures de marché actives après une pression publique exercée sur le CEO Lip-Bu Tan
  • Le boom de l’IA repose largement sur l’idée qu’il existera une demande durable pour l’intelligence informatique
  • La hausse boursière de toute la chaîne IA — dette, investissements de construction, datacenters, GPU, mémoire, disques et racks serveurs — dépend de l’hypothèse qu’une valeur de plusieurs milliers de milliards de dollars sera créée
  • L’idée que le gouvernement puisse couper unilatéralement tout accès à n’importe quel moment pourrait devenir un obstacle majeur aux investissements de plusieurs billions de dollars dans les datacenters
  • Certains utilisateurs de HN et Reddit voient dans cet épisode un plafond fixé par le gouvernement sur le niveau de capacité des modèles auxquels le public sera autorisé à accéder
  • Si le gouvernement ne l’autorise pas, l’accès peut être impossible quelle que soit la demande

Réaction de la communauté et retour de bâton du marketing sur les « modèles dangereux »

  • Certains utilisateurs de HN et Reddit se réjouissent en estimant qu’Anthropic paie le prix de son show marketing autour de Mythos
  • Par le passé, OpenAI avait aussi limité la diffusion de GPT-2 au motif qu’il était « trop dangereux pour être publié », en invoquant des risques de génération massive de langage trompeur, biaisé et malveillant
  • Depuis GPT-2, l’IA a effectivement inondé le web de contenus de faible qualité, au point de fragiliser notre capacité commune à comprendre la réalité ; les inquiétudes d’OpenAI sont donc jugées assez justes
  • L’auteur dit croire que Fable est réellement un modèle puissant et accorde une certaine confiance à Anthropic lorsqu’elle dit s’inquiéter des risques de sécurité d’une diffusion large de Fable
  • Le commentaire le mieux classé sur HN estimait qu’Anthropic paie le prix d’avoir vendu son modèle comme très en avance sur les autres en attisant la peur
  • Si l’on prend la position du gouvernement au pied de la lettre, les modèles d’Anthropic seraient si performants qu’ils deviennent littéralement inutilisables, ce qui pourrait paradoxalement constituer une publicité très forte
  • Un autre commentaire HN faisait remarquer que si l’on répète longtemps à quel point un produit est dangereux, les personnes qui ont le pouvoir d’empêcher sa mise sur le marché peuvent finir par l’entendre
  • Bernie Sanders est décrit comme un élu qui insiste sur les dangers de l’IA, allant jusqu’à produire des vidéos de politique publique lisant les propos de CEO de l’IA
  • Il est possible que les modèles d’IA soient réellement assez dangereux pour justifier une régulation, mais les CEO de l’IA désormais conscients du risque de fermeture pourraient cesser de le dire à l’avenir

Un précédent de restriction d’accès aux LLM les plus puissants

  • Le dernier commentaire HN cité voit le cœur de l’affaire dans le fait que le gouvernement commence peut-être à restreindre l’accès du public aux LLM les plus puissants
  • Selon ce commentaire, Fable serait le modèle le plus puissant du marché et, même si le gouvernement américain n’en a interdit l’accès en principe qu’aux non-citoyens américains, les citoyens américains ne peuvent en pratique plus l’utiliser non plus
  • L’idée que les modèles open source chinois ou l’exécution sur son propre matériel puissent constituer une solution devrait elle aussi être réexaminée
  • Si le gouvernement américain bloque les meilleurs modèles américains, il semble peu probable que la Chine autorise dans un an l’open source du meilleur LLM d’une entreprise nationale doté de capacités au niveau de Mythos
  • Les LLM puissants évoluent vers des armes cyber offensives puissantes, ce qui donne aux États-nations un intérêt à les restreindre et à les contrôler
  • Il serait surprenant que, dans deux ans, les LLM les plus puissants soient encore proposés pour un usage général
  • On ne sait pas si la restriction des LLM puissants rendra les gens plus pauvres ou plus en sécurité, mais cet épisode constitue un tournant majeur créant un précédent

3 commentaires

 
sungwoo 1 시간 전

Je vais donc devoir faire une lecture approfondie.

 
shakespeares 1 시간 전

Aïe..

 
GN⁺ 3 시간 전
Commentaires sur Hacker News
  • Je comprends l’idée qu’une renaissance des « jeux Flash » puisse revenir grâce aux outils d’IA, mais après avoir continué à tester les jeux créés par les gens sur le subreddit aigamedev, j’ai été assez déçu
    Le game design est un art difficile à apprendre, et cela semble être un domaine où les LLM peuvent difficilement apporter une grande aide
    Dire que ces jeux sont « amusants », c’est un peu comme dire qu’un dessin d’enfant est « beau », et avec plus de 25 dollars à dépenser en génération de code, on peut acheter beaucoup de bien meilleurs jeux indépendants

    • Travailler à travers la couche d’abstraction qu’est un LLM risque au contraire de rendre plus difficile la création de jeux amusants
      L’art d’un excellent game design réside dans les détails, et l’anglais seul ne suffit pas à transmettre chaque coup de pinceau sur la toile
      J’étais allé voir ce qui se créait sur ce subreddit, mais moi non plus je n’ai pas été très impressionné
    • Un enthousiasme aussi marqué pour l’IA et un manque de goût semblent être assez fortement corrélés dans ce genre d’endroit
      Il y a sûrement beaucoup de développeurs qui utilisent les LLM pour les aider avec le code ennuyeux tout en les gardant en laisse courte et en faisant eux-mêmes les parties créatives
      Il y a toujours eu des développeurs indé qui détestaient coder et ne voyaient cela que comme une étape nécessaire pour concrétiser leurs idées, et ils ont quand même fait de bons jeux
      Tous les dialogues d’Undertale sont implémentés dans un énorme switch de plus de 5 000 lignes
    • La plupart des jeux Flash étaient eux aussi médiocres
      Pour trouver des jeux comme Boxhead, Motherload ou Bloons, il fallait fouiller dans des montagnes de déchets
      À mon avis, ici c’est la quantité qui compte
      Il n’est pas nécessaire d’être un excellent programmeur pour devenir un excellent game designer, mais autrefois la programmation était un prérequis ne serait-ce que pour commencer
      La beauté de l’application des outils d’IA au jeu se trouve dans ce second point, à savoir pouvoir se concentrer uniquement sur le game design, et avec le temps les pépites finiront par remonter à la surface
    • Le game design est difficile
      J’ai publié quatre jeux Flash à l’époque : deux ont été des échecs complets, un était moyen, et un a plutôt bien marché
      Le temps de jeu cumulé a atteint plusieurs centaines d’années
      Il y a énormément de travail à faire pour bien faire les choses et, comme pour tout logiciel, il faut concevoir le produit en fonction de son marché cible
      Il n’existe pas de solution IA simple pour créer une boucle de gameplay centrale amusante et prenante, pas plus qu’il n’existe de solution pour équilibrer correctement la complexité et la courbe d’apprentissage
      Beaucoup de gens qui ne savent pas coder ou ne codent pas se voyaient comme game designers et espéraient que l’IA leur permettrait de faire des jeux, mais ils semblent découvrir que le cœur du problème n’était pas le code
      En plus, si on ne sait pas coder, le vibe coding ne suffit pas encore pour créer grand-chose au-delà de jeux de niveau Flash
    • En tant que développeur indé, faire des jeux est difficile, et c’est presque le seul domaine du logiciel où toutes les disciplines doivent se réunir pour produire un résultat convaincant
      J’ai beaucoup programmé dans plusieurs sous-domaines, et cela reste malgré tout le domaine qui me semble le plus difficile à percer pour l’IA
      C’est clairement impressionnant comme outil pour accélérer la production, mais dans l’ensemble cela me semble être le domaine le plus difficile à commercialiser pour l’IA
  • L’auteur dit qu’OpenAI utilisait déjà à l’époque de GPT-2 la tactique marketing du « trop dangereux pour être publié », et estime que les deux camps ont joué cette carte, mais à l’époque Dario était chez OpenAI et co-auteur de l’article de recherche sur GPT-2
    L’approche du « trop dangereux pour être publié » ressemble à quelque chose qu’il a continué à faire dans les deux entreprises

    • J’ai l’impression que les inquiétudes autour de GPT-2 se sont finalement révélées fondées
      Dans le billet original de 2019, il était déjà question des risques d’abus : génération d’articles de presse trompeurs, usurpation d’identité en ligne, génération automatisée de contenus abusifs ou mensongers pour les réseaux sociaux, génération automatisée de spam et de contenus de phishing
      Avec les résultats synthétiques en image, audio et vidéo, il était aussi dit que ce type de technologie réduirait le coût des faux contenus et des campagnes de désinformation, et que le public devrait devenir plus méfiant envers les textes en ligne, comme il l’est face aux images deepfake
      C’est pour cela qu’ils disaient procéder à un déploiement prudent
      https://openai.com/index/better-language-models/
    • Il est aussi possible que Dario n’ait pas aveuglément pensé que tout irait bien, mais qu’il ait réellement pris en compte les risques potentiels
    • Pour être juste, l’IA générative est en train de détériorer la société chaque semaine de façons nouvelles et imprévues
      Des mensonges et de la désinformation jusqu’aux personnes qui choisissent un chatbot à la place d’un traitement ou de relations humaines, l’impact social est profond, et cela va empirer
      Il est déprimant de chercher des programmeurs juniors suffisamment compétents pour encore savoir faire quelque chose quand l’IA tombe en panne, et cela semble devoir empirer encore
      Des garde-fous essentiels comme « interdire la génération de contenus pédocriminels », « les affirmations doivent être factuelles ou fondées sur des preuves » n’ont jamais été intégrés à la conception de ces systèmes, et jusqu’à aujourd’hui le problème n’a toujours pas été correctement résolu, mais les entreprises d’IA les ont quand même mis à disposition du public avec des défauts évidents
      J’aime leur capacité à produire des absurdités et leur côté gadget fascinant, mais jusqu’ici, à mes yeux, le bilan net n’a été positif que pour une minorité déjà très riche, qui en tire profit en licenciant des gens et en laissant les ordinateurs faire le travail à moitié de travers ; pour tous les autres, le bilan est négatif
      Il est trop tard maintenant, mais avec le recul je suis d’accord pour dire que, sous cette forme, c’était trop dangereux pour être publié
  • Le scepticisme excessif de Hacker News a ruiné toute discussion raisonnable sur l’IA
    Le gouvernement américain a instrumentalisé la puissance de l’État contre Anthropic d’une manière maladroite, corrompue et punitive, tout en étendant la guerre autour du contrôle de l’IA
    Pourtant, HN s’accroche à l’idée que la seule explication possible serait du « battage marketing » et force de plus en plus tous les éléments de preuve à entrer dans des explications tirées par les cheveux
    L’IA menace les emplois, le statut, les croyances et les modes de vie
    Sur HN, il semble plus facile de fabriquer une rationalisation expliquant que cela ne peut pas être vrai que d’accepter cette réalité
    Je suis reconnaissant envers ceux qui acceptent que le monde est peut-être en train de devenir assez étrange et essaient d’analyser la situation réelle

    • Ça rappelle l’époque où la NSA, dans les années 90, essayait de restreindre l’accès au chiffrement sur les sites web
      Au moment même où SSL s’imposait comme la solution évidente pour sécuriser les paiements publics sur le web, les États-Unis ont failli interdire SSL
      Il semble que la porte soit restée ouverte grâce à la pression économique, à l’absence d’alternative et à une forte opposition, mais à l’époque aussi on invoquait les mêmes absurdités sur « l’intérêt national et la sécurité »
      La grande différence cette fois, c’est qu’on n’est pas totalement paralysé sans Fable/Mythos
      Il n’y a pas ici de frontière magique, seulement une amélioration du travail de connexion avec moins d’intervention
      Cela dit, si cette situation perdure, elle risque fortement de produire un énorme effet dissuasif sur le développement de l’IA aux États-Unis, et d’autres labos finiront par contourner les performances de Fable/Mythos et les rattraper
      Pour reprendre une analogie automobile, le modèle progresse comme si l’on passait d’un moteur V6 à un V8, mais d’autres organisations peuvent obtenir des gains de vitesse comparables en améliorant l’aérodynamisme ou l’injection de carburant
      Il y a tellement de marge d’amélioration tout au long de la chaîne qu’une telle mesure est dénuée de sens
      Vu les tactiques brutales de cette administration et d’Anthropic, cela ressemble plutôt à quelque chose qui se conclura par un « accord » d’ici une semaine et qui faisait partie d’une négociation à haut risque
      Cela pourrait même avantager Anthropic, car s’il en sort un accord avantageux, où cela laisse-t-il OpenAI ?
      Le précédent existe déjà
    • Beaucoup de gens sur HN et les habitués chroniques des forums pensent qu’avoir une attitude sceptique et cynique les fait paraître plus intelligents
      La plupart des nerds comme moi ont dépassé cette posture tranchante au lycée ou à l’université
      En pratique, cette attitude ne fait que pousser à voir toutes choses à travers le prisme le plus sombre
    • Cette interprétation ressemble un peu à l’époque où les religieux disaient que l’imprimerie était dangereuse
      Ils affirmaient que les gens liraient de mauvaises choses et diffuseraient de mauvaises idées, et c’est effectivement arrivé, mais dans l’ensemble c’était un faible prix à payer pour la diffusion de l’alphabétisation
    • Sur le prompt web de Claude.ai, il y a un message « Claude Fable 5 is current unavailable » qu’on ne peut pas fermer
      Je ne dis pas que c’est à 100 % une manœuvre de communication, mais Anthropic semble vraiment vouloir que les gens le sachent
    • Le camp du scepticisme excessif fait obstacle à tout le monde
      Ils disent des choses comme « Anthropic ne fait qu’un coup de com marketing », « l’IA, c’est comme les NFT », « c’est du wash trading », « la bulle va bientôt éclater », « les hype men soutiennent artificiellement le marché boursier pour pouvoir sortir rapidement comme des escrocs »
      La dernière expression, je l’ai inventée en essayant de coller de force à leur vocabulaire
      Le vrai problème, c’est que l’IA devient trop puissante pour être simplement mise entre les mains de gens ordinaires comme nous
      Si vous croyez encore que tout cela n’est qu’exagération, vous détournez le regard du vrai problème
      À un moment, ce genre de rhétorique finira sans doute par disparaître et l’attention se portera sur les vrais enjeux
  • Le fait que les concurrents d’Anthropic aient des amis un peu partout dans l’administration, et par exemple que le camp Kushner ait massivement investi dans OpenAI, est à la fois central et sans rapport
    La « sécurité nationale » ressemble clairement à un prétexte, et si c’était vraiment la raison, les exigences n’auraient pas été limitées aux seuls ressortissants étrangers
    Aucune administration américaine n’a jamais fait confiance à tous les citoyens américains
    Mais la raison même de la restriction importe presque peu
    Le simple fait que cela se soit produit devrait être le dernier signal d’alarme pour que l’UE prenne enfin la souveraineté numérique au sérieux, non seulement en paroles mais aussi en budget et en efforts réels

    • La souveraineté numérique suppose d’abord la capacité à créer des entreprises numériques compétitives
      À ce stade, il semble peu probable que l’UE change réellement de cap dans cette direction
    • Vu tout le reste que cette administration a déjà fait, c’est étonnant qu’on soit encore prêt à prendre ses intentions officielles au pied de la lettre
  • C’est une plainte de mauvaise qualité, truffée de grossièretés et idéologiquement biaisée, qui ne semble pas à sa place sur Hacker News

  • Cette mesure tue l’ensemble du marché des entreprises pour les modèles d’IA meilleurs qu’Opus 4.8
    Aucune entreprise ne construira un workflow ou des capacités dont l’intelligence de base peut être retirée instantanément par des bureaucrates ou des responsables politiques malveillants
    Et même si une entreprise était assez stupide pour accepter ce risque, Anthropic va-t-elle exiger de tous ses clients entreprise qu’ils soumettent les passeports de tous leurs employés et créent un compte Claude distinct pour chacun afin de contrôler l’accès à Mythos ?
    Une simple clé API ne suffira plus

    • Ma première impression a été qu’un plafond de verre venait d’être imposé à l’IA et que cela allait frapper durement le marché
      Le timing coïncidait aussi avec ce moment du vendredi à la clôture où l’on se dit « évitons un krach », et il faudra voir comment cela évolue lundi
      Comme l’ont dit d’autres réponses, c’est aussi une mise au pas entre le gouvernement et Anthropic
      Si OpenAI rattrape son retard et qu’Anthropic mobilise ses avocats, cela sera probablement annulé, ou transformé en quelque chose du genre « les modèles doivent recevoir le tampon d’approbation de l’IA américaine, et nous approuvons donc le nouveau Fable 5.1 vérifié par les États-Unis »
      Cela pourrait alors coïncider avec un déploiement massif au DoD, au Pentagon et dans les organismes associés
      Ou bien on nous dira que c’est absurde parce que la Chine va rattraper son retard
    • Que se passera-t-il si le gouvernement américain fait la même chose à Opus ou à d’autres modèles ?
      Aucun modèle n’est à l’abri d’une telle interdiction
    • Plus précisément, il s’agit de modèles d’IA américains meilleurs qu’Opus 4.8
      L’AI Act de l’UE, si souvent critiqué, fournit un cadre réglementaire sûr et prévisible sur lequel on peut fonder le développement de l’IA
      Il offre une stabilité juridique par rapport aux décisions imprévisibles et arbitraires de l’administration américaine
      Si les entreprises d’IA ont un minimum de discernement, elles devraient envisager de se relocaliser en Europe
  • Étant donné les protocoles de sécurité excessifs qui entouraient déjà Fable, toute cette affaire paraît extrêmement suspecte
    Le gouvernement américain est en train d’utiliser son influence sur l’économie pour signaler à Anthropic que son IPO dépendra de sa soumission

  • Ces derniers mois, j’en suis venu à faire bien davantage confiance à OpenAI qu’à Anthropic
    Si on lit entre les lignes les textes de Dario Amodei, il apparaît comme un croyant dogmatique dans l’ASI comme dirigeant parfait et infaillible pour l’humanité, et comme un nationaliste américain assez extrême
    L’entreprise semble elle aussi idéologiquement alignée sur cette ligne
    On peut même imaginer qu’ils puissent tolérer, ou consciemment créer, une ASI hors de contrôle qu’ils croient alignée avec leur propre idéologie
    OpenAI paraît globalement moins dogmatique et plus orienté vers le pragmatisme
    Cela ne veut pas dire que c’est une entreprise particulièrement bonne, mais au moins on peut prévoir comment une entreprise ordinaire est susceptible d’agir

    • Quand on pense qu’on entend aussi dire de dirigeants d’OpenAI que ce sont des « menteurs pathologiques », dire qu’on fait plus confiance à OpenAI qu’à Anthropic est assez surprenant
    • Si vous avez vu ce que les gens sont prêts à faire pour 500 dollars, il semble impossible de faire la moindre confiance à des inconnus
      À plus forte raison quand il y a des incitations de plusieurs millions, voire de plusieurs milliards de dollars
      Vous avez sûrement aussi vu ce que certains font à leur propre famille pour des questions d’héritage, et malgré ça vous « faites confiance » à OpenAI ?
      « Alors, qui est naïf, Kay ? » - Godfather
    • Il n’y a même pas besoin de lire entre les lignes, le CEO l’a dit presque ouvertement dans ses interviews et ses textes
      J’ai écrit la même chose il y a quelques semaines https://news.ycombinator.com/item?id=48341224, et si vous lisez les billets de blog récents, tout doute restant devrait disparaître complètement
  • On voit déjà passer sur HN et Reddit l’idée que cela pourrait être le point limite de ce que le gouvernement peut « autoriser » les gens à utiliser
    Peu importe l’ampleur de la demande, si le gouvernement ne le donne pas, cela ne sert à rien
    Un LLM de marché noir semble tout droit sorti d’un roman de William Gibson

  • Le résumé était bon, et en le lisant j’ai pensé au débat sur le chiffrement fort
    La phrase « Nous optimisons ce que nous pouvons mesurer, pas ce que nous voulons vraiment accomplir. Nous espérons que les deux coïncident, mais c’est souvent faux » met le doigt sur le problème central des LLM
    Garantir qu’un modèle soit aligné de manière sûre pour tout le monde et pour toutes les intentions me paraît impossible ou extrêmement coûteux
    En plus, la “sécurité” peut vouloir dire des choses différentes selon les personnes