- Le gouverneur de Californie Gavin Newsom a opposé son veto au projet de loi SB 1047 sur la sécurité de l’IA, relançant le débat sur le périmètre de la régulation de l’IA
- La principale raison du veto est que le texte ne s’applique qu’aux modèles d’IA les plus grands et les plus coûteux, ce qui en limite la portée
- Newsom estime que le projet de loi ne tient pas compte du fait qu’un modèle soit déployé ou non dans des situations à haut risque
- OpenAI et Meta se sont opposés au texte, tandis que d’éminents chercheurs ayant développé des technologies d’IA l’ont soutenu
- Newsom entend promouvoir des règles plus complètes sur l’IA que celles prévues par SB 1047
Décision de veto et parties prenantes
- Le gouverneur de Californie Gavin Newsom a opposé son veto au projet de loi controversé SB 1047 sur la sécurité de l’IA
- Ce texte a opposé les grandes entreprises technologiques à d’éminents chercheurs ayant développé des technologies d’IA
- OpenAI et Meta se sont opposés au projet de loi, tandis que les chercheurs l’ont soutenu
Portée du projet de loi et raisons du veto
- Dans son message de veto, Newsom a estimé que le champ d’application du texte était limité
- Le projet de loi ne s’applique qu’aux modèles d’IA les plus grands et les plus coûteux
- Il ne tient pas compte du fait qu’un modèle d’IA soit déployé ou non dans des situations à haut risque
- Newsom souhaite des règles plus complètes sur l’IA que celles prévues par ce projet de loi
1 commentaires
Avis sur Hacker News
https://www.wsj.com/tech/ai/californias-gavin-newsom-vetoes-...
La décision de Newsom était excellente. Le Parlement californien est très actif, mais ces dernières années il a beaucoup trop légiféré en suivant les modes, et même si je soutiens l’agenda de Wiener, en particulier sur le logement, ce texte passait complètement à côté du sujet
C’était en pratique une torpille visant les modèles ouverts, et les leaders comme OpenAI ou Anthropic ne semblaient pas particulièrement inquiets par ce texte ni par les modèles ouverts en général. Les soutiens ressemblaient plutôt à des retardataires comme Musk cherchant à éliminer le bas du classement, ou à des acteurs hostiles à toute IA qu’ils ne contrôlent pas, comme les puissances ennemies de l’Occident et des ayants droit très prudents : https://techcrunch.com/2024/08/26/elon-musk-unexpectedly-off...
Par ailleurs, OpenAI a mené l’opposition organisée à ce texte avec Google et Meta, tandis qu’Anthropic en était plutôt un soutien majeur
Je pense que les LLM ont un bel avenir, surtout à mesure que davantage de matériel spécialisé sera produit. Le marché peut résoudre la plupart des problèmes, et le gouvernement doit intervenir quand la situation dérape vraiment ou quand les monopoles et les abus deviennent manifestes, pas agir sur la base de vastes spéculations venues des extrêmes
https://legiscan.com/CA/text/SB1047/id/3019694
Ce texte semble rendre illégale la fourniture de poids ouverts pour des modèles au-delà d’une certaine taille, obliger à vérifier avant de vendre des ressources de calcul suffisantes pour entraîner de tels modèles que le client ne va pas ignorer la loi et entraîner le modèle, et imposer des exigences d’audit pour démontrer que le modèle ne facilite pas les catastrophes et qu’il peut être arrêté
Et sur la partie disant qu’« il doit pouvoir être arrêté », on aimerait que les législateurs restent dans le réel plutôt que dans un épisode de Star Trek
Il est difficile de confier du pouvoir à quelqu’un comme lui, et ce n’est même pas la première loi ridicule qu’il a défendue. Par exemple, il était derrière l’AB2098, manifestement inconstitutionnelle, que l’assemblée de Californie a discrètement abrogée avant qu’elle ne soit annulée par les tribunaux : https://finance.yahoo.com/news/ncla-victory-gov-newsom-repea...
https://www.sfchronicle.com/opinion/openforum/article/COVID-...
Ce n’est pas une question partisane. Indépendamment de votre orientation politique ou de votre position sur la « sécurité de l’IA », il faut vouloir des représentants plus prudents que quelqu’un avec un jugement aussi déplorable et cette tendance à se mettre en scène par la législation.
Articles liés. Y en a-t-il d'autres ?
OpenAI, Anthropic, Google employees support California AI bill - https://news.ycombinator.com/item?id=41540771 - septembre 2024, 26 commentaires
Y Combinator, AI startups oppose California AI safety bill - https://news.ycombinator.com/item?id=40780036 - juin 2024, 8 commentaires
California AI bill becomes a lightning rod–for safety advocates and devs alike - https://news.ycombinator.com/item?id=40767627 - juin 2024, 2 commentaires
California Senate Passes SB 1047 - https://news.ycombinator.com/item?id=40515465 - mai 2024, 42 commentaires
California residents: call your legislators about AI bill SB 1047 - https://news.ycombinator.com/item?id=40421986 - mai 2024, 11 commentaires
Misconceptions about SB 1047 - https://news.ycombinator.com/item?id=40291577 - mai 2024, 35 commentaires
California Senate bill to crush OpenAI competitors fast tracked for a vote - https://news.ycombinator.com/item?id=40200971 - avril 2024, 16 commentaires
SB-1047 will stifle open-source AI and decrease safety - https://news.ycombinator.com/item?id=40198766 - avril 2024, 190 commentaires
Call-to-Action on SB 1047 – Frontier Artificial Intelligence Models Act - https://news.ycombinator.com/item?id=40192204 - avril 2024, 103 commentaires
On the Proposed California SB 1047 - https://news.ycombinator.com/item?id=39347961 - février 2024, 115 commentaires
Le risque immédiat des grands modèles d'IA n'est pas de transformer la Terre en trombones, mais de créer une industrialisation de l'arnaque et une société où plus rien n'est digne de confiance
Je pourrais soutenir même une loi un peu maladroite qui imposerait d'ajouter des métadonnées indiquant une génération par IA aux images, audios et vidéos produits par des modèles ayant plus de X paramètres. Dans cette logique, il serait interdit de créer des modèles qui n'ajoutent pas ce type de balise
Le problème évident, toutefois, c'est qu'il faudrait aussi rendre illégal le fait de faire une capture d'écran d'une image IA puis de la republier sans métadonnées, et surtout, pour les images, l'application de la loi pourrait devenir un désastre complet. Surtout, toute mesure dans ce domaine doit partir du principe que nous ne pouvons pratiquement pas contrôler ce que font les « mauvais acteurs ». Agir de manière responsable, cela veut dire renoncer à de l'argent, et cet argent finit alors chez des pays moins responsables
Plus tard, lorsqu'une image apparaît, on peut demander à Meta ou à n'importe quel autre acteur : « Est-ce que ça ressemble à quelque chose que vous avez généré ? » Des techniques similaires existent déjà, comme le Content ID de YouTube ou la détection de CSAM. Ce n'est pas parfait, mais cela pourrait aider sans les effets de bord massifs qu'aurait une tentative de verrouiller toute génération d'images
Je me demandais si l’article exagérait les risques couverts par le projet de loi, donc je suis allé lire le texte original.
Le « préjudice critique » désigne un préjudice causé, ou rendu matériellement possible, par un modèle concerné ou l’un de ses modèles dérivés, et inclut les cas où la création ou l’utilisation d’armes chimiques, biologiques, radiologiques ou nucléaires entraîne des pertes massives, les cas où une cyberattaque contre des infrastructures critiques provoque des pertes massives ou plus de 500 millions de dollars de dommages, les cas où un modèle, sous supervision humaine limitée, cause la mort, des blessures graves ou des dommages matériels par des actes constitutifs d’une infraction, ainsi que les préjudices graves comparables en matière de sécurité publique ou de sûreté.
En revanche, sont exclus les cas où les informations produites par le modèle sont raisonnablement accessibles au public depuis d’autres sources, les cas où, en combinaison avec d’autres logiciels, le modèle n’a pas contribué de manière substantielle à la possibilité du préjudice, ainsi que les cas où le préjudice n’a pas été causé, ou rendu possible, par la création, le stockage, l’utilisation ou la diffusion du modèle par le développeur.
Si des humains peuvent causer des dommages avec l’IA, ils pourraient sans doute aussi y parvenir sans elle ; la vraie question est donc de savoir dans quelle mesure l’IA augmente la faisabilité d’objectifs destructeurs. Je ne sais pas très bien quel est exactement le monstre visé : l’inquiétude est-elle que l’IA rende cela plus accessible et plus efficace ? Je ne pense pas que ces modèles disposent d’informations non publiques sur des infrastructures et systèmes susceptibles d’être exploités.
Du coup, cette loi ressemble à une mise en scène législative. Elle est peut-être conçue pour attirer l’attention et les dons afin de bâtir une franchise politique. Le fait de ne viser que les plus grands modèles, et donc de n’affecter que les plus gros acteurs, pourrait aussi s’expliquer par le fait que ce sont eux qui ont la plus grande capacité de contribution politique et le plus faible coût de réputation en cas d’opposition.
La régulation de l’IA va devenir une tâche législative et administrative d’une complexité comparable à celle d’un nouveau code fiscal ; si on la traite comme une franchise politique, cela devient impossible. Quand on voit OpenAI devenir une entreprise à but lucratif, il est clair que le seul statut non lucratif ne suffit pas à garantir une orientation vers l’intérêt public. Autoriser ce type de conversion est d’une ampleur comparable aux conversions à but lucratif des systèmes hospitaliers non lucratifs depuis les années 1990.
Le potentiel de l’IA met en lumière la fragilité de notre gouvernance. Une gouvernance faible crée parfois davantage d’opportunités, mais l’élan visant à échapper à l’exploitation née de ses échecs nourrit l’autoritarisme, et l’autoritarisme finit par engloutir les droits de propriété comme les autres droits.
L’un des problèmes est-il la crainte que des activités de calcul IA incontrôlées se déplacent simplement hors de Californie ?
Comme dans l’élection locale du comté sur les CAFO à Sonoma, il y a un débat similaire : même si l’on obtient localement des avancées environnementales, cela peut aboutir à exporter le problème vers d’autres États où la réglementation est plus laxiste : https://www.kqed.org/news/12006460/the-sonoma-ballot-measure...
L’UE et la Californie semblent souvent jouer ce rôle pionnier en matière de technologie et de vie privée. Cela peut sembler vain à première vue, mais c’est une manière d’ouvrir la voie, et une bonne loi est une étape indispensable pour prendre pied à l’échelle mondiale.
C’était une loi idiote, donc pour une fois un politicien a fait quelque chose d’intelligent.
Je serais curieux de voir une synthèse des arguments pour et contre ce texte. En lisant l’article, ma première réaction a été que des formulations comme « précaution raisonnable » et « risque déraisonnable » semblaient si vagues qu’elles pourraient donner lieu à des litiges sans fin, au point de paraître inapplicables dans une loi
En même temps, des informaticiens comme Geoffrey Hinton et Yoshua Bengio, qui ont largement contribué aux technologies de base de la vague actuelle d’IA générative, l’ont soutenu publiquement, et 119 employés actuels et anciens de grandes entreprises d’IA ont aussi signé une lettre appelant à son adoption. Bien sûr, ce n’est pas parce que quelqu’un est brillant dans un domaine qu’il faut lui faire confiance pour des conseils juridiques, mais je me demande pourquoi Hinton et Bengio soutenaient cette loi avec autant de force
Bien sûr, cela peut finir en justice, mais l’idée essentielle est que s’il existe une zone grise, une entreprise doit clairement opérer dans une zone sûre, et si elle pousse la frontière, elle doit savoir qu’elle prend un pari juridique. Avec des procédures de bon sens, une documentation claire et des décisions validées par des avocats, il est généralement facile de rester dans la zone de sécurité. Le texte peut être mauvais pour d’autres raisons, mais ces deux expressions en elles-mêmes ne sont pas le problème
Beaucoup de personnes dans les grandes entreprises d’IA de pointe pensent qu’une AGI capable de transformer le monde pourrait arriver d’ici 5 ans, voir par exemple Situational Awareness d’Aschbrenner. Il y a aussi une inquiétude parallèle selon laquelle l’IA pourrait faciliter le terrorisme : https://www.theregister.com/2023/07/28/ai_senate_bioweapon/
Yoshua Bengio a récemment exposé en détail sa position sur la sécurité de l’IA et, même s’il accorde moins de poids à l’idée qu’une IA de niveau humain soit imminente, il estime qu’une intelligence surhumaine est possible dans un horizon de 5 à 20 ans. Selon lui, « compte tenu de cette incertitude, de l’ampleur du risque catastrophique ou existentiel, et du fait que nous n’avons pas su anticiper les progrès rapides récents des capacités de l’IA, une prudence agnostique est une voie bien plus sage »
Hinton donne lui aussi récemment des conférences détaillées sur le risque de perte de contrôle. Les soutiens du texte le voient en général comme une loi étroitement ciblée qui traite dans une certaine mesure les pires scénarios de perte de contrôle et d’usage malveillant : https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
https://yoshuabengio.org/2023/06/24/faq-on-catastrophic-ai-r...
https://yoshuabengio.org/2024/07/09/reasoning-through-argume...
Il renvoie à des billets explicatifs antérieurs, avec les arguments pour et contre ainsi que des discussions supplémentaires dans les commentaires
Ce n’est pas une liste des arguments pour et contre du point de vue de l’industrie, mais c’est probablement l’explication la plus neutre de ce que fait ce texte
C’était une législation affreuse, heureusement que le gouverneur l’a bloquée
C’est exactement à quoi ressemble la capture réglementaire. Quand quelqu’un transforme votre produit en bien générique, vous rendez illégal le fait qu’il continue à le produire gratuitement
Cela ne vaut guère mieux que d’interdire Linux pour forcer tout le monde à utiliser Microsoft et Apple
Je pense que beaucoup de gens qui rêvent de lancer une startup IA ont du mal à évaluer le paysage de l’IA ainsi que ses avantages et inconvénients de manière rationnelle et neutre
La Californie a un esprit du temps rare, né de la combinaison entre technologie et universités, mais avec suffisamment d’argent et de volonté, ce n’est pas quelque chose d’impossible à reproduire ailleurs