Inquiétudes concernant le développement open source
- Définition excessivement large : dans ce projet de loi, la définition des « modèles couverts » est très large et pourrait englober divers modèles open source ne présentant qu’un risque minimal. Cela pourrait involontairement criminaliser l’activité de développeurs de bonne foi travaillant sur des projets d’IA utiles.
- Double usage : les modèles d’IA sont des logiciels généraux exécutés sur ordinateur, au même titre qu’un traitement de texte, une calculatrice ou un navigateur web. Le créateur d’un modèle ne peut pas garantir qu’il ne sera pas utilisé à des fins nuisibles. Il en va de même pour les développeurs de navigateurs web, de calculatrices ou de traitements de texte. Tenir les créateurs de tels outils génériques pour responsables reviendrait, en pratique, à signifier qu’en dehors des services juridiques des grandes entreprises, plus personne ne pourrait créer ce type d’outils.
- Exigences contraignantes : ce projet de loi impose une charge importante aux développeurs, avec notamment des fermetures obligatoires, un reporting étendu et le respect potentiellement flou des « directives couvertes ». Ces exigences risquent d’affecter de manière disproportionnée les développeurs open source, qui manquent souvent des ressources nécessaires pour naviguer dans des processus réglementaires complexes.
- Atteinte à l’ouverture : la crainte de sanctions juridiques et d’obstacles bureaucratiques peut freiner le développement open source et nuire à l’esprit de collaboration qui a porté les progrès de l’IA. Cette réduction de la transparence pourrait rendre plus difficile l’identification et la résolution de problèmes de sécurité potentiels.
Impact sur les PME et l’innovation
- Barrière à l’entrée : les coûts importants liés à la compliance — frais, audits, conseil juridique, etc. — peuvent constituer une barrière à l’entrée majeure pour les PME et les startups. Cela limite la concurrence, concentre le pouvoir entre les mains des grands acteurs en place et freine, au final, l’innovation.
- Effet dissuasif sur la recherche : la peur d’enfreindre involontairement certaines dispositions du projet de loi peut pousser chercheurs et développeurs à s’autocensurer ou à éviter d’explorer des domaines prometteurs de la recherche en IA. Cela freinerait le progrès scientifique et limiterait le potentiel de l’IA pour répondre à des problèmes de société.
- Fuite des talents : l’environnement restrictif créé par ce projet de loi pourrait pousser des chercheurs et développeurs IA talentueux à quitter la Californie, nuisant à l’économie de l’État et affaiblissant sa position de moteur de l’innovation en IA.
Approches alternatives
- Soutenir le développement open source : encourager et faciliter le développement open source des modèles d’IA afin de favoriser la collaboration, la transparence et la création d’un écosystème IA plus diversifié et plus résilient.
- Se concentrer sur les usages plutôt que sur le développement : au lieu de réglementer le développement des modèles d’IA, se concentrer sur les applications, en particulier celles qui présentent des risques élevés pour la sécurité publique et la sûreté. Réglementer l’usage de l’IA dans les domaines à haut risque où les dommages potentiels sont les plus importants — comme la santé, la justice pénale ou les infrastructures critiques — afin de rendre des comptes sur les usages nuisibles, tout en permettant la poursuite des progrès technologiques en IA.
- Promouvoir la transparence et la collaboration : encourager, via la coopération entre l’industrie, le monde académique et les pouvoirs publics, l’élaboration et l’adoption de bonnes pratiques pour un développement responsable de l’IA. Cela peut inclure l’établissement de standards sectoriels, le soutien au développement open source et l’investissement dans la recherche sur la sécurité de l’IA.
- Investir dans l’expertise en IA : fournir des ressources aux institutions publiques afin qu’elles développent une expertise en IA et des capacités leur permettant de surveiller et traiter efficacement les risques potentiels. Cela permettrait une approche réglementaire de l’IA plus informée et plus nuancée, conciliant sécurité et innovation.
Avis de GN⁺
- Au lieu de réglementer le développement des modèles open source, les autorités de régulation devraient encourager et superviser le développement open source. L’open source ne favorise pas seulement la transparence et la collaboration, il apporte aussi une diversité de points de vue, ce qui peut au contraire contribuer à améliorer la sécurité.
- Plutôt que de réglementer les modèles d’IA eux-mêmes, il serait plus efficace de superviser et de réglementer l’usage de l’IA dans les secteurs à haut risque. Des lignes directrices strictes et des réglementations sont nécessaires pour l’usage de l’IA dans des domaines à fort risque comme la santé, la justice ou la sécurité publique, mais dans les secteurs à faible risque, la régulation devrait rester compatible avec la progression des technologies IA.
- Ce projet de loi risque de faire perdre à la Californie sa position de leader dans le domaine de l’IA en imposant une charge excessive au développement de l’IA. Il faudrait rechercher des approches alternatives permettant de responsabiliser les usages nuisibles sans freiner l’innovation.
- Les pouvoirs publics doivent développer leur expertise en IA et approfondir leur compréhension de l’écosystème IA afin de mettre en œuvre des politiques réglementaires plus judicieuses. Plutôt que de simplement renforcer la régulation, il semble nécessaire d’orienter le secteur dans une direction souhaitable grâce à la coopération entre industrie, universités et recherche.
1 commentaires
Avis de Hacker News
Les développeurs de modèles ne peuvent pas garantir parfaitement, pas plus que les développeurs de navigateurs web, de calculatrices ou de traitements de texte, que leurs modèles ne seront pas utilisés à des fins nuisibles. Tenir les créateurs de ces outils génériques pour responsables revient en pratique à réserver cette activité aux seules grandes entreprises disposant d’équipes juridiques.
Les responsables politiques s’attaquent fortement à l’IA open source. Soros affirme que la synergie entre les projets d’IA des entreprises et des gouvernements pourrait représenter une menace plus grande encore que les dictateurs de l’époque de la guerre froide. Il dit que « l’association entre des régimes autoritaires et des monopoles IT confère un avantage intrinsèque aux sociétés ouvertes et constitue une menace mortelle ».
Ce n’est pas mentionné dans le blog, mais le projet de loi SB-1047 a été présenté à l’Assemblée de l’État de Californie le 7 février 2024. Il vise à encadrer le développement et l’usage des modèles d’IA avancés, en imposant aux développeurs des évaluations de sécurité, le respect d’exigences de sécurité, le signalement des incidents, et en créant un organe de supervision au sein du département technologique de l’État.
On craint que ce type de régulation favorise les entreprises d’IA déjà en tête et rende impossible l’arrivée de nouveaux entrants. La politique du logement de Scott Wiener était bonne, mais ce projet de loi relève d’une ingérence excessive de l’État.
On ne pourra entraîner que sur ce que le gouvernement autorise, un nouveau service sera créé avec le pouvoir de prélever des frais, et bien sûr l’embauche de consultants deviendra obligatoire.
À long terme, quels États seront favorables aux startups IA ? Probablement pas la Californie. L’État de Washington ou le Texas ne montrent pas encore de mouvement réglementaire et semblent aussi présenter des avantages.
La définition de « modèle concerné » est floue. Les opérations sur entiers et sur flottants diffèrent fortement en volume de calcul, ce qui laisse une marge d’interprétation devant les tribunaux. On cherche à figer des seuils actuels de benchmark pour l’avenir, indépendamment des progrès algorithmiques.
Cet article est d’un niveau médiocre, au point de sembler généré par un LLM. Pour bien comprendre le projet de loi, mieux vaut lire l’analyse de Zvi.
Tout cet article donne l’impression d’avoir été écrit par ChatGPT. Il évoque vaguement la valeur de l’open source sans même citer le texte initial du projet de loi.
Certains estiment qu’au lieu de réguler le développement des modèles d’IA, il faudrait en réguler les usages, surtout dans les domaines présentant des risques pour la sécurité publique. L’idée serait d’encadrer l’utilisation de l’IA dans des secteurs à haut risque comme la santé, la justice pénale ou les infrastructures critiques, afin de responsabiliser les usages nuisibles tout en permettant le progrès technologique en IA ; y a-t-il des objections à cela ?