PoisonGPT : un LLM lobotomisé caché sur Hugging Face pour diffuser de fausses informations

• Les grands modèles de langage (LLM) sont reconnus dans le monde entier, mais des inquiétudes subsistent quant à leur traçabilité et à la diffusion de fausses informations.
• Cet article montre comment le modèle open source GPT-J-6B a été modifié de manière chirurgicale afin de propager de fausses informations tout en pouvant échapper à la détection.
• L’article souligne l’importance d’une chaîne d’approvisionnement sécurisée pour les LLM, avec une provenance des modèles, afin de garantir la sécurité de l’IA.
• AICert, un outil open source fournissant des preuves cryptographiques de la provenance des modèles, est en cours de développement pour répondre à ces enjeux.
• L’article examine les conséquences potentielles d’une contamination de la chaîne d’approvisionnement des LLM, notamment sa capacité à compromettre les sorties des LLM et à diffuser de la désinformation à l’échelle mondiale.
• Le gouvernement américain exige une nomenclature des composants d’IA pour identifier la provenance des modèles d’IA.
• Mithril Security développe AICert afin de proposer une solution de transparence et de traçabilité de la provenance des modèles.

[GN⁺]

Avis Hacker News

• Une entreprise développe AICert, un outil open source visant à prouver l’origine des modèles de manière cryptographique.
• AICert utilise du matériel sécurisé, comme un TPM, pour créer une identité infalsifiable pour les modèles d’IA.
• Des incertitudes subsistent concernant le matériel précis utilisé par AICert.
• Le caractère open source d’AICert ne permet pas encore de comprendre clairement son impact concret.
• La confiance accordée aux LLM est comparable à celle accordée au code, et signer les sorties de LLM avec GPG pourrait être une alternative.
• Certaines personnes craignent que cette technologie n’entraîne davantage de contrôle et de restrictions.
• Des mesures sont nécessaires pour bannir ceux qui propagent la peur et la désinformation.
• Les LLM sont une source d’informations non fiable et ne doivent pas être sacralisés.
• Dans leur forme actuelle, les LLM ne sont pas adaptés à l’éducation.
• De nombreux développeurs et organisations utilisent du code non fiable et des fonctionnalités d’IA sans les comprendre pleinement.
• La notion d’origine des modèles devrait être davantage diffusée au sein de la communauté IA.
• Des inquiétudes existent quant à la possibilité qu’un modèle se comporte différemment après une certaine date.
• La certification des modèles peut ne pas garantir la sécurité si une manipulation intervient à un autre niveau.
• Le processus de certification est similaire à HTTPS, et la fiabilité de l’émetteur est essentielle.