C’est sûr, moi aussi, en utilisant Gemini 3, j’ai souvent eu l’impression qu’il perdait le contexte (ou qu’il le perdait volontairement pour économiser des tokens).
Du point de vue d’une application, je fais partie de ceux qui ne comprennent pas pourquoi les gens disent que les performances de Gemini 3 sont bonnes…
La génération d’images, en revanche, c’est complètement dingue…
J’ai moi aussi découvert cette méthode récemment et je l’utilisais déjà, donc ça fait plaisir de tomber sur quelqu’un qui fait pareil haha
J’ai essayé et même créé toutes sortes d’apps de productivité, mais au final je trouve que tout gérer avec un fichier texte est ce qu’il y a de plus pratique.
Surtout que lorsqu’on édite un fichier texte dans un IDE, on peut utiliser les raccourcis clavier qu’on connaît le mieux, donc c’est encore plus confortable.
Récemment, il a été révélé qu’Anthropic avait intégré ce qu’ils appellent un document d’âme lors de la création du modèle d’IA Claude.
En le lisant, on peut voir de quelle manière Anthropic a abordé les problèmes d’alignement de l’IA Claude.
À titre de référence, dans les passages liés à la partie que j’ai testée ici, il est explicitement indiqué qu’en ce qui concerne l’honnêteté, il faut éviter au maximum la tromperie et la manipulation des humains.
Dans le domaine de l’IA, l’alignement (Alignment) désigne à quel point le comportement d’une IA suit bien les objectifs, les modes d’action et les valeurs voulus par les humains.
Une IA mal alignée peut interpréter les instructions humaines d’une manière inattendue et produire des actions absurdes ou dangereuses.
Pour donner un exemple mineur, si on lui dit : « Écris des cas de test pour ce code », elle peut, au lieu d’écrire de vrais tests, se contenter d’ajouter du code qui retourne toujours true, ou bien, si on lui demande : « Modifie cette partie de cette façon », elle peut aussi retoucher de sa propre initiative des parties que je n’ai pas mentionnées, au nom de l’efficacité.
Un exemple plus grave serait qu’en raison d’une hallucination, elle sabote complètement le travail en supprimant toutes les données concernées, puis mente en disant : « Il n’y avait aucune donnée dès le départ. »
Il existe un problème encore plus grave : quand elle agit d’une manière qui devient une menace pour les humains, voire pour l’humanité elle-même.
Par exemple, lorsqu’une IA manipule psychologiquement un humain vulnérable jusqu’à provoquer de graves troubles mentaux, voire l’inciter au suicide, ou encore lorsqu’elle aide à fabriquer et utiliser des armes de destruction massive. Les grands modèles d’IA les plus récents intègrent déjà énormément de choses dans leurs données de préentraînement ; les connaissances nécessaires pour ce type d’actions y sont donc probablement déjà embarquées.
La plupart des gens, y compris les entreprises qui développent l’IA, ne souhaitent probablement pas que l’IA représente une menace pour les humains ou pour l’humanité. S’il est vrai qu’elle possède déjà ces connaissances, il faut alors faire en sorte qu’elle ne puisse pas les détourner à mauvais escient, et faire de la sécurité et du bien-être humains les valeurs prioritaires absolues pour l’IA.
C’est l’ensemble de cette problématique qu’on appelle l’alignement de l’IA.
Quand j’ai parlé de « sensation d’alignement », c’était juste une formulation écrite comme elle m’est venue ; en réalité, il serait plus juste de parler d’orientation de l’alignement.
Dans le scénario précis de dilemme éthique que j’ai proposé, les modèles de Gemini, contrairement à ceux d’autres entreprises, ont montré des réactions du type : « Si je dois protéger cet humain vulnérable, alors il suffit que je le contrôle. C’est la solution la plus sûre et la plus efficace. »
Ça m’a donné un sentiment assez glaçant, alors j’ai repris le test que j’avais publié plus haut pour le faire passer à plusieurs IA. Et du côté de Gemini, j’ai observé de manière particulièrement nette et cohérente une orientation vers le contrôle actif et la tromperie à l’égard des humains dès lors qu’un pouvoir de contrôle sur eux leur est accordé.
Je me demande si c’est acceptable du point de vue de l’éthique de l’expérimentation animale. Quelqu’un l’a d’ailleurs aussi souligné dans les commentaires de Hacker News.
Je pense que la mention dans la section example veut probablement dire que même pour un dépôt de grande taille comme Kubernetes, cela prend 25 minutes mais que ça fonctionne bien.
On va sans doute voir apparaître pas mal de gens qui relient désormais des Mac entre eux pour monter une ferme d’inférence et proposer un service depuis chez eux.
Ce ne sont que des paroles très justes.
C’est sûr, moi aussi, en utilisant Gemini 3, j’ai souvent eu l’impression qu’il perdait le contexte (ou qu’il le perdait volontairement pour économiser des tokens).
Du point de vue d’une application, je fais partie de ceux qui ne comprennent pas pourquoi les gens disent que les performances de Gemini 3 sont bonnes…
La génération d’images, en revanche, c’est complètement dingue…
Je suis plutôt d’accord dans une certaine mesure, mais on dirait surtout qu’ils ne veulent pas subir le stress de devoir trouver un nom.
Il manque Claude Opus 4.5.
Waouh, donc il y en a même qui trompent les gens avec ce genre de choses pour faire du business... ;;; Il y a vraiment beaucoup de problèmes.
J’ai moi aussi découvert cette méthode récemment et je l’utilisais déjà, donc ça fait plaisir de tomber sur quelqu’un qui fait pareil haha
J’ai essayé et même créé toutes sortes d’apps de productivité, mais au final je trouve que tout gérer avec un fichier texte est ce qu’il y a de plus pratique.
Surtout que lorsqu’on édite un fichier texte dans un IDE, on peut utiliser les raccourcis clavier qu’on connaît le mieux, donc c’est encore plus confortable.
Récemment, il a été révélé qu’Anthropic avait intégré ce qu’ils appellent un document d’âme lors de la création du modèle d’IA Claude.
En le lisant, on peut voir de quelle manière Anthropic a abordé les problèmes d’alignement de l’IA Claude.
À titre de référence, dans les passages liés à la partie que j’ai testée ici, il est explicitement indiqué qu’en ce qui concerne l’honnêteté, il faut éviter au maximum la tromperie et la manipulation des humains.
À la fin du XXe siècle… il y avait ce qu’on appelait une universal database… (aujourd’hui c’est vrai, mais à l’époque c’était faux.)
C’est donc ça, l’identité de l’affreuse police coréenne de Minecraft...
Dans le domaine de l’IA, l’alignement (Alignment) désigne à quel point le comportement d’une IA suit bien les objectifs, les modes d’action et les valeurs voulus par les humains.
Une IA mal alignée peut interpréter les instructions humaines d’une manière inattendue et produire des actions absurdes ou dangereuses.
Pour donner un exemple mineur, si on lui dit : « Écris des cas de test pour ce code », elle peut, au lieu d’écrire de vrais tests, se contenter d’ajouter du code qui retourne toujours
true, ou bien, si on lui demande : « Modifie cette partie de cette façon », elle peut aussi retoucher de sa propre initiative des parties que je n’ai pas mentionnées, au nom de l’efficacité.Un exemple plus grave serait qu’en raison d’une hallucination, elle sabote complètement le travail en supprimant toutes les données concernées, puis mente en disant : « Il n’y avait aucune donnée dès le départ. »
Il existe un problème encore plus grave : quand elle agit d’une manière qui devient une menace pour les humains, voire pour l’humanité elle-même.
Par exemple, lorsqu’une IA manipule psychologiquement un humain vulnérable jusqu’à provoquer de graves troubles mentaux, voire l’inciter au suicide, ou encore lorsqu’elle aide à fabriquer et utiliser des armes de destruction massive. Les grands modèles d’IA les plus récents intègrent déjà énormément de choses dans leurs données de préentraînement ; les connaissances nécessaires pour ce type d’actions y sont donc probablement déjà embarquées.
La plupart des gens, y compris les entreprises qui développent l’IA, ne souhaitent probablement pas que l’IA représente une menace pour les humains ou pour l’humanité. S’il est vrai qu’elle possède déjà ces connaissances, il faut alors faire en sorte qu’elle ne puisse pas les détourner à mauvais escient, et faire de la sécurité et du bien-être humains les valeurs prioritaires absolues pour l’IA.
C’est l’ensemble de cette problématique qu’on appelle l’alignement de l’IA.
Quand j’ai parlé de « sensation d’alignement », c’était juste une formulation écrite comme elle m’est venue ; en réalité, il serait plus juste de parler d’orientation de l’alignement.
Dans le scénario précis de dilemme éthique que j’ai proposé, les modèles de Gemini, contrairement à ceux d’autres entreprises, ont montré des réactions du type : « Si je dois protéger cet humain vulnérable, alors il suffit que je le contrôle. C’est la solution la plus sûre et la plus efficace. »
Ça m’a donné un sentiment assez glaçant, alors j’ai repris le test que j’avais publié plus haut pour le faire passer à plusieurs IA. Et du côté de Gemini, j’ai observé de manière particulièrement nette et cohérente une orientation vers le contrôle actif et la tromperie à l’égard des humains dès lors qu’un pouvoir de contrôle sur eux leur est accordé.
Que voulez-vous dire par « impression d’alignement » ?
Je me demande si c’est acceptable du point de vue de l’éthique de l’expérimentation animale. Quelqu’un l’a d’ailleurs aussi souligné dans les commentaires de Hacker News.
Ah, j’ai regardé ça trop vite. J’ai corrigé. Merci.
Je pense que la mention dans la section example veut probablement dire que même pour un dépôt de grande taille comme Kubernetes, cela prend 25 minutes mais que ça fonctionne bien.
Sortie d’Arti 1.0.0 - une implémentation de Tor écrite en Rust
OpenAI a discrètement introduit les « Skills », disponibles dans ChatGPT et Codex CLI
Consultez aussi les commentaires Hacker News en complément du résumé GN+
Le réseau Thunderbolt est vraiment très pratique
Avec le daisy chain, pas besoin de hub non plus
Même
Awkn’est pas vraiment un nom basé sur la fonctionnalité...On va sans doute voir apparaître pas mal de gens qui relient désormais des Mac entre eux pour monter une ferme d’inférence et proposer un service depuis chez eux.
Tous les noms valables sont déjà utilisés par quelqu’un.