La Cour suprême indienne réagit vivement après qu’un juge de première instance a cité une fausse décision générée par l’IA

• Il a été révélé qu’un juge d’un tribunal de première instance dans l’État indien de l’Andhra Pradesh a cité des décisions fictives générées par l’IA dans une affaire de litige immobilier
• La Cour suprême a qualifié l’affaire de “préoccupation institutionnelle” et l’a considérée non comme une simple erreur de jugement, mais comme une « faute professionnelle » (misconduct)
• Le juge concerné a déclaré qu’il utilisait un outil d’IA pour la première fois et qu’il croyait que les citations étaient authentiques, mais la Cour suprême a suspendu les effets de la décision de première instance
• La Haute Cour indienne avait maintenu la décision en reconnaissant la bonne foi du juge à l’époque, mais la Cour suprême met l’accent sur les problèmes de procédure liés à l’usage de l’IA
• Cette affaire met en lumière l’impact de l’IA sur la procédure judiciaire et des cas similaires ont été signalés non seulement en Inde, mais aussi aux États-Unis et au Royaume-Uni

---

Aperçu de l’affaire

• La Cour suprême indienne enquête sur une affaire dans laquelle un juge d’un tribunal civil de première instance à Vijayawada, dans l’État de l’Andhra Pradesh, a tranché un litige immobilier en citant de faux précédents générés par l’IA
  • L’affaire a été portée devant la Cour suprême après l’appel de la partie défenderesse
  • La Cour suprême l’a qualifiée de « question affectant directement la fiabilité et l’intégrité de la procédure judiciaire »
• Les faits remontent à août 2025, et le juge a cité quatre décisions antérieures, toutes identifiées comme de faux documents générés par l’IA

Décisions de première instance et de la Haute Cour

• Le défendeur a fait appel devant la Haute Cour en faisant valoir que les précédents cités étaient faux
  • La Haute Cour a reconnu que le juge avait commis une « erreur de bonne foi » et a maintenu la décision elle-même
  • Elle a précisé que « même si les citations n’existent pas, il n’y a pas lieu d’annuler la décision si l’application du droit est correcte »
• La Haute Cour a demandé au juge de remettre un rapport, et celui-ci a déclaré qu’il utilisait un outil d’IA pour la première fois et avait fait confiance à des documents générés automatiquement
  • Il a expliqué qu’« il n’avait aucune intention de mal citer ou de déformer les références, et que l’erreur résultait de sa dépendance à une source automatisée »
• La Haute Cour a ajouté qu’« il faut faire appel à l’intelligence réelle plutôt qu’à l’intelligence artificielle »

Réaction de la Cour suprême

• La Cour suprême a immédiatement suspendu (stay) la décision de première instance et a qualifié l’usage de l’IA non de simple erreur, mais de « faute professionnelle »
  • Elle a souligné que « cette affaire porte moins sur le contenu de la décision que sur la procédure judiciaire et le processus même de décision »
• La Cour suprême a informé le procureur général, le conseiller juridique et le Bar Council of India et a décidé de poursuivre l’examen de l’affaire

Le choc entre l’IA et la procédure judiciaire

• La Cour suprême indienne a récemment exprimé son inquiétude concernant les cas où des avocats rédigent des requêtes à l’aide d’outils d’IA
  • Selon le média juridique spécialisé LiveLaw, la Cour suprême a déclaré qu’« une telle pratique ne peut en aucun cas être justifiée »
• Des erreurs judiciaires liées à l’usage de l’IA ont été signalées non seulement en Inde, mais aussi aux États-Unis et au Royaume-Uni
  • En octobre 2025, il a été révélé que deux juges fédéraux américains avaient rédigé des décisions erronées à cause de l’usage de l’IA
  • En juin 2025, la Haute Cour d’Angleterre et du Pays de Galles a adressé aux avocats un avertissement interdisant l’usage de précédents générés par l’IA

Réponse de la justice indienne face à l’IA

• En 2025, la Cour suprême indienne a publié un livre blanc (white paper) sur l’usage de l’IA dans le système judiciaire
  • Ce document comprend des directives d’usage de l’IA et des bonnes pratiques
• La Cour suprême souligne l’importance de la supervision humaine (human oversight) et du maintien de garde-fous institutionnels
• Cette affaire montre que le système judiciaire indien est en quête d’un équilibre entre adoption et contrôle de l’IA

[GN⁺]

Avis Hacker News

• Dire que l’IA remplace les humains semble exagéré.
  Au final, il faut toujours quelqu’un pour assumer la responsabilité, et s’il y a un problème, quelqu’un devra être licencié ou aller en prison.
  L’IA peut améliorer la productivité, mais un système dont l’humain est totalement absent a de fortes chances d’aboutir à une catastrophe ou à un procès.
  C’est aussi pour cela que les entreprises n’obtiennent pas le ROI qu’elles espéraient.
  En pratique, la plupart des licenciements justifiés par « grâce à l’IA, la productivité a augmenté » n’étaient qu’un prétexte pour masquer de mauvais résultats.

  • C’est encore plus évident pour les professions comme avocat ou médecin, qui exigent une qualification légale.
    Si l’IA n’est qu’un outil, la responsabilité incombe à l’utilisateur ; et si elle a été traitée comme « le travail de quelqu’un d’autre », alors cela revient à déléguer à une personne non qualifiée, donc la faute reste celle de l’utilisateur.
  • Quand j’étais petit, j’entendais souvent dire que « l’ordinateur est tombé en panne », alors qu’en réalité c’était une erreur de code humaine.
    Pourtant, j’ai rarement vu quelqu’un être tenu responsable pour cela.
  • L’usage de l’IA a aussi besoin d’une hygiène.
    Le texte généré par un LLM devrait être affiché dans un bloc Unicode distinct afin d’indiquer clairement qu’il s’agit d’un contenu généré par IA.
    Le dissimuler ou le manipuler, c’est un peu comme un médecin qui opère sans se laver les mains.
  • En réalité, les juges non plus ne sont souvent pas tenus responsables de décisions erronées.
    On parle de « checks and balances », mais le pouvoir judiciaire semble y échapper.
  • Si les entreprises ne voient pas de ROI avec l’IA, c’est peut-être aussi parce que les employés utilisent l’IA avec des comptes personnels et gardent pour eux le gain d’efficacité.
    Un rapport du MIT indique également que la plupart des employés utilisent l’IA via un compte personnel plutôt qu’un compte d’entreprise.

• L’excuse de « l’erreur due à une dépendance à une source automatisée » ne tient pas.
  Dans n’importe quelle profession, quand on automatise avec un LLM, la responsabilité reste celle du professionnel.
  Prétendre qu’on ne connaissait pas l’outil et rejeter la faute sur lui n’a aucun sens, y compris sur le plan juridique.

  • Utiliser un LLM n’est au fond que la dernière version d’une externalisation à bas coût.
    Comme à l’époque où un ingénieur certifié se contentait de signer un travail sous-traité, on essaie de faire toujours plus vite et moins cher, au prix de la disparition progressive des garde-fous.
    Le LLM ne cause pas cette régression : il la met en lumière.
    J’aime moi aussi l’IA, mais elle exige un usage responsable.
  • L’intention compte.
    En droit, l’erreur et l’acte volontaire doivent être traités différemment.
  • Accuser uniquement les gens ne résoudra rien.
    Si cela se répète, il faut aussi ajuster l’outil lui-même.
    Même si l’utilisateur a tort à chaque fois, si le même problème continue d’apparaître de façon systémique, c’est au final un défaut de conception de l’outil.
  • Le problème des hallucinations des LLM est déjà largement connu.
    Prétendre l’ignorer relève de la paresse ou de l’incompétence.

• Je me demande quand les avocats comprendront enfin qu’ils doivent vérifier eux-mêmes ce qu’un LLM leur dit.

  • La plupart des gens finiront de toute façon par ne pas vérifier.
    Comme avec les voitures autonomes, le modèle « n’intervenir qu’en cas de besoin » est condamné à l’échec à cause des limites de l’attention humaine.
    L’idée selon laquelle « l’humain doit simplement mieux vérifier » ne fonctionne pas dans la réalité.
  • Les gens ont tendance à faire confiance aux LLM à cause de leur ton assuré.
    C’est précisément ce qu’il y a de plus dangereux.
  • En réalité, les LLM ressemblent un peu à un miroir de l’état de dégradation de notre société.
  • Ce genre d’affaire n’apparaît dans l’actualité que dans quelques cas ; en pratique, il est fort possible que tout le monde fasse des erreurs similaires.
  • Cette semaine, j’ai remonté des citations d’articles scientifiques : 25 % étaient totalement fabriquées, et la moitié du reste était aussi erronée.
    Ce n’est pas un problème propre aux avocats.

• La recommandation de la Cour suprême, qui a dit de « faire preuve d’une intelligence réelle plutôt que d’intelligence artificielle », m’a marqué.

• Au final, on risque surtout de voir proliférer des articles remplis de fausses citations.
  Si l’IA s’entraîne sur ce type de documents, il y a un risque que, sur Internet, les informations hallucinées dépassent les vraies informations.

• C’est le même problème aux États-Unis et au Royaume-Uni.
  Les avocats sont peu à l’aise avec la technologie et, en modifiant eux-mêmes des documents produits par des chatbots, ils introduisent inévitablement des erreurs.
  Des cas liés à cela sont aussi évoqués dans le rapport de Doughty Street.

• Le système juridique lui-même produit énormément de boilerplate inutile.
  Les avocats ne lisent pas tout non plus et se contentent souvent de parcourir les sections utiles.
  L’usage irresponsable de l’IA est un problème, mais c’est aussi une occasion de simplifier la structure des documents juridiques.
  Le droit n’est pas du code, mais les structures excessivement complexes laissent une marge d’amélioration.

  • Le langage juridique a besoin de formulations précises pour éliminer l’ambiguïté.
    Le simplifier peut au contraire accroître la place laissée à l’interprétation et multiplier les litiges.
    Le legalese reste au fond un mécanisme destiné à réduire le doute.
  • Les documents juridiques ressemblent un peu à du code auquel on a sans cesse ajouté des couches.
    Une structure surchargée d’ajouts décoratifs, sans véritable simplification de fond.

• Ce problème va s’aggraver dans tous les secteurs.
  Je travaille sur des contre-mesures dans la fintech, et l’approche de Resemble AI me paraît la plus pratique.
  L’essentiel n’est pas seulement le texte, mais aussi la détection du clonage vocal par IA et le watermarking.
  La réalité d’une réponse toujours en retard sur la menace n’est pas facile.

• L’excuse de « l’erreur due à une dépendance à une source automatisée » revient un peu à dire :
  « le pistolet était automatique, donc si quelqu’un est mort, ce n’est pas ma faute ».

• La prédiction du token suivant et les hallucinations ne sont pas de simples bugs.
  Dans des domaines où la fiabilité et l’intégrité sont essentielles, laisser passer ce genre de problème est extrêmement dangereux.