- Une expérience comparant les LLM à des junior lawyers et à l’externalisation des processus juridiques (LPO) dans la revue de contrats, en prenant les décisions de senior lawyers comme référence correcte et en évaluant à la fois l’identification des points juridiques, la localisation des passages, la vitesse et le coût
- Pour l’identification des points juridiques, GPT4-1106 obtient un F-score de 0,871, presque identique à celui du LPO (0,874) et supérieur à celui des junior lawyers (0,860), mais pour la localisation des passages, le LPO (0,770) devance GPT4-32k (0,740)
- L’expérience a utilisé 10 contrats d’approvisionnement anonymisés ; les NDA ont été exclus car les documents sont courts et peu adaptés à une évaluation complexe, et l’échantillon inclut de façon équilibrée des contrats relevant des juridictions des États-Unis et de la Nouvelle-Zélande
- Les LLM étaient nettement en tête en vitesse de revue : le temps moyen était de 56,17 minutes pour les junior lawyers et 201 minutes pour le LPO, contre 4,70 minutes pour GPT4-1106, 2,11 minutes pour GPT4-32k et 0,73 minute pour Palm2 text-bison
- Le coût par contrat est calculé à 0,02 dollar pour Claude 2.0 et Claude 2.1, et 0,25 dollar pour GPT4-1106, soit jusqu’à 99,97 % d’économies par rapport aux junior lawyers (74,26 dollars) et au LPO (36,85 dollars)
Ce qui a été comparé dans la revue de contrats
- L’objectif était d’évaluer si les LLM peuvent égaler ou dépasser les junior lawyers et le LPO dans les tâches de revue de contrats à grande échelle, en termes de précision, de vitesse et d’efficacité économique
- La tâche comparée consistait à déterminer les points juridiques présents dans un contrat et à retrouver l’emplacement des clauses ayant influencé cette décision
- Les résultats des LLM, des junior lawyers et du LPO ont été comparés aux décisions établies par des senior lawyers, utilisées comme référence correcte
- Les questions de recherche se résument en trois points
- Les LLM sont-ils meilleurs que les junior lawyers et le LPO pour identifier les points juridiques dans les contrats et en localiser les passages ?
- Les LLM peuvent-ils examiner les contrats plus rapidement ?
- Les LLM peuvent-ils examiner les contrats à moindre coût ?
Jeu de données et conception de l’expérience
- Le jeu de données se compose de 10 contrats d’approvisionnement issus de véritables contrats juridiques et anonymisés pour préserver la confidentialité
- Les contrats d’approvisionnement ont été choisis comme type de contrat très fréquemment revu dans la pratique juridique, tandis que les NDA ont été jugés généralement trop courts pour évaluer suffisamment la capacité des LLM à traiter des points juridiques complexes
- Les juridictions couvertes incluent de manière équilibrée des contrats des États-Unis et de Nouvelle-Zélande
- Les États-Unis sont traités comme un système combinant droit écrit et common law
- La Nouvelle-Zélande est traitée comme un système fondé sur la common law
- Chaque contrat est analysé selon une structure en deux éléments : un scénario documentaire et un playbook de revue contractuelle
- Le scénario documentaire fournit la juridiction, l’historique, la taille de l’organisation et le contexte des produits ou services des parties au contrat
- Le playbook de revue fournit des points de contrôle standardisés dérivés de cas réels
- Les senior lawyers déterminent si chaque contrat satisfait des critères prédéfinis et identifient les parties spécifiques du contrat ayant influencé leur jugement
- Les cas où le critère n’est pas satisfait parce que les informations pertinentes sont absentes du contrat sont aussi explicitement consignés
- Les résultats de plusieurs senior lawyers sont agrégés selon le critère de l’opinion majoritaire
- L’étude a été menée conformément aux règles éthiques d’Onit Inc., incluant l’information des participants, le droit de retrait, l’anonymisation, la dé-identification des données contractuelles, ainsi que l’implication et l’audit d’un comité d’éthique
Choix des modèles et prompts
- Les modèles ont été sélectionnés en tenant compte des principaux fournisseurs du domaine des LLM, des résultats de tests préliminaires et de la taille de la fenêtre de contexte
- Les modèles incapables de traiter au moins 16 000 tokens ont été exclus, car il leur était difficile de gérer le contexte complet d’un contrat
- LLaMA2 et Amazon Titan nécessitaient de diviser les documents en plusieurs parties et de répéter pour chacune le scénario, le playbook et les clauses de définition
- Des techniques comme le RAG ont aussi été examinées, mais lors de l’évaluation préliminaire elles introduisaient des discontinuités dans la compréhension du contexte contractuel, les rendant peu adaptées à une comparaison avec la compréhension d’un avocat humain
- Les modèles et paramètres inclus dans l’évaluation sont les suivants
- GPT4 32k : temperature 0.2, entrée 32 768 tokens, données d’entraînement jusqu’en septembre 2021
- GPT4-1106 : temperature 0.2, entrée 128 000 tokens, données d’entraînement jusqu’en avril 2023
- GPT3.5-turbo-16k : temperature 0.2, entrée 16 385 tokens, données d’entraînement jusqu’en septembre 2021
- Claude 2.1 : temperature 0.2, entrée 200 000 tokens, données d’entraînement jusqu’au début 2023
- Claude 2.0 : temperature 0.2, entrée 100 000 tokens, données d’entraînement jusqu’au début 2023
- Palm2 Text-bison-32k-2 : temperature 0.2, entrée 32 768 tokens, données d’entraînement jusqu’à mi-2021
- Les prompts sont structurés autour du rôle, de la tâche et du contexte
- Le rôle amène le modèle à adopter une persona d’avocat
- La tâche consiste à examiner le contrat selon les critères fournis et à déterminer l’existence des points juridiques ainsi que leur emplacement
- Le contexte est construit de manière similaire aux consignes fournies aux avocats, aux LPO et aux réviseurs de contrats : lectorat visé du contrat, historique des parties, scénario de négociation, etc.
Précision : résultats proches sur l’identification des points, écart sur la localisation
- Le degré d’accord entre les groupes de praticiens du droit a été évalué avec l’alpha de Cronbach
- L’accord global entre participants était élevé, à 0,923366
- L’accord entre senior lawyers était le plus faible, à 0,719308
- Celui des junior lawyers était de 0,765058
- Le LPO affichait une concordance parfaite des réponses, à 1,0
- Pour l’identification des points juridiques, les meilleurs résultats au F-score sont ceux du LPO et de GPT4-1106
- LPO : precision 0,933, recall 0,823, F-score 0,874
- GPT4-1106 : precision 0,835, recall 0,910, F-score 0,871
- Junior Lawyer : precision 0,876, recall 0,845, F-score 0,860
- Claude 2.0 et GPT4-32k ont obtenu respectivement des F-scores de 0,817 et 0,820
- GPT3.5 atteint 0,657 et Palm2 text-bison 0,708, des scores plutôt faibles
- Pour la localisation des points juridiques, le LPO obtient le F-score le plus élevé
- LPO : precision 0,915, recall 0,666, F-score 0,770
- GPT4-32k : precision 0,847, recall 0,660, F-score 0,740
- Claude 2.1 : precision 0,911, recall 0,569, F-score 0,701
- GPT4-1106 : precision 0,857, recall 0,575, F-score 0,686
- Junior Lawyer : precision 0,866, recall 0,542, F-score 0,667
- Palm2 text-bison affiche le F-score le plus faible, à 0,452
- Les LLM peuvent être comparables ou supérieurs aux junior lawyers et au LPO pour l’identification des points juridiques, mais pour désigner précisément l’emplacement des clauses, les écarts entre modèles sont importants et ils ne devancent pas toujours les praticiens humains
Vitesse, coût et limites à l’adoption
- Le temps moyen de revue par contrat était bien plus court pour les LLM que pour les praticiens humains
- Senior Lawyer : 43,46 minutes
- Junior Lawyer : 56,17 minutes
- LPO : 201,00 minutes
- GPT4-1106 : 4,70 minutes
- GPT4-32k : 2,11 minutes
- GPT3.5 : 1,44 minute
- Claude 2.1 : 2,05 minutes
- Claude 2.0 : 1,63 minute
- Palm2 text-bison : 0,73 minute
- Palm2 text-bison, le LLM le plus rapide, est calculé comme ayant terminé la revue de contrats 276 fois plus vite que le LPO et 77 fois plus vite qu’un junior lawyer
- La configuration, les tests, l’ajustement fin et la validation des prompts système des LLM ont pris en moyenne 16 heures, soit un niveau comparable au temps nécessaire pour confier une tâche similaire à des junior lawyers et au LPO
- Le coût moyen par contrat montre un écart important entre praticiens humains et LLM
- Senior Lawyer : 75,92 dollars
- Junior Lawyer : 74,26 dollars
- LPO : 36,85 dollars
- GPT4-1106 : 0,25 dollar
- GPT4-32k : 1,24 dollar
- GPT3.5 : 0,05 dollar
- Claude 2.1 : 0,02 dollar
- Claude 2.0 : 0,02 dollar
- Palm2 text-bison : 0,03 dollar
- Le calcul des coûts repose sur le temps moyen passé et le tarif horaire des praticiens humains, ainsi que sur le nombre moyen de tokens d’entrée et de sortie des LLM et le prix par token
- Palm2 text-bison est calculé sur la base d’un prix au nombre de caractères, et non de tokens
- Les LLM dont la performance de localisation des points juridiques est faible peuvent présenter des limites pour annoter seuls des contrats ; dans le domaine juridique, le choix du modèle est donc aussi important que la performance et le coût
1 commentaires
Avis de Hacker News
Je dirige une startup de génération de contrats juridiques qui transforme des contrats rédigés par des avocats en modèles, et j’ai aussi expérimenté quelques fonctionnalités d’analyse par GPT pour permettre à des non-spécialistes de lire des contrats et de poser des questions.
Pour la revue de contrats, GPT s’est montré plus fort en analyse de documents qu’en génération de documents, et cet article va dans le même sens. Cela dit, après avoir essayé plusieurs startups de revue de documents par IA, la plupart s’effondraient dès qu’on les poussait à donner des réponses précises. Cet article semble plutôt porter sur la recherche de clauses pertinentes que sur une conversation du type avocat-client.
GPT n’a aucune responsabilité juridique s’il donne une réponse fausse, donc il est utile quand une personne intelligente mène elle-même ses recherches. C’est assez similaire au fait qu’avant, une personne intelligente pouvait déjà faire ses propres recherches avec Google.
Sur la génération de contrats, dans la plupart des cas, je pense qu’un référentiel de contrats standard bien rédigés et relus est plus utile que GPT générant à chaque fois un contrat unique à la volée. Les avocats gardent jalousement leurs contrats, et il a été très difficile de trouver des avocats prêts à rédiger des contrats que nous pourrions transformer en modèles. Au fond, cela revient à réduire leurs propres sources de revenus futurs et celles de leur communauté professionnelle. L’entraînement de GPT-4 a coûté des centaines de millions de dollars, mais dépenser seulement 10 millions de dollars pour constituer un référentiel de contrats bien relus aurait sans doute été plus utile que d’entraîner un modèle de génération de contrats avec la même somme.
Les gens posent des questions assez variées sur ce qu’ils veulent faire avec des documents, et GPT n’était pas encore très bon là-dessus. À court terme, il semble que les avocats auront encore du travail.
Par exemple, il y a une vingtaine d’années, du moins là où je vis, les architectes non plus ne voulaient pas créer des plans destinés à être vendus à bas prix à beaucoup de monde. Ils pensaient que ce type de plans réduirait le marché des prestations d’architecture. Pourtant, il est facile de voir que la plupart des gens n’ont pas vraiment besoin d’un plan unique.
Au final, le marché ne s’en est pas beaucoup soucié, et dès que quelqu’un a pu créer une bibliothèque de plans utilisable et un modèle économique, le problème s’est réglé de lui-même. Du point de vue des architectes, il ne restait plus qu’à coopérer pour en sauver une partie, ou perdre.
Je pense que les avocats suivront la même voie. Les tâches les plus faciles et les plus rentables seront automatisées, ils traverseront une période difficile, le marché des services juridiques se contractera, et ce qui restera sera le travail plus complexe que l’automatisation ne sait pas traiter.
J’ai eu l’impression qu’ils accordaient au contraire beaucoup d’importance à des sujets qui ne me semblaient pas majeurs, comme le sort des animaux de compagnie. Je pouvais retoucher le résultat pour l’adapter à mon cas, mais pour un service à 150 dollars, j’en attendais davantage.
L’entreprise à laquelle je pense laisse entendre dans ses supports marketing qu’il s’agit d’une solution entièrement fondée sur l’IA, mais en pratique, elle ne semble pas fonctionner uniquement avec de l’IA.
Dans des cas extrêmes, cela peut devenir une question déontologique et entraîner des sanctions du barreau, mais la plupart du temps, n’y a-t-il pas seulement des conséquences de réputation ? Existe-t-il des situations où l’on peut engager la responsabilité juridique d’un avocat pour un contrat mal rédigé ?
Parmi les domaines où les LLM peuvent aider, le droit me paraît particulièrement prometteur. D’ici 5 à 10 ans — et à voir cet article, on y est peut-être déjà presque — j’imagine pouvoir discuter pendant quelques heures avec un LLM « avocat » ayant accès à mes documents fiscaux, médicaux, d’assurance et matrimoniaux, et obtenir des conseils et informations personnalisés sans payer 500 dollars de l’heure.
Une vague de gens ordinaires mieux informés juridiquement arrive, et je m’en réjouis vraiment.
J’ai déjà interrogé des LLM sur des licences logicielles et leurs conséquences juridiques, et j’ai pu poser les bases sans faire intervenir un expert coûteux pour des questions de projet personnel.
En revanche, si beaucoup d’argent dépend de la décision, je ferai évidemment appel à un professionnel. Sur ce type de sujet, « globalement correct » ne suffit pas.
Notre cœur de métier est la génération de documents juridiques, et cela fonctionne avec de la logique à base de règles, pas avec de l’IA. Comme résultat de notre activité principale, nous possédons déjà les documents juridiques des utilisateurs, ce qui nous place dans une très bonne position pour créer une fonctionnalité de chat IA auxiliaire liée à ces documents.
Récemment, nous avons déployé en production une IA de recommandation de produits. Une partie est à base de règles, et les formulations de recommandation personnalisées sont générées par GPT-4. Nous développons actuellement une fonctionnalité de chat IA pour aider les utilisateurs à comprendre plusieurs documents juridiques et nos services. Nous voulons remplacer le support client de premier niveau par ce chat IA, mais avant de vous énerver, sachez que le support client de premier niveau actuel est une très mauvaise IA à base de règles.
Le site principal en finnois est https://aatos.app. Nous proposons aussi certains services pour la Suède et le Danemark, et nous avons récemment lancé au Royaume-Uni uniquement le service de signature électronique pour commencer.
Je réserve mon jugement sur la possibilité d’appliquer les LLM au domaine juridique tant qu’ils n’auront pas été testés sur d’autres tâches que la revue de documents et de contrats. Dans le droit des grandes entreprises, la revue de contrats est souvent externalisée à des centaines de jeunes diplômés ; cela ressemble davantage à un travail de correction qui mobilise très peu les compétences réelles d’un avocat, tout en augmentant les revenus des entreprises
Les services juridiques que les particuliers achètent le plus souvent concernent les affaires familiales, les affaires pénales, les petits litiges, etc. Je ne pense pas qu’un LLM du futur proche puisse gérer l’analyse factuelle et contextuelle nécessaire à une procédure pénale pour crime grave. Je n’ai pas non plus vu de démonstration montrant qu’un LLM puisse appréhender les dynamiques familiales individuelles, propres à chaque dossier et complexes, nécessaires dans une affaire de garde d’enfant ou un divorce conflictuel
Je ne vois aucune raison de ne pas adopter les LLM comme outils pour les avocats, mais je ne pense absolument pas que cette technologie soit prête à être intégrée à la pratique réelle au-delà des tâches répétitives de correction juridique
Sans émotions, sans point de vue personnel, et sans la jurisprudence construite à partir de tout cela, je ne sais pas très bien à quoi ressembleraient ces affaires
Je dirige la data et l’IA dans une société de courtage en assurance commerciale fondée sur la technologie. Nous utilisons GPT-4 pour créer un outil d’analyse approfondie de contrats spécialisé dans les exigences d’assurance, et lorsque j’étais chez Google, j’ai aussi construit plusieurs solutions LLM pour l’équipe juridique de Google, de la classification de brevets à l’aide à la discovery
Les modèles de langage excellent à digérer le langage juridique et à analyser une situation. Mais beaucoup d’applications juridiques sont liées à des décisions importantes où l’erreur n’est pas permise, comme « est-ce couvert contractuellement par le programme d’assurance actuel ? ». Nous concevons donc les produits LLM dans le domaine juridique selon les principes suivants
Ce doivent être des outils human-in-the-loop utilisés avec des experts. Dans la mesure du possible, ils doivent être conçus comme une aide à la décision, et non comme de l’automatisation ; cela permet tout de même des gains de temps considérables
Il faut de la transparence et des citations. Si c’est un outil utilisé avec un humain, il doit intégrer des mécanismes de confiance. Qu’il s’agisse de mettre en évidence les clauses du document auxquelles le LLM s’est référé, ou d’expliquer pourquoi une partie de l’analyse n’a pas été fournie, il est important de citer les fondements
Il faut l’optimiser pour la précision plutôt que pour le rappel. Dans beaucoup de cas d’usage juridiques, les faux positifs et les hallucinations sont particulièrement problématiques ; ajuster le modèle ou le prompt autour de la précision aide à les réduire
Je me demande aussi si « l’optimiser pour la précision » signifie du prompt engineering, ou bien un véritable fine-tuning de GPT-4
Cet article n’est pas totalement dépourvu de mérite, mais il ressemble à un prétexte pour faire des déclarations exagérées sur toute une profession ou une « industrie ». Peut-être pour gagner en visibilité et vendre quelque chose plus tard
Le pire, c’est qu’en guise de travaux antérieurs, il ne cite qu’un seul préprint. Et ce document porte lui-même sur le raisonnement juridique général, pas sur la revue de contrats. Une partie de LegalBench relève bien sûr de « l’interprétation » et s’appuie sur des benchmarks existants de revue de contrats, mais ils auraient pu trouver des articles plus pertinents
L’automatisation de la revue de documents juridiques, y compris les tâches de question-réponse, est un domaine très actif du traitement automatique du langage depuis environ vingt ans, et l’est encore davantage depuis 2017. Au minimum, des outils comme Kira ou Luminance, même sans être fondés sur des LLM, sont assez largement utilisés par des directions juridiques et des cabinets d’avocats dans le monde entier. Les avocats en connaissent donc déjà les limites en pratique
Cela dit, les outils de type Kira ne mesurent pas les performances des modèles récents et n’utilisent pas non plus de benchmarks transparents. De ce point de vue, les résultats de benchmark de cet article sont un ajout bienvenu pour l’usage des LLM
Mais vu le périmètre limité — la revue de 10 documents avec un seul playbook d’examen — il n’y avait pas lieu d’aller jusqu’à parler d’« implications pour l’industrie ». C’est assez prétentieux, et cela montre davantage que les auteurs connaissent mal cette industrie que l’avenir du secteur des services juridiques
Si vous voulez comprendre les fonctionnalités et les limites, je recommande aussi ces lectures, légères mais instructives : https://kirasystems.com/science/, https://zuva.ai/blog/, https://www.atticusprojectai.org/cuad
Je me demande quelle argumentation juridique les avocats vont inventer pour affaiblir une technologie qui menace leur secteur
Les arguments iront du risque de défense inefficace à « pensez aux enfants ». Ils utiliseront tout ce qui peut aider à préserver leur monopole
Vu les affaires récentes où des avocats ont utilisé ChatGPT pour faire des recherches et aider à rédiger des écritures, avec de mauvais résultats, je ne suis pas entièrement convaincu par l’optimisme des commentaires ici
Construire un petit pipeline génération→vérification n’est pas trivial, mais ce n’est pas impossible non plus. Les affaires mentionnées ressemblent à la combinaison d’associates très paresseux et d’une compréhension très poor de ce que fait un LLM
En théorie, les phrases juridiques devraient être structurées un peu comme du code. Puisqu’elles ont une structure logique, elles peuvent être plus faciles à appliquer aux LLM que d’autres formes de langage naturel
Il y a eu au début des articles sur des avocats qui avaient soumis de « fausses » jurisprudences, mais la recomposition de la profession juridique n’est qu’une question de temps. Dans les cabinets d’avocats, beaucoup de personnes, comme les assistants, effectuent des tâches simples, et les LLM peuvent faire ce travail. Elles sont considérées comme des cols blancs, mais elles disparaîtront
Cela se passera de façon similaire au codage. C’est comme avoir un associé junior supplémentaire dont il faut vérifier le travail, et cela peut prendre en charge la rédaction de documents standard
On ne peut pas lui faire totalement confiance, mais on ne fait pas non plus totalement confiance à un développeur junior, n’est-ce pas ? Malgré tout, il vous amène jusqu’à 80 % du chemin
C’est un espace de problèmes intéressant. Il existe une théorie juridique de perturbation culturelle qui pourrait peut-être s’y appliquer
Imaginons un service de représentation personnelle à 99 dollars par mois qui fasse deux choses. 1) Il vous apprend à transférer tous vos actifs vers des instruments sûrs. 2) En même temps, il vous permet d’assurer vous-même votre défense. Le but n’est pas de gagner, mais d’enrayer le système. Une fois que vous avez signalé à la partie adverse que vous êtes juridiquement insolvable, si vous continuez à déposer des requêtes et rendez la procédure aussi pénible que possible, elle peut comprendre que les appels prendront cinq ans et finir par abandonner
Il est vrai que les avocats ne veulent pas céder leurs documents juridiques à des services de modèles, mais honnêtement, il pourrait suffire d’aller au tribunal, de collecter en masse des actes déposés et de les utiliser pour l’entraînement. Dans cette stratégie, il n’est pas nécessaire d’avoir d’excellents documents ni une grande théorie du droit. Il suffit que les documents respectent les exigences de dépôt du tribunal. Du genre : « Oui, il va falloir déposer les filles de votre femme de ménage à 400 dollars de l’heure, et si cela pose problème, nous pouvons parfaitement demander une audience. » Si suffisamment de personnes font cela, le système judiciaire s’arrêtera de fait et le pouvoir reviendra aux gens
En mémoire d’Aaron Swartz, mort en se battant pour ce type de cause
https://www.courts.ca.gov/12272.htm
[0]https://en.wikipedia.org/wiki/Paper_terrorism
« Dans toutes les poursuites pénales, l’accusé aura le droit de bénéficier de l’assistance d’un avocat pour sa défense » — sixième amendement de la Constitution des États-Unis
Si les LLM deviennent plus compétents qu’un avocat humain moyen, cette disposition exigera-t-elle toujours l’assistance d’un avocat humain ?
Peut-être que la caractéristique la plus importante d’un avocat n’est pas sa connaissance technique
Un LLM peut aider sur les questions factuelles, etc., et, s’il est correctement conçu, pourrait même offrir de meilleures garanties de confidentialité qu’un avocat. Bien sûr, il est peu probable que cela se produise réellement