Un projet qui cartographie presque toutes les lois, réglementations et décisions de justice australiennes
(umarbutler.com)- Australian law map place les lois, réglementations et décisions de justice du Open Australian Legal Corpus dans un espace sémantique à deux dimensions, afin de permettre d’explorer d’un seul coup d’œil la structure du système juridique australien
- Sur la carte, les différences de style et d’objectif selon le type de document pèsent plus fortement que le sujet traité, faisant apparaître une barrière invisible entre la jurisprudence et la législation
- Les frontières entre juridictions ne sont pas nettes, mais le corpus n’inclut que les décisions du Commonwealth et de la Nouvelle-Galles du Sud en raison de contraintes de copyright, tandis que la législation du Victoria, du Territoire du Nord et du Territoire de la capitale australienne est absente
- Le droit de l’immigration, le droit de la famille et le droit pénal matériel sont les plus isolés dans la zone des décisions de justice et restent aussi éloignés des textes législatifs, tandis que la jurisprudence en droit de l’aménagement apparaît comme la plus proche des textes législatifs
- L’implémentation combine des text embeddings, la réduction de dimension PaCMAP, le clustering HDBSCAN, l’étiquetage tf-idf, la fusion manuelle et la visualisation Plotly dans une procédure générique de cartographie sémantique réutilisable
Une carte qui place le droit australien dans un espace sémantique
- La carte place les lois, réglementations et décisions de justice australiennes dans un espace à deux dimensions et montre la similarité sémantique entre documents sous forme de distance
- Chaque point représente un document juridique unique — loi, règlement ou décision de justice — issu du Open Australian Legal Corpus
- Sur ordinateur, on peut survoler un document pour voir son titre, son type, sa juridiction et sa catégorie, puis cliquer pour l’ouvrir
- Les documents sont colorés par catégorie ; dans la légende, un clic sur une catégorie l’exclut, et un double-clic n’affiche que cette catégorie
La barrière invisible entre jurisprudence et législation
- La carte fait apparaître une barrière invisible qui sépare les décisions de justice des textes législatifs, avec une structure qui diverge dans deux directions, comme le pôle Nord et le pôle Sud
- Même lorsqu’ils traitent du même sujet, les arrêts ressemblent davantage à d’autres arrêts, et les textes législatifs à d’autres textes législatifs
- On peut y voir l’effet d’une différence de style et d’objectif entre jurisprudence et législation, qui se reflète plus fortement dans l’espace sémantique que le sujet lui-même
Des frontières juridictionnelles peu marquées
- Même en colorant les documents par juridiction, aucune frontière nette n’apparaît entre les documents issus de juridictions différentes
- Toutefois, le Open Australian Legal Corpus ne contient que des décisions du Commonwealth et de la Nouvelle-Galles du Sud en raison de contraintes de copyright, et exclut la législation du Victoria, du Territoire du Nord et du Territoire de la capitale australienne
- Ce mélange des juridictions sur la carte suggère que le droit des États australiens et le droit fédéral sont peut-être relativement homogènes
- Les frontières restantes entre droit des États et droit fédéral correspondent aussi davantage à des différences de sujet qu’à des différences de doctrine propres à chaque juridiction
- Cela cadre avec le fait que les tribunaux et parlements des États et de la Fédération fonctionnent au sein d’un même système juridique, et que la High Court of Australia arbitre les différends intergouvernementaux autour des limites constitutionnelles des droits et des pouvoirs
Le continent et les îles de la jurisprudence et de la législation
- À l’intérieur des zones de jurisprudence et de législation, on trouve un continent où se concentre la majorité des documents, ainsi que plusieurs îles regroupant des documents sur un même sujet
- L’existence de ce continent suggère que la plupart des décisions de justice et des textes législatifs proviennent d’un même réservoir de connaissances connecté et y retournent ensuite
- Certaines îles législatives et jurisprudentielles sont entièrement détachées du continent
- Les Tariff concession orders réglementent des catégories techniques de biens importables et forment un archipel distinct
- Les airworthiness directives forment une grande île centrée sur la réglementation des composants aéronautiques
- La plus grande île en superficie est composée presque exclusivement d’affaires d’immigration
- Parmi les 19 domaines juridiques possibles, seuls le droit de l’immigration et le droit de la famille apparaissent plus souvent hors du continent qu’à l’intérieur
- Le droit de la famille était déjà perçu comme relativement isolé du reste du droit, et la carte vient confirmer cet isolement
- Les affaires d’immigration ont tendance à s’appuyer sur une législation et une jurisprudence spécialisées en droit de l’immigration, ce qui leur donne un caractère relativement autonome
La position du droit pénal, du droit de la famille et du droit de l’immigration
- Le droit de l’immigration, le droit de la famille et le droit pénal matériel se regroupent aussi à proximité sur l’axe de latitude, suggérant des liens potentiels
- Ces trois domaines ont en commun de porter particulièrement sur la régulation de la vie des individus, et pas seulement sur les droits patrimoniaux des personnes morales
- La jurisprudence de ces trois domaines est, sur la carte, celle qui se situe le plus loin des textes législatifs
- Cette distance ne signifie pas que ces domaines ne citent jamais la législation ; elle peut refléter une dépendance plus forte au précédent que dans d’autres branches de la jurisprudence, ou encore les limites d’une représentation en 2D de relations multidimensionnelles complexes
- Le domaine jurisprudentiel le plus proche des textes législatifs est le droit de l’aménagement, probablement parce qu’il traite souvent de manière étroite des lois et règlements d’urbanisme
- La grande île hexagonale du droit pénal se compose principalement d’affaires de droit pénal matériel, tandis que les affaires pénales reliées au continent judiciaire concernent plus souvent la procédure pénale
- Cela correspond bien à la grande distinction entre droit matériel pénal et civil, ainsi qu’au fait que la procédure pénale et la procédure civile partagent plusieurs principes communs de justice naturelle
La common law jurisprudentielle apparaît comme un continuum
- Si l’on suit le continent jurisprudentiel du bas vers le haut, la jurisprudence australienne ressemble davantage à un continuum qu’à une structure strictement compartimentée
- Les affaires d’aménagement se relient aux affaires environnementales, elles-mêmes reliées aux affaires foncières
- Les affaires foncières touchent aux affaires contractuelles, au nord desquelles se trouvent les affaires procédurales, à l’ouest les affaires de propriété intellectuelle et à l’est les affaires commerciales
- Au nord du droit procédural se trouvent le droit pénal et la diffamation, tandis qu’à l’ouest de la propriété intellectuelle s’étendent le droit administratif, le droit de la santé et des services sociaux, le droit du travail, la négligence et le droit des transports
- À l’est du droit commercial se trouvent l’equity et une partie du droit de la famille
- Le fait que le droit de l’aménagement, le droit de l’environnement et le droit foncier soient étroitement imbriqués, et que les affaires de négligence se regroupent souvent près du droit des transports et du droit du travail en raison de litiges liés aux accidents de la route et du travail, correspond bien à la compréhension classique des relations entre branches du droit
- Certaines décisions en droit foncier chevauchent les affaires commerciales et procédurales ; ces affaires en bandes ont tendance à se concentrer sur des litiges hypothécaires liés à des défauts de paiement
- Les décisions en droit des transports se divisent entre un groupe relié au continent et un autre relié à l’île du droit pénal matériel
- Les décisions reliées à l’île pénale portent souvent sur la suspension de permis de transport
- Celles reliées au continent tendent davantage à porter sur des accidents de transport
Structures révélées par la cartographie sémantique et possibilités d’extension
- La carte reflète les différences déjà connues entre jurisprudence et législation, tout en révélant des séparations potentielles et des connexions cachées entre domaines du droit
- Les motifs suivants ressortent particulièrement
- Le droit de l’immigration, le droit de la famille et le droit pénal matériel sont les domaines jurisprudentiels les plus isolés de la carte
- Le droit de l’immigration, le droit de la famille et le droit pénal matériel sont les domaines jurisprudentiels les plus éloignés des textes législatifs
- Le droit de l’aménagement est le domaine jurisprudentiel le plus proche des textes législatifs
- Entre le droit des États australiens et le droit fédéral, aucune distinction marquante n’apparaît en matière de style, de principes d’interprétation ou de doctrine générale
- Une carte en 3D pourrait révéler de nouvelles relations cachées difficiles à représenter en 2D
- L’ajout de jurisprudence et de législation provenant d’autres États et territoires pourrait augmenter la résolution de la carte du droit australien
- L’ajout de documents juridiques d’autres pays de common law comme le Royaume-Uni, le Canada ou la Nouvelle-Zélande permettrait de saisir les interactions historiques et continues entre systèmes juridiques
- La cartographie sémantique ne se limite pas au droit australien ; elle peut aussi servir à comprendre rapidement la composition et la structure de grands jeux de données non structurés
Procédure d’implémentation : de la vectorisation à la visualisation
- Le processus de cartographie sémantique d’un jeu de données quelconque se divise globalement en vectorisation, clustering, étiquetage, réduction de dimension et visualisation
- Le sens d’un texte est représenté sous forme de vecteurs ou d’embeddings numériques, puis la similarité entre vecteurs sert à estimer la similarité sémantique entre documents
- Le modèle de text embedding a été choisi en s’appuyant sur le Massive Text Embedding Benchmark (MTEB) Leaderboard de Hugging Face
- Au moment de la création de la carte,
BAAI/bge-small-en-v1.5était l’un des bons modèles open source au regard de sa taille, tandis qu’aujourd’hui son fine-tuningavsolatorio/GIST-small-Embedding-v0est mieux classé - Les modèles modernes de text embedding ont une fenêtre de contexte fixe, c’est-à-dire un nombre limité de tokens pouvant être vectorisés en une seule fois
- La fenêtre de contexte de
GIST-small-Embedding-v0est de 512 tokens - On peut estimer qu’un mot correspond à environ 0,75 token, soit environ 384 mots vectorisables en une seule fois
- La fenêtre de contexte de
- Les textes longs sont découpés en chunks de 512 tokens ou moins, chaque chunk est vectorisé, puis on en calcule le vecteur moyen pour représenter le sens moyen du texte entier
- Couper simplement tous les 512 tokens risque de tronquer des informations sémantiquement importantes ; il faut donc un semantic chunker qui segmente aux endroits pertinents
semchunkest une bibliothèque Python qui découpe récursivement le texte en recherchant des séquences de caractères, comme des retours à la ligne consécutifs ou des tabulations, qui signalent des séparations sémantiques
Réduction de dimension et clustering
- Les données vectorisées sont réduites depuis des vecteurs de haute dimension vers des coordonnées 2D ou plus basses pour être affichées sur une carte
- La réduction de dimension sert aussi à atténuer la malédiction de la dimension, qui complique le clustering dans les espaces de grande dimension
- Le modèle de réduction de dimension utilisé est PaCMAP, employé ici comme modèle rapide et précis capable de préserver à la fois la structure globale et la structure locale
- La visualisation de la carte utilise 2 dimensions, tandis que le clustering a été facilité en réduisant les données à 80 dimensions
- Sur un autre jeu de données d’environ 400 points, 2 dimensions ont mieux fonctionné que 80 ; il faut donc tester plusieurs dimensions selon les données
- Le clustering repose sur HDBSCAN
- Contrairement à
k-means, HDBSCAN ne force pas tous les points à appartenir à un cluster - Au moment de la création de la carte, le Open Australian Legal Corpus contenait 218 336 textes juridiques, dont 84 780 (38,8 %) n’ont pas été clusterisés
- 10 100 supplémentaires (4,6 %) ont été placés dans des clusters qui semblaient ne partager aucune caractéristique commune significative
- Au total, 94 880 documents (43,4 %) n’ont pas été assignés à un cluster significatif et ont été exclus de la carte
- À l’époque,
fast_hdbscanétait utilisé, mais il a ensuite été constaté qu’il créait plus facilement des clusters vides par endroits que HDBSCAN standard ; les exemples de code utilisent donc HDBSCAN standard min_cluster_sizefixe le nombre minimal de points de données dans un cluster : plus il est bas, plus les clusters sont fins ; plus il est élevé, plus ils sont larges- Dans le travail final,
min_cluster_sizea été fixé à 50, produisant 507 clusters distincts, ensuite réduits manuellement à 19 domaines juridiques
Étiquetage et fusion manuelle
- Pour attribuer des labels significatifs aux clusters, les principaux tokens de chaque cluster ont été examinés via tf-idf
- Le tf-idf attribue un score élevé aux tokens fréquents dans un cluster donné mais relativement rares dans l’ensemble du jeu de données
- Les clusters ayant les 4 mêmes tokens principaux ont d’abord été fusionnés, mais cela n’a supprimé que 2 clusters sur 507
- Ensuite, 337 règles de fusion de clusters ont été créées manuellement sur la base des tokens principaux, pour aboutir finalement à 19 domaines juridiques
- Lors du processus de fusion manuelle, l’objectif était de laisser les données guider les catégories, mais à mesure que le nombre de clusters diminuait, il fallait prendre des décisions difficiles sur ce qu’il fallait inclure ou exclure dans chaque catégorie
- Il n’a pas non plus été simple d’attribuer 19 couleurs clairement distinctes ; le problème a été résolu à l’aide de la palette publiée par Sasha Trubetskoy
- La fusion manuelle est adaptée lorsqu’une compréhension approfondie de la composition des données est nécessaire, ou lorsque la précision du résultat final est particulièrement importante
- Dans les autres cas, il est souvent préférable d’ajuster le modèle de clustering pour produire moins de clusters, puis d’utiliser les 3 principaux tokens tf-idf ou un grand modèle de langage pour un étiquetage automatique
- L’exemple d’étiquetage automatique consiste à fournir à
gpt-4ou à un modèle compatible avec l’API OpenAI des extraits de documents aléatoires et les principaux tokens tf-idf afin de générer un label de moins de 4 mots
Visualisation Plotly et limites
- La carte finale est construite avec Plotly afin de produire un nuage de points 2D ou 3D
- La principale limite de Plotly est qu’il ne permet pas d’agrandir la taille des points lorsqu’on zoome sur la carte
- Avec des centaines de milliers de points, ceux-ci peuvent se chevaucher ; à l’inverse, si l’on réduit leur taille, ils deviennent difficiles à distinguer une fois zoomés
- Certains problèmes de Plotly ont été contournés avec du CSS et du JavaScript personnalisés, mais ce code n’est pas partagé
- Après la visualisation vient une phase d’analyse qui consiste à observer les motifs topographiques de la carte, les anomalies, les îles et la structure fondamentale des données
- La même technique appliquée au corpus Common Crawl pourrait permettre de créer une carte sémantique haute résolution d’Internet
1 commentaires
Commentaires Hacker News
Super travail. La phrase « si l’on applique cette technique à Common Crawl, on peut créer une carte d’Internet » m’a particulièrement marqué.
Cela fait des années que je suis obsédé par le fait de cartographier des choses qui ne figurent généralement pas sur les cartes, et j’en ai créé plusieurs. L’une des plus connues est Music-Map : https://www.music-map.com
Depuis longtemps, j’avais envie de créer une carte du Web, au point d’avoir réservé le domaine web-map.com ; j’ai aussi expérimenté avec des crawlers personnalisés et des algorithmes pour trouver rapidement des sites web liés, et cela semblait tout à fait faisable.
Mais comme je gère déjà plusieurs cartes expérimentales et que je n’ai pas encore trouvé de modèle économique pour cartographier tout, le projet est en pause.
J’ai utilisé un petit modèle d’embeddings et une analyse en composantes principales (PCA) pour la réduction de dimension : https://weblog.snats.xyz/posts/2024/03/20/
C’était assez amusant de voir à quelle distance deux artistes pouvaient être reliés par une longue chaîne de collaborations. Comme pour la plupart des cartes de relations humaines, on aboutissait finalement à quelques super-connecteurs ayant collaboré avec des centaines de personnes, entourés de petits groupes, mais cela faisait aussi apparaître des communautés intéressantes.
Il existe une carte similaire et très chouette, mais elle date pas mal : http://internet-map.net/
L’expression « la jurisprudence australienne ressemble à une sorte de continuum » donne une jolie image, mais je voudrais rappeler l’adage selon lequel la carte n’est pas le territoire.
Ce continuum pourrait être davantage une fonction de la méthode de projection, de la mesure de similarité choisie, etc., qu’une véritable structure de la connaissance juridique.
Bien sûr, cela ne veut pas dire qu’on ne peut rien apprendre de la carte, mais la structure réelle des connaissances dans l’ensemble des documents n’a pas forcément à être un continuum pratique.
Cela dit, la documentation du projet est excellente et permet de porter un regard nouveau sur le domaine du droit australien.
Je l’ai écrit en pensant à la fois aux lecteurs juristes et aux lecteurs data scientists, en essayant de ne pas présenter des inférences comme plus que des inférences, tout en évitant d’expliquer de manière trop technique les limites des tentatives actuelles de cartographie sémantique des connaissances.
Cela dit, pour avoir étudié le droit, la jurisprudence australienne est effectivement assez proche d’un continuum. Une même affaire peut toucher plusieurs domaines du droit, et les sujets des précédents qu’un juge peut consulter lorsqu’il statue sont peu limités, hormis leur pertinence et leur caractère contraignant ou non.
Il était aussi intéressant de constater que les clusters finaux ressemblaient étonnamment à la manière dont on m’a enseigné le droit à l’université. Cela montre que la conception des cursus de droit en Australie a fait l’objet d’une vraie réflexion. Il existe d’ailleurs les 11 matières obligatoires, les Priestley 11, et elles sont toutes reflétées sur la carte : https://en.wikipedia.org/wiki/Priestley_11
Ce type de visualisation me paraît assez étrange. Je ne suis pas juriste, mais j’ai lu beaucoup de manuels de droit.
En général, je m’attendrais à ce que le droit écrit forme une structure assez clairsemée, comme des tentacules.
La jurisprudence a par nature un caractère intermédiaire : les juges y comblent les significations floues ou les lacunes du droit écrit.
Mais voir la jurisprudence et le droit écrit former deux clusters bien distincts est difficile à accepter, et cela ressemble à une erreur de modélisation du domaine. C’est le genre de résultat qu’on obtiendrait en appliquant naïvement une mesure de similarité textuelle à un jeu de données sans tenir compte du modèle de domaine.
De plus, dans un pays de common law comme l’Australie, de nombreux concepts juridiques se sont développés indépendamment de la législation, et restent encore indépendants ou sont parfois formalisés plus tard par la loi. C’est par exemple le cas des torts : https://www.alrc.gov.au/publication/traditional-rights-and-freedoms-encroachments-by-commonwealth-laws-ip-46/16-authorising-what-would-otherwise-be-a-tort/the-right-to-sue-in-tort/
C’est un travail énorme. En tant que personne qui fait du développement web sur ses propres fonds, je me demande comment on trouve le temps pour faire ça.
Je ne sais pas si c’est pour étoffer un CV, si c’est un produit ou un prototype, ou simplement le fruit d’une pure passion, mais c’est au moins révolutionnaire.
L’explication technique était aussi très bonne et, même si j’ai surtout survolé à partir du milieu, cela semble combiner des algorithmes d’embedding modernes avec du clustering issu du machine learning traditionnel.
Maintenant que les données de base existent, je me demande s’il a envisagé d’utiliser un modèle génératif complet pour faire de l’analyse sémantique du type « résume ce sous-ensemble d’affaires et étiquette-le selon une situation précise ou une question subtile », puis de regrouper les résultats. J’espère que les nombreux développeurs qui, aux États-Unis, appliquent depuis un an des grands modèles de langage à la jurisprudence travaillent probablement sur ce genre de choses.
C’est le genre de projet qui donne envie de dire qu’on aimerait collaborer, même quand son agenda est déjà plein ; je vais donc me contenter de lui réserver une place assez honorable dans les commentaires et dans mon dossier de favoris d’inspiration.
Umar Butler est un data scientist australien, spécialiste des legal tech et chercheur en intelligence artificielle ; il tient un blog sur le droit, la technologie, l’intelligence artificielle et les sujets qui se trouvent entre les trois.
Dans le cadre de ses recherches en legal tech et en intelligence artificielle, il a publié le jeu de données LLM pour l’apprentissage du droit australien, la plus grande base de données publique sur le droit australien, ainsi que le premier LLM public consacré au droit australien.
Il est actuellement directeur adjoint de la data science à l’Attorney-General’s Department, où il conseille sur l’usage responsable de l’intelligence artificielle et sur l’élaboration de politiques clés en matière d’IA, afin de permettre, d’accélérer et d’améliorer la prise de décision publique ainsi que l’analyse juridique et politique.
J’ai vraiment apprécié que les visualisations interactives soient remplacées par des captures d’écran sur mobile. L’expérience de lecture sur téléphone est bien meilleure.
C’est un travail très impressionnant et qui mérite des félicitations.
Quand j’étais en fac de droit, j’imaginais souvent la common law comme un réseau d’interdépendances ; cette visualisation y ressemble, même si elle ne capture pas complètement le type de dépendances que j’avais en tête.
La common law désigne principalement le droit produit par les juges d’appel. Parfois, ils ajoutent du sens, une interprétation ou des définitions par-dessus les textes de loi ; parfois, elle est entièrement créée lorsqu’il n’existe pas de loi parfaitement adaptée à la question en cause. Ici, « créée » signifie qu’elle se construit sur une longue chaîne de précédents historiques remontant à l’Angleterre victorienne, voire à des époques plus anciennes.
C’est pourquoi les gens qui, aux États-Unis, dénoncent le « droit fait par les juges » me paraissent ridicules. Presque tout le droit américain est, en pratique, du droit fait par les juges.
J’ai toujours pensé que la common law se prêtait bien à une représentation sous forme de structure de graphe, où les affaires ou précédents seraient des nœuds et où les arêtes encoderaient d’une manière ou d’une autre la force avec laquelle un précédent en soutient un autre. Si les juges pouvaient visualiser la force des précédents, ils réfléchiraient peut-être plus prudemment avant de s’en écarter.
Cette représentation est un pas dans cette direction, et j’espère que cette technologie sera étendue à d’autres pays de common law.
Cela fait longtemps que je traite diverses affaires dans le système juridique australien, d’abord en me représentant moi-même et en apprenant seul pendant un temps, puis plus récemment avec l’aide d’un avocat.
J’ai aussi lu directement plusieurs textes relatifs aux procédures civiles et pénales, et je me suis heurté au mur invisible entre la législation et la jurisprudence.
Ce travail correspond de façon étonnante à mes centres d’intérêt, et merci de l’avoir structuré ainsi. Mon seul regret est qu’il aurait été encore beaucoup plus utile s’il avait été publié il y a quelques mois.
Excellent article, dans lequel on sent l’effort fourni à la fois pour l’analyse descriptive des données et pour la décomposition technique du processus.
L’an dernier, j’avais eu une idée similaire visant à cartographier la jurisprudence et les lois du Royaume-Uni.
Comme toujours, la vie a pris le dessus et le projet a fini dans ma collection de projets à moitié terminés, mais la lecture de cet excellent article m’a donné envie de m’y remettre.
Dans plusieurs pays du Commonwealth, il semble souvent ne pas exister de codification officielle de la jurisprudence, du droit administratif, ni des lois adoptées par le législatif et sanctionnées par l’exécutif.
Aux États-Unis, issus du Commonwealth, il existe un US Code officiel et des codes au niveau des États, ainsi que des tentatives pour organiser les effets de la jurisprudence, du droit administratif et des lois adoptées. En revanche, le Canada dispose de certaines codifications comme le Criminal Code, mais toutes les lois du Parlement ne sont pas réunies dans un code unique.
Au Royaume-Uni, il ne me semble pas qu’il existe quelque chose de ce genre pour l’Angleterre ou le pays de Galles, tandis qu’à Hong Kong, la Basic Law et les ordonnances constituent dans une certaine mesure une forme de codification. Je me demande si l’Australie dispose d’une codification au niveau fédéral ou des États.
Le US Code relève du droit écrit, et le Code of Federal Regulations du droit administratif. Il n’existe pas de codification de la jurisprudence, seulement des recueils de jurisprudence.
Les recueils de jurisprudence ressemblent davantage à une publication séquentielle des décisions rendues, ce qui est similaire à la manière dont les textes de loi sont publiés successivement dans les juridictions qui ne codifient pas leur législation. Les États codifient eux aussi généralement le droit écrit et le droit administratif, mais pas la jurisprudence.