- Les rouleaux d’Herculanum, carbonisés par l’éruption du Vésuve en 79, étaient si fragiles qu’ils risquaient de se désagréger si on les ouvrait, mais la tomodensitométrie et le machine learning ont confirmé la possibilité de lire les lettres à l’intérieur
- Luke Farritor, participant au Vesuvius Challenge, a trouvé un mot entier dans un rouleau non ouvert et a reçu le First Letters Prize de 40 000 $
- Le mot découvert est écrit en caractères anciens ΠΟΡΦΥΡΑϹ ; sa graphie moderne est « porphyras » et il signifie « violet », mais le contexte et les limites du mot restent difficiles à établir avec certitude
- La découverte par Casey Handmer du crackle pattern a conduit Luke et Youssef Nader à améliorer leurs modèles ; Youssef a reçu le deuxième prix de 10 000 $ pour un résultat indépendant plus net dans la même zone
- Grâce à la combinaison d’un concours ouvert, d’outils open source et du travail de segmentation, l’obtention du Grand Prize de 700 000 $ devient un objectif réaliste
Le premier mot issu d’un rouleau resté impossible à ouvrir pendant 2 000 ans
- Les papyrus d’Herculanum sont d’anciens rouleaux provenant de la bibliothèque d’une villa privée près de Pompéi ; ils ont été ensevelis et carbonisés lors de l’éruption du Vésuve en 79 apr. J.-C.
- Cette bibliothèque est la seule bibliothèque de l’Antiquité encore conservée, restée enfouie pendant environ 2 000 ans sous 20 m de boue volcanique
- Mis au jour dans les années 1700, les rouleaux étaient toutefois si fragiles qu’une mauvaise manipulation pouvait les réduire en poussière, ce qui rendait difficile leur dépliage physique pour les lire
- En août 2023, Luke Farritor est devenu la première personne à voir un mot entier à l’intérieur d’un rouleau non ouvert, et a reçu le First Letters Prize de 40 000 $
- Ce prix exige de trouver au moins 10 caractères dans une zone de 4 cm² du rouleau
- Youssef Nader a lui aussi découvert indépendamment le même mot dans la même zone, et a reçu le deuxième prix de 10 000 $ pour un résultat plus net
- Le code publié est disponible sur les GitHub de Luke et de Youssef
Scans CT, données de référence et point de départ du Vesuvius Challenge
- En 2019, le professeur Brent Seales, de l’EduceLab de l’University of Kentucky, a scanné les rouleaux d’Herculanum à l’aide d’un accélérateur de particules afin de produire des scans CT 3D d’une résolution allant jusqu’à 4 µm
- L’équipe de recherche a également scanné et photographié des fragments détachés sur lesquels de l’encre restait visible, afin de constituer un jeu de données de référence
- Stephen Parsons a travaillé à la détection de l’encre par machine learning dans les scans CT des fragments détachés, avec des résultats sur ces fragments
- Nat Friedman et Daniel Gross ont lancé le Vesuvius Challenge pour accélérer ces progrès
- Ils ont ouvert le concours public en mars 2023
- En plus du Grand Prize de 700 000 $, ils ont proposé plusieurs prix plus modestes pour développer des outils et techniques open source
- À partir du début de l’été, l’équipe de segmentation a rejoint le projet pour cartographier la structure 3D des rouleaux ; en juillet, elle avait segmenté des centaines de cm² de papyrus et les avait dépliés virtuellement
Le signal d’encre trouvé par Casey Handmer
- Début août 2023, en observant longuement des segments de scans CT, Casey Handmer a découvert un crackle pattern qui ressemblait à de l’encre
- Stephen Parsons avait auparavant vu des preuves directes d’encre sur des fragments détachés, mais rien n’avait encore été confirmé à l’intérieur d’un rouleau non ouvert
- Casey est devenu la première personne en 2 000 ans à trouver de l’encre et des lettres à l’intérieur d’un rouleau non ouvert
- Cette découverte est devenue le point de départ direct du modèle de Luke comme de l’approche de Youssef, et Casey a reçu le First Ink Prize de 10 000 $
Le modèle de Luke Farritor et « porphyras »
- Luke Farritor, étudiant à l’université et stagiaire d’été à SpaceX Starbase, a découvert le Vesuvius Challenge grâce à l’interview de Nat Friedman par Dwarkesh Patel
- Après avoir vu sur Discord la discussion de Casey autour du crackle pattern, il a consacré ses soirées et ses nuits à entraîner un modèle de machine learning pour apprendre ce motif
- Chaque nouvelle zone de craquelures découverte améliorait le modèle, et le modèle amélioré révélait à son tour davantage de craquelures, créant ainsi un cycle itératif
- Le modèle a trouvé quelques dizaines de traits d’encre et certaines lettres complètes, qui ont servi de données labellisées pour l’entraînement
- Avec le temps, le modèle a fait apparaître des traces de craquelures invisibles à l’œil humain, lesquelles sont devenues des indices de lettres et de mots
- Dans la première soumission de Luke, ΠΟΡΦΥΡΑϹ, c’est-à-dire « porphyras », apparaissait faiblement
- Lorsque le professeur Brent Seales a montré cette image à des papyrologues, ceux-ci ont immédiatement lu « porphyras », malgré la faible visibilité des lettres
- Après vérification technique, une nouvelle image a été envoyée à un panel de papyrologues, qui ont annoté 13 caractères de manière indépendante et unanime
- Le niveau de confiance était réparti entre plus de 80 %, 50 à 80 %, et moins de 50 %
- « Porphyras » signifie « violet » et constitue un mot très rare dans les textes antiques
- Un papyrologue a estimé qu’en raison du manque de contexte, on ne pouvait pas exclure qu’il s’agisse du nom « teinture violette ou tissu violet », de l’adjectif « violet », ou d’une autre segmentation du mot
- Comme les textes de l’époque n’utilisaient pas d’espaces, le jugement des limites des mots est encore plus difficile
L’approche indépendante de Youssef Nader
- Youssef Nader, doctorant égyptien en biorobotique à Berlin, a été stimulé par les résultats de Casey et de Luke et a essayé une autre méthode
- Il a d’abord étudié les solutions gagnantes du Kaggle Ink Detection prize
- Cette compétition visait à améliorer l’approche de machine learning de Stephen Parsons fondée sur les fragments détachés
- Youssef a transféré le modèle vers les données des rouleaux grâce à un pré-entraînement non supervisé sur les données du rouleau et à un ajustement fin basé sur les labels des fragments
- Après avoir reçu un petit prix pour son idée d’« Ink Detection Followup Prize », il s’est concentré sur la même zone lorsque les premiers résultats de Luke ont été partagés sur X et Discord
- Avec un modèle modifié à partir de la compétition Kaggle, il a trouvé plusieurs lettres, sans chercher manuellement les craquelures comme dans la méthode de Casey
- Il a annoté comme données labellisées des formes ressemblant à des lettres, puis les a étendues par pseudo-labeling itératif
- Le modèle final a été entraîné uniquement sur des segments internes du rouleau, ce qui lui a permis d’obtenir la deuxième place du First Letters Prize
- Les papyrologues ont montré un consensus plus fort sur les lettres dans le résultat de Youssef, et ont même examiné la possibilité du mot du haut, « ανυοντα / ANYONTA », et de celui du bas, « ομοιων / OMOIωN »
- Si ces mots sont exacts, ce rouleau de papyrus pourrait contenir un texte entièrement nouveau, inconnu du monde moderne
Le lien créé par le concours ouvert et l’open source
- Les contributions de plusieurs personnes s’étant directement enchaînées dans le chemin de la découverte, cela constitue un exemple concret du fonctionnement du modèle competition + open source et d’une structure de prix par étapes
- Youssef a utilisé les modèles de la compétition Kaggle et, inspiré par les résultats de Luke, a examiné la même zone
- La recherche de craquelures par Luke est directement partie du travail de Casey
- Casey a pu examiner de nombreuses feuilles de papyrus grâce à l’équipe de segmentation, qui avait cartographié des centaines de cm²
- L’équipe de segmentation a pu cartographier de vastes zones grâce aux outils créés par les participants aux Segmentation Tooling Prizes
- Cela inclut le travail de plusieurs participants, dont Julian Schilliger, Chuck et Yao Hsiao
- Ces améliorations d’outils ont été construites au-dessus des outils open source existants de l’équipe de Brent Seales
- Le travail de plusieurs personnes, dont Seth Parker et Stephen Parsons, en a constitué la base
- Au vu de l’avancement jusqu’ici, presque tous les éléments de l’organisation du concours ont joué un rôle porteur, et les progrès pourraient être plus fragiles et contingents qu’ils n’en ont l’air a posteriori
Prochaines étapes vers le Grand Prize de 700 000 $
- L’équipe de segmentation et les participants continuent de progresser, et le modèle de Youssef a produit il y a quelques jours une nouvelle image plus nette et plus grande
- Sur cette nouvelle image, on distingue clairement 4,5 colonnes de texte séparées par des marges
- Davantage de lettres sont visibles, mais toutes ne sont pas immédiatement lisibles, et l’équipe de papyrologie poursuit son examen
- Le Vesuvius Challenge estime que ces progrès rendent le $700,000 Grand Prize atteignable
- Les participants peuvent rejoindre la communauté Discord, la newsletter Substack et le compte X, et commencer en consultant les données, les tutoriels, les travaux des lauréats et les outils communautaires
- L’objectif est d’ouvrir l’accès au savoir contenu dans des centaines de rouleaux, de doubler le volume des textes antiques connus, et de rendre possible la lecture de milliers d’autres rouleaux qui n’ont pas encore été exhumés
1 commentaires
Commentaires sur Hacker News
Les lettres ont été découvertes en cherchant dans les fragments de papyrus du scanner CT des textures de fissures ressemblant à des formes de lettres grecques, puis en les annotant comme données d’entraînement.
Cela dit, ces textures de fissures ne sont pas visibles à l’œil nu sur la plupart des papyrus ; elles semblent probablement n’apparaître que là où l’encre a été appliquée en couche très épaisse.
Sur l’image au microscope électronique https://scrollprize.org/img/tutorials/sem.png, la différence de texture est beaucoup plus visible, surtout sur les bords où l’encre a été repoussée.
Il est étonnant que les fissures n’aient été découvertes qu’après le concours de détection d’encre sur Kaggle. Casey Handmer avait lui aussi cherché, dans https://caseyhandmer.wordpress.com/2023/08/05/reading-ancien..., des textures de « boue craquelée » et de « lamelles » correspondant à l’encre de lettres connues, mais il écrivait que cela ne concernait qu’environ 10 % des lettres connues.
La nouvelle image est bien meilleure que prévu, mais comme elle ne couvre encore qu’une seule petite zone, je reste pessimiste quant à la possibilité de lire davantage que quelques phrases étranges.
Toutes les lettres ne seront probablement pas clairement visibles à l’œil humain, mais les images scannées comportent tellement de couches qu’en les parcourant, les motifs commencent à apparaître avec le temps.
J’avais écrit du code qui, de mémoire, minimisait la perte de variance totale en « alignant » des blocs d’image par interpolation bilinéaire de chaque colonne de pixels vers le haut et vers le bas, afin d’aplanir la texture des fissures.
Ensuite, je voulais utiliser un réseau neuronal convolutif 2D optimisé sur les images « aplaties » ; en regardant la coupe du rouleau, il me semblait qu’il y avait des zones où la compression locale était cohérente, comme dans le bois, et que l’interpolation pouvait donc suffire.
Je n’étais donc pas très d’accord avec l’usage de convolutions 3D pour ce problème. L’encre appliquée puis séchée devrait suivre un motif assez prévisible, détectable par des convolutions 2D, et les invariances souhaitées me semblaient plus faciles à structurer en amont.
Si le code intéresse quelqu’un, je peux le retrouver et le partager.
L’annonce de Nat sur Twitter vaut aussi le coup d’œil : https://twitter.com/natfriedman/status/1712470683207532906
700 000 dollars, c’est une somme qui peut changer une vie ; on est tenté de tout laisser tomber et de s’immerger là-dedans comme un moine poursuivant des révélations antiques avec du machine learning moderne.
C’est aussi amusant de se dire que le rouleau pourrait simplement être une liste de blanchisserie.
En plus, « les fouilles ne sont pas terminées, et de nombreux historiens pensent que des milliers d’autres rouleaux restent enfouis sous terre » : https://scrollprize.org
Une liste de blanchisserie aurait probablement été écrite sur une tablette de cire réutilisable, pas sur un papyrus coûteux.
Plus tard, porter du pourpre en dehors de la famille impériale est même devenu passible de la peine de mort ; je ne sais pas si c’était déjà le cas à l’époque du Vésuve, mais Wikipedia indique que Caligula aurait peut-être fait tuer quelqu’un pour avoir porté du pourpre.
Je recommande vivement de se mettre à la littérature classique. C’est vraiment stupéfiant et au-delà de ce qu’on peut imaginer ; j’en avais eu un petit aperçu dans mon parcours scolaire, mais je n’en ai compris la grandeur que récemment.
Pour débuter, je recommande Life of Pythagoras de Iamblichus, The Golden Ass d’Apuleius of Numenia (traduction de Robert Graves), Life of Alexander de Plutarch, Education of Cyrus de Xenophon et Parmenides de Plato.
SHWEP.net est aussi très utile : il guide à travers de nombreux classiques de manière douce mais rigoureuse, avec une orientation assez ésotérique, ce qui me plaît aussi.
J’ai essayé plusieurs fois d’aborder la littérature classique, mais j’ai toujours trouvé ça difficile à lire, donc j’ai du mal à trouver la motivation pour aller au bout, et je me demande s’il y a quelque chose que je manque dans ce genre.
Pythagore a probablement été le plus grand philosophe de l’histoire. Je recommande aussi de lire son héritier spirituel, Archytas ; ses réflexions sur les mathématiques, la mécanique, la musique, l’apprentissage et la philosophie sont étonnantes.
Comme meilleure introduction à Plato, je conseillerais plutôt Alcibiades. C’est assez léger pour être lu avec plaisir, tout en étant profond : https://www.gutenberg.org/ebooks/1676
J’ai récemment vu une excellente vidéo YouTube à ce sujet : https://www.youtube.com/watch?v=Z_L1oN8y7Bs
Son titre est « Herculaneum scrolls: A 20-year journey to read the unreadable », et elle aborde un peu les techniques utilisées
Les scans existaient depuis dix ans, mais pour distinguer le papier de l’encre dessus, il fallait entraîner un modèle de machine learning ; il y a vingt ans, cela avait déjà été possible sur un autre ensemble de rouleaux faits de matériaux offrant un contraste plus marqué
Le deep learning est en train de déchiffrer des jeux de données que l’on pensait auparavant impossibles à résoudre algorithmiquement
Jusqu’ici, il ne semble pas non plus qu’on ait trouvé beaucoup de caractères trop difficiles à voir à l’œil nu
Il est intéressant de lire, dans l’article original, le processus itératif d’annotation manuelle guidée par la sortie du modèle, puis de réentraînement du modèle avec des données supplémentaires
En lançant simplement du deep learning sur les données de vérité terrain disponibles au départ, sans savoir quelles caractéristiques le modèle devait regarder, cela ne fonctionnait pratiquement pas
En plus, le processus de déroulement virtuel des rouleaux est lui aussi, pour l’instant, largement manuel et très laborieux
On essaie maintenant de faire faire par un modèle de deep learning ce que l’humain a fait ici, mais il n’a pas encore réussi à trouver de véritables lettres
C’est un peu comme vivre l’ouverture de la tombe de Toutânkhamon au XXIe siècle
C’est incroyablement étonnant de se dire qu’à moyen terme, il existe une possibilité réaliste d’acheter sur Amazon de nouvelles œuvres traduites que personne n’a pu lire pendant des millénaires
Vraiment génial. Je me demande ce qu’on va apprendre grâce à cela
Au passage, la photo « Professor Seales et son équipe pendant le scan dans un accélérateur de particules » ressemble à une scène de série télé. On dirait : « Si on continue à dire “enhance” à l’ordinateur, on finira par pouvoir le lire »
C’est sans doute l’un des cas les plus extrêmes de récupération de données que j’aie vus
Je me demande si, dans 2 000 ans, on verra des choses du genre « premier fichier découvert sur un plateau de disque dur abandonné »
Les 30 premières minutes de cette interview expliquent très bien ce qui est en train de se passer. C’est vraiment passionnant
https://youtu.be/qcvMjoJdck4?si=RL1WnAAj4loS1D2s
L’expression « ex-JPL startup founder and polymath » est intéressante
Je n’ai jamais reçu de tels éloges au motif que j’étais une personne aux talents variés ; ce que j’ai eu, c’était « généraliste » et « après mûre réflexion, nous avons décidé de ne pas donner suite à votre candidature »
Même lorsqu’ils se décident à rechercher la reconnaissance, je les ai vus être écartés pour ce péché impardonnable : « ne pas être assez célèbre »
https://scrollprize.org/ explique le défi initial
D’autres travaux ont montré que le déroulement virtuel à partir de scans CT était possible, mais comme, sur ces rouleaux, l’encre n’était pas clairement visible en CT/rayons X, il a fallu revenir à des variations structurelles plus fines
On ne sait pas avec certitude s’il s’agit d’un changement dans la structure du papier, ou si l’encre elle-même est visible mais de façon moins nette