- Les National Archives des États-Unis conservent de nombreux documents historiques en écriture cursive vieux de plus de 200 ans, et ont besoin de la participation de citoyens pour les convertir en documents numériques consultables et recherchables
- Chaque année, des dizaines de millions de documents sont numérisés et des technologies d’IA et d’OCR sont aussi utilisées, mais les anciens manuscrits restent sujets à des échecs de reconnaissance et à des erreurs qui doivent être corrigés par des humains
- Les participants au programme Citizen Archivist peuvent, sans procédure de candidature particulière, transcrire des documents ou effectuer du tagging afin d’améliorer leur accessibilité et leur recherche
- Plus de 5 000 personnes participent actuellement, avec des lots de documents en cours comme les dossiers de pension de la Revolutionary War et des contrats d’employés de 1866 à 1870
- L’enseignement de l’écriture cursive fait débat face à la priorité donnée au clavier, mais plus de 20 États exigent son enseignement à l’école, et certains l’ont inscrit dans la loi en 2024
Des citoyens déchiffrent ensemble des documents en écriture cursive vieux de 200 ans
- Les National Archives possèdent de nombreux documents historiques écrits en cursive, dont certains ont plus de 200 ans
- Ces documents sont difficiles à lire et à comprendre, en particulier pour les Américains qui n’ont pas appris l’écriture cursive à l’école
- Le programme Citizen Archivist vise à rendre les documents numériques plus accessibles et à « ouvrir l’histoire »
L’IA et l’OCR ne suffisent pas pour les documents historiques
- Les National Archives numérisent chaque année des dizaines de millions de documents
- Elles utilisent l’IA et la reconnaissance optique de caractères (OCR) pour extraire le texte des documents historiques
- Mais, en raison de l’ancienne écriture cursive et de l’état des documents, ces méthodes ne fonctionnent pas toujours ou ne produisent pas toujours des résultats exacts
- Les transcriptions réalisées par des bénévoles aident les chercheurs, les généalogistes et les passionnés d’histoire à trouver et lire plus facilement les documents
Comment participer et quelles tâches effectuer
- Aucun dossier de candidature n’est nécessaire pour commencer : il suffit de choisir des documents qui n’ont pas encore été traités, puis de suivre les instructions
- Le programme est gratuit et ouvert à toute personne disposant d’une connexion Internet
- Il est possible de participer même sans être sûr de savoir déchiffrer l’écriture cursive
- Certaines tâches consistent à ajouter des tags à des documents déjà transcrits par d’autres bénévoles
- Le tagging améliore la capacité à retrouver les documents par recherche
- La participation est flexible : il est possible de contribuer même en y consacrant seulement environ 30 minutes par jour ou par semaine
Missions en cours et exemples de participation au long cours
- Plus de 5 000 personnes participent au programme Citizen Archivist
- Beaucoup travaillent sur des missions, des lots de documents qui nécessitent transcription et tagging
- Les missions actuelles comprennent des dossiers de pension de la Revolutionary War et des contrats d’employés de 1866 à 1870
- La mission liée à la Revolutionary War a été lancée en juin 2023 avec le National Park Service et porte sur les dossiers de plus de 80 000 anciens combattants et de leurs veuves
- Alex Smith, retraité en Pennsylvanie, a transcrit plus de 100 000 documents en neuf ans
- Il cherchait une activité qui donne un but et une structure à sa retraite
- Au fil de ses transcriptions, il a rencontré des documents tels qu’une note proposant à Gerald Ford de rejoindre les Green Bay Packers, ou encore des dossiers de pension de la Civil War
L’enseignement de l’écriture cursive revient sur le devant de la scène
- L’enseignement de l’écriture cursive était autrefois la norme, mais les éducateurs et les législateurs sont aujourd’hui partagés sur l’importance à accorder à la cursive par rapport aux compétences au clavier
- Malgré l’usage généralisé d’appareils comme les ordinateurs portables et les tablettes, l’enseignement de l’écriture cursive connaît un regain d’intérêt
- Selon Education Week, plus de 20 États exigent actuellement que l’écriture cursive soit enseignée à l’école
- En Californie, une loi rendant obligatoire l’enseignement de l’écriture cursive est entrée en vigueur en janvier 2024
- Quelques mois plus tard, le Kentucky a lui aussi adopté une loi imposant l’enseignement de l’écriture cursive
1 commentaires
Avis sur Hacker News
Projet intéressant, mais ils ont vraiment fait en sorte qu’il soit difficile d’y participer
L’article ne contient pas de lien direct vers la mission ; l’inscription elle-même est simple et bien organisée, et pousse discrètement à utiliser deux formes d’authentification à deux facteurs
Une fois l’inscription terminée, revenir à la page d’origine pour trouver la mission demande de fouiller un peu, et ouvrir les documents pour les lire était intéressant. L’écriture des gens de l’époque était globalement assez bonne
Mais quand on cherche comment commencer la transcription, on se retrouve de nouveau indiqué comme non connecté, et cliquer sur le lien renvoie encore à la page principale
J’aimerais consacrer du temps libre à ce genre de projet, mais on ne devrait pas devoir traverser une interface mal conçue pour pouvoir faire du bénévolat
Après avoir créé un compte et m’être connecté, j’ai choisi un État dans l’onglet d’origine et j’ai pu entrer directement et commencer à transcrire
Je me demande si uBlock Origin ou des restrictions JavaScript/cookies n’ont pas perturbé l’état de connexion
Le lien direct vers la mission qui figurait dans le post social est https://www.archives.gov/citizen-archivist/missions/revoluti...
Après environ 30 minutes à jongler entre plusieurs sessions et navigateurs, j’ai fini par réussir à me connecter, sans aucun indicateur indiquant ce qui était correct ou non
Même une fois connecté, l’UI change si peu qu’il est facile de manquer le fait que la connexion a réussi
Après m’être connecté, j’ai encore passé 45 minutes à chercher des documents à transcrire, mais tous ceux que je trouvais ou recevais via un défi étaient déjà transcrits, ou bien étaient des documents/listes dactylographiés que la reconnaissance de caractères avait déjà plus ou moins traités
J’ai simplement vérifié l’exactitude de quelques documents, puis fermé le navigateur et je n’y suis pas retourné
J’espérais pouvoir ouvrir ça pendant des pauses de 15 à 30 minutes dans la journée, au lieu de faire des mots croisés ou de regarder une vidéo, pour contribuer un peu ; dommage que ce soit si difficile à utiliser
On ne saisit pas d’informations bancaires, et tout le processus a l’air pénible à plusieurs égards. J’en ai de plus en plus assez des sites sans grande importance qui exigent une authentification à deux facteurs comme s’ils étaient une société de courtage
Avant de demander « pourquoi ne pas simplement utiliser un LLM ? », l’article dit déjà clairement qu’ils en utilisent, mais que ce n’est pas toujours une solution possible
Pour un projet de crowdsourcing, on pourrait d’abord faire une première transcription avec un LLM, puis montrer à l’utilisateur l’image accompagnée du meilleur résultat du LLM
Je me suis inscrit plus tard pour voir les missions actuelles : tous les documents dataient d’après 1900 et semblaient composés typographiquement. Ils étaient flous, mais 4o les a lus très facilement
« Certains participants, comme Alex Smith, un retraité de Pennsylvanie, ont consacré des années de leur vie à ce programme. En neuf ans, il a transcrit plus de 100 000 documents »
Faites transcrire les mêmes 100 000 documents à plusieurs LLM, puis comparez qui, de l’humain ou de la machine, est le plus précis, et dans quelle mesure
La preuve fournie est simplement une image qui, à première vue, se transcrit facilement, donc ce n’est pas très convaincant
C’est triste de voir que les escrocs ont tellement accaparé le domaine de l’IA qu’on en arrive maintenant à traiter l’OCR comme une catégorie distincte
J’ai transcrit une lettre de 1814 dans laquelle une femme demandait à James Monroe, alors secrétaire d’État, un passeport pour se rendre en Écosse afin de récupérer les biens de son frère décédé
C’était une expérience vraiment particulière, et une fois « synchronisé » avec l’écriture de l’auteur, il était agréable d’entrer dans le flux
En plus, comme la transcription oblige à lire puis réécrire mot par mot ce qu’on transcrit, les histoires lues restent très fortement en mémoire
Ce n’est pas surprenant quand on passe un temps anormalement long sur une seule page, mais c’est un effet secondaire appréciable quand on essaie de s’en souvenir plus tard
Bien sûr, il faut choisir un auteur dont le style mérite d’être respecté. Quand on n’est pas familier avec la langue cible, on réfléchit longuement au choix des mots de l’auteur et aux nuances qu’il cherche à transmettre, puis on cherche l’expression appropriée en anglais
On reste ainsi plongé dans l’image d’autant plus longtemps
Même quand je transcris quelque chose tel quel, je n’ai aucune idée de ce que j’ai écrit, et si je veux vraiment en comprendre le sens, je dois revenir en arrière et relire
Ceux qui font une confiance inébranlable à l’OCR/aux LLM, comme ceux qui estiment que la technologie n’en est pas encore là, ont tous deux en partie raison, mais semblent ne pas vraiment s’écouter
Plutôt que des débats sans fondement, il faudrait essayer de trouver des exemples concrets et des conclusions communes
Peut-on s’en servir pour traiter les formules toutes faites et réduire fortement l’effort ? Oui. Les résultats doivent-ils être relus et corrigés par un humain ? Oui aussi
Voici un exemple subtil : https://catalog.archives.gov/id/34384201?objectPage=40
Voici l’une des transcriptions produites par
o1-pro(2)
…and I don’t know whether it can be reset for a
date in December or not. Cornell seemed
anxious that it should not come up too close to Christmas,
and of course new suspicion [would be aroused?] [about?] him.
I will take this up with the Judge as soon as I can get rid of the brief.
Meanwhile I would like to know whether there is anything else
in which I can be useful to you, since it behooves me
in ways of uncomfortable relations with the present management.
Are you going East in December?
Has any word come from Hagerman?
Were there any noteworthy developments at the hearings
on the [Teapot?] trial?
I have no inclination yet whether Wheeler will be wanted in
Washington, but the chances are that he will not.
With regards to all the brethren and [flock?], I am
very sincerely yours,
George A. H. Fraser
Même sans être anglophone natif, on voit qu’il y a des erreurs. Je laisse au lecteur le soin de les trouver, mais au minimum ce n’est pas Teapot trial
Dans cet exemple, GPT-4o s’en est un peu mieux sorti, et n’a échoué que sur la partie “New Mexican practise”
Le résultat de https://www.handwritingocr.com semblait plus exact, et a notamment bien trouvé New Mexican, ainsi que probablement la plupart des autres passages
and I don't know whether it can be reset for a date in December or not. Cornell seemed anxious that it should not come off too close to Christmas, and of course New Mexican practice would support him. I will take this up with the Judge and with Hanna the moment I can get rid of the brief. Meanwhile I would like to know whether there is anything else in which I can be useful to you, since it behooves me to be diligent in view of uncomfortable relations with the present management.Are you going East in December?
Has any word come from Hagerman?
Were there any noteworthy developments at the hearings on the Tenorio tract?
I have no intimation yet whether I will be wanted in Washington, but the chances are that I will not.
With regards to all the brethren and flock, Dan
Very sincerely yours,
George H. H. Baser
Et le lien mène à la mauvaise page. Le bon lien est https://catalog.archives.gov/id/34384201?objectPage=190
Je cherchais de quoi occuper mon vendredi soir avec quelque chose d’à moitié productif, et c’est parfait
Plus sérieusement, c’est vraiment une sensation formidable que de travailler sur un projet de transcription de lettres et de journaux qui n’ont été touchés par personne depuis leur archivage
À part le fait de se tenir physiquement devant les documents, on a l’impression que la distance avec l’auteur et ce moment précis disparaît presque
Surtout quand on voit qu’une personne a effacé quelque chose ou a fait une erreur, on se met à imaginer pourquoi. Un ami l’a-t-il surprise en passant devant la porte ? S’est-elle laissée distraire en regardant par la fenêtre ? C’est à la fois très proche et très lointain
Je me dis que les grandes entreprises d’IA, affamées de données d’entraînement, pourraient bien contribuer un peu à ce genre d’effort
Avec quelques sous de capital-risque, elles pourraient à la fois servir l’intérêt général et obtenir des données d’entraînement de qualité, non ?
Il faudrait peut-être demander de l’aide aux facs de médecine ;)
Dans ma famille, tout le monde est passé par l’Ivy League, et ils ont la pire écriture cursive que j’aie jamais vue
Il m’arrive de mettre une heure à lire une carte de Noël envoyée par ma sœur
Il devait bien y avoir un cours dédié à ça à l’université
J’ai envie d’essayer pour m’entraîner à lire l’écriture cursive
J’écris beaucoup à la main, et je prends toutes mes notes en cursive. C’est enthousiasmant de voir mes classeurs se remplir de toutes sortes de sujets
Il y a plusieurs raisons pour lesquelles j’écris en cursive : j’ai moins mal à la main, ça offre un petit niveau de confidentialité dans les lieux publics, je ne veux pas perdre cette compétence et, surtout, c’est amusant
J’aime aussi l’aspect que ça a. Je n’utilise pas de stylo particulier, mais j’ajoute mon propre style à mon écriture cursive pour la rendre plus agréable à regarder
Avant, je prenais aussi mes notes de cours en calligraphie, surtout parce que ça me donnait une excuse pour ne pas vraiment me concentrer sur la matière
Mais les profs n’aimaient pas que je n’arrive pas à recopier assez vite leurs gribouillis au tableau
C’est vraiment super, et je ne veux pas dénigrer l’initiative
À bien des égards, proposer un passe-temps permettant de participer aux National Archives peut être un objectif en soi
Mais… les ordinateurs ne pourraient-ils pas faire ce travail bien mieux ?
J’ai passé l’exemple dans 4o et il a produit ceci :
The following is the declaration of James Lambert, a soldier of the Revolutionary War in North America.
The said James Lambert this day personally appeared in the Probate Court of the County of Dearborn in the State of Indiana and at the November Term of said Court (1841), it being a court of record created by the laws of Indiana and made oath that:
On the 25th day of March 1842, he will be eighty-five years old, that he was born in the State of Maryland, that he is now a resident of said county and has been for the 27 years last past; that he has lived in Virginia, Maryland, and Pennsylvania...
L’écriture cursive est analogique et fluide ; elle manque donc de cohérence d’un auteur à l’autre, et elle est souvent irrégulière même chez une même personne
Quand elle est bien faite, elle peut relever d’une forme d’art, mais quand elle est mal faite, elle peut ressembler aux traces laissées par une poule sous méthamphétamine
Après environ 50 ans à utiliser un clavier, je n’arrive même plus à lire ma propre écriture
Je ne suis même pas capable de produire une signature reproductible
Si on faisait encore ça, je pense que 50 % des transactions que je tente échoueraient
C’est clairement une forme d’expression personnelle que j’ai perdue