- La littérature tibétaine ne correspond pas à l’hypothèse des paragraphes courts des traitements de texte courants, ce qui a longtemps entraîné des contraintes pratiques dans les outils d’édition et de publication numériques
- BDRC œuvre à des améliorations techniques pour que le tibétain soit correctement pris en charge dans les environnements numériques, et cette fois la prise en charge des paragraphes très longs dans LibreOffice constitue une avancée majeure
- Les longs flux de texte sans retours à la ligne forcés et avec peu d’espaces diffèrent du traitement des documents anglophones, ce qui pouvait facilement provoquer des problèmes de performance lors de l’ouverture ou de la conversion de longs textes tibétains
- Grâce au correctif de Jonathan Clark, même un texte d’un seul « paragraphe » de 153 pages, comme le Yishindzö de Longchenpa, peut désormais être ouvert et édité rapidement ; la conversion RDF vers PDF, qui restait bloquée pendant plus de 45 minutes, se termine en 13 secondes
- La prise en charge des paragraphes très longs a été intégrée à LibreOffice 24.8.2, publié le 27 septembre 2024, ce qui permet aux utilisateurs du tibétain d’exploiter plus concrètement des outils de publication gratuits et open source
Pourquoi la prise en charge numérique du tibétain est importante
- L’une des missions importantes de BDRC est l’innovation technologique pour faire du tibétain un citoyen de premier rang du monde numérique
- Depuis l’introduction du bouddhisme au VIIIe siècle, les Tibétains ont consacré une énergie et des ressources considérables à l’écriture, à l’innovation et à la technologie
- L’écriture tibétaine et la langue classique ont été créées pour traduire les textes bouddhiques sanskrits et chinois dans une langue compréhensible par les Tibétains
- Au XIVe siècle, l’impression xylographique a été largement adoptée afin de produire en masse des traductions de textes canoniques et des milliers d’ouvrages bouddhiques en tibétain écrits par des auteurs himalayens
- L’apparition de polices informatiques tibétaines et l’intégration au Unicode Standard ont constitué un grand bond en avant dans l’intégration du tibétain au monde numérique
Une structure de la littérature tibétaine qui ne correspond pas aux traitements de texte courants
- La littérature tibétaine possède encore des caractéristiques que tous les outils et applications ne prennent pas suffisamment en charge
- En particulier, la notion européenne de paragraphe ne s’applique pas de la même manière
- Les textes tibétains doivent souvent être traités comme un long flux continu, sans retours à la ligne forcés
- Ce flux peut parfois atteindre des centaines, voire des milliers de pages
- Les traitements de texte courants ont été conçus à l’origine en pensant aux textes anglais
- Ils supposent des paragraphes relativement courts
- Ils partent du principe qu’il existe des espaces entre les mots et que la largeur de ces espaces peut être ajustée de manière flexible
- La littérature tibétaine entre en conflit avec ces hypothèses, car la longueur des paragraphes y est pratiquement illimitée et les espaces très rares
- Résultat : à l’ouverture de longs textes tibétains, un traitement de texte pouvait devenir extrêmement lent, voire ne plus fonctionner du tout, ce qui le rendait difficile à utiliser pour des projets de publication sérieux
Correctif LibreOffice et évolution réelle des performances
- LibreOffice est l’un des traitements de texte open source matures et stables inspirés de MS Word, disponible gratuitement sur plusieurs plateformes, dont Linux
- Les logiciels commerciaux comme Word ou InDesign peuvent traiter de longs textes tibétains, mais ils sont coûteux et, dans plusieurs régions d’Asie, souvent utilisés sous forme de versions piratées
- Tant que LibreOffice ne savait pas gérer les longs paragraphes, il n’existait pratiquement pas d’outil gratuit pour l’édition en tibétain
- Elie Roux, CTO de BDRC, a signalé ce problème à LibreOffice en 2015
- Intervenir dans le code de LibreOffice était un grand projet nécessitant plusieurs semaines de recherche et développement, et il n’y a pas eu de progrès pendant un certain temps
- Il y a quelques semaines, Jonathan Clark a pris en charge le problème et l’a corrigé
- Le Yishindzö de Longchenpa est un long texte constitué d’un seul « paragraphe » de 153 pages
- Il peut désormais être ouvert et édité rapidement dans LibreOffice
- Ce texte est consultable dans les archives de BDRC sous yid bzhin mdzod
- La conversion du fichier RDF de ce texte précis en PDF restait auparavant bloquée même après 45 minutes, mais elle se termine désormais en 13 secondes
- La prise en charge des paragraphes très longs a été intégrée à LibreOffice 24.8.2, publié le 27 septembre 2024
- BDRC sollicite des retours sur les lacunes et l’expérience utilisateur dans les logiciels d’édition en tibétain, afin de continuer à améliorer les outils numériques pour le tibétain grâce à la collaboration avec la communauté
2 commentaires
Commentaires Hacker News
Jim Woolsey, hippie originaire de New Hope, en Pennsylvanie, et hacker informatique des débuts, a été l’une des figures importantes des premiers temps de la numérisation du tibétain.
Cette interview de 1993, https://www.mcall.com/1993/10/08/new-hope-man-computer-guru-..., est une intéressante capsule temporelle, et mérite d’être lue en elle-même.
C’était une connaissance de ma famille, et j’ai toujours admiré son engagement unique dans ce travail important mais sous-estimé.
« Les documents ont des paragraphes raisonnablement courts » devrait sans doute être ajouté à la liste des fausses croyances des programmeurs sur le texte.
OpenOffice avait une limite stricte de 65 534 caractères par paragraphe, et il a fallu pas mal de travail à LibreOffice pour la supprimer : https://bugs.documentfoundation.org/show_bug.cgi?id=30668
La direction du texte, les signes diacritiques et la ponctuation me venaient naturellement à l’esprit, mais je pensais que le découpage en blocs était universel.
En fait non : « Le concept typographique de paragraphe dans les langues européennes n’existe pas vraiment de la même manière dans les textes tibétains. En conséquence, les textes tibétains doivent souvent être traités comme de longs flux de texte ininterrompus, sans retours à la ligne forcés, parfois sur des centaines, voire des milliers de pages. »
'\n', avant de se faire battre par le tibétain.Avec tout le respect dû, l’esprit d’innovation des Tibétains est aussi reconnu dans The Nine Billion Names of God : https://en.wikipedia.org/wiki/The_Nine_Billion_Names_of_God
Et leur innovation va bien au-delà de ce livre, ou du moins du résumé de l’intrigue sur Wikipedia.
J’aime bien une formule comme « des paragraphes relativement courts, peut-être jusqu’à quelques pages », parce qu’elle montre à quel point je vois le monde depuis un point de vue particulier.
Je ne crois pas avoir jamais écrit un paragraphe d’une page.
L’exemple le plus proche qui me vient à l’esprit est celui d’un écrivain, dont j’ai oublié le nom, qui avait écrit plusieurs pages de flux de conscience sans paragraphes ni ponctuation.
Par exemple James Joyce et David Foster Wallace.
Ce travail est en cours depuis un bon moment.
Il existe aussi une vieille pile HyperCard pour apprendre la prononciation du tibétain, avec même du son 16 bits : https://hcsimulator.com/Learn-Tibetan
Plusieurs formes d’écriture en flux de conscience, ou styles apparentés, évitent aussi les paragraphes, parfois même d’autres structures traditionnelles, donc je suis un peu surpris que les traitements de texte aient du mal avec les longs paragraphes.
Même si ce n’est pas très courant, ce n’est pas inexistant, et je pensais que les auteurs et les éditeurs trouvaient bien un moyen de gérer ça.
Exemple récent au hasard : https://en.wikipedia.org/wiki/Ducks,_Newburyport
Je serais curieux de connaître les détails de la prise en charge des paragraphes extrêmement longs, ou de la façon dont son absence a été contournée.
Quelqu’un sait ?
C’est un changement assez court qui réduit l’impact O(n^2) grâce à un cache.
Ce changement inclut une amélioration de la scalabilité pour les documents contenant des paragraphes extrêmement grands.
Il réduit la taille du contexte de mise en page pour tenir compte des caractères de contrôle LF et, en raison des schémas d’accès typiques pendant la mise en page des paragraphes, remplace les appels O(n^2) de VCL à
vcl::ScriptRun::next()par l’utilisation du cache LRU global existant, évitant ainsi une surcharge importante.Je croyais que le bengali et l’assamais utilisaient l’écriture tibétaine ; quelqu’un sait à quel point elle ressemble à l’écriture que les Tibétains utilisent pour leur propre langue ?
Le bengali et l’assamais appartiennent à la famille indo-aryenne, tandis que le tibétain appartient à une famille complètement différente, la famille sino-tibétaine.
En tant que locuteur bengali, quand je suis allé au Bhutan, où l’on parle une langue qui serait mutuellement intelligible à 50 % avec le tibétain, je n’ai rien compris.
Je m’attendais à trouver pas mal d’emprunts bouddhiques, mais j’ai été surpris de constater que même des mots comme dharma ou karma sonnaient complètement différemment en tibétain.
https://en.wikipedia.org/wiki/Tibetan_script
Les langues sont vraiment fascinantes
Certaines sont faciles à apprendre et servent de vecteur de communication sur de vastes régions ; d’autres sont difficiles à maîtriser, mais permettent de construire des structures et des idées très complexes, puis de les transmettre entre locuteurs
Où se situe le tibétain sur ce spectre ?
Les sujets hautement techniques ont forcément un vocabulaire spécialisé hautement technique
Mais je ne suis pas convaincu que la quantité de nuances subtiles d’une langue soit liée à la complexité des idées que l’on peut exprimer dans cette langue
Je suis Eyal, bénévole du projet LibreOffice, et je fais beaucoup d’assurance qualité sur les écritures de droite à gauche et les scripts à composition de texte complexe
Merci à thunderbong3 d’avoir partagé le lien de cet article, et un grand merci à Jonathan Clark, le nouveau développeur de The Document Foundation chargé du RTL-CTL-CJK, qui a implémenté les améliorations de performance pour le tibétain
La plupart des bugs que je rencontre et signale dans LibreOffice sont des problèmes généraux, non spécifiques à un système d’écriture donné
Par exemple, du code qui oublie que le contenu peut être de droite à gauche se comporte mal dans ces cas-là
Parmi les bugs propres à certains systèmes d’écriture, beaucoup concernent l’écriture arabe, la plus utilisée, qui sert aussi pour le persan, l’ourdou, le javanais, etc.
Il existe tout de même des problèmes liés à des systèmes d’écriture moins répandus, comme le tibétain ou le mongol : https://bugs.documentfoundation.org/show_bug.cgi?id=115607
Ce méta-bug suit les problèmes concernant le mongol, le tibétain, l’ouïghour, le zhuang, le kazakh, le xibe, le dai, le yi, le miao, le jingpo, le lisu, le lahu, le wa, etc.
Il est difficile de savoir si les problèmes spécifiques à ces langues sont réellement peu nombreux, ou si leur usage est limité et que les utilisateurs ne sont pas suffisamment incités à signaler les bugs
Quoi qu’il en soit, comme le montrent les correctifs récents de Jonathan, il existe clairement une volonté de les résoudre lorsque du temps de développement est disponible
Si l’équité dans l’édition de documents entre ces systèmes d’écriture, pays et cultures vous intéresse, utilisez LibreOffice dans une langue que vous connaissez et, si vous trouvez un bug, signalez-le dans Bugzilla : https://bugs.documentfoundation.org/
Pensez aussi à soutenir financièrement The Document Foundation, qui gère le projet LibreOffice : https://www.libreoffice.org/donate/
Nous sommes l’un des grands projets libres et open source au monde, avec des dizaines de millions d’utilisateurs réguliers, peut-être plus de 100 millions, et un conseil d’administration composé de personnes issues de dizaines de pays
Mais aucune grande entreprise n’investit massivement de l’argent ou du temps dans le projet
Quelques sociétés commerciales comme Collabora et Allotropia contribuent, mais beaucoup de problèmes fondamentaux ne sont pas assez proches des besoins de leurs clients
C’est pourquoi nous avons décidé d’embaucher directement Jonathan pour renforcer la prise en charge RTL-CTL-CJK, et ce sont les dons des utilisateurs individuels qui rendent ce type de travail possible
Heureusement qu’il y avait des espaces en coréen, sinon ça aurait été compliqué.