Introduction
Bonjour.
J’ai créé cette fois un workflow pour traduire une série de documentations officielles, et j’ai publié les résultats de traduction de MySQL et de Spring Boot sous une forme interrogeable.
J’ai pour habitude de parcourir la documentation officielle avant et après les entretiens, et j’espère que cela pourra aussi être utile à celles et ceux qui en auraient un usage similaire.
Les prompts utilisés, les liens vers le service, ainsi que l’article de blog d’OpenAI que j’ai consulté en utilisant 5.1 cette fois, sont regroupés dans la liste de liens ci-dessous.
Depuis GPT-5.1, ressenti sur les performances de raisonnement des LLM
Je note ici l’écart de performance ressenti en essayant d’automatiser la traduction depuis l’époque de GPT-3.5.
Avec GPT-3.5, même sur des textes relativement courts d’environ 500 à 10000 caractères, il arrivait souvent que même de petites tâches comme la remise en forme en Markdown ne soient pas réalisées avec une qualité satisfaisante.
En revanche, avec GPT-5.1, j’ai pu effectuer de manière relativement stable les tâches suivantes.
- extraire de manière stable, tout en conservant l’ordre, plus de 1000 informations de TOC (6 colonnes) depuis un HTML de plus de 100000 caractères
- même en laissant le LLM décider quels termes conserver en anglais et quels termes traduire, le document retourné reste très lisible (ex. : dans la documentation Spring, bean est conservé en anglais, tandis que factory est traduit)
Lorsque certaines parties se cassaient ou nécessitaient des ajustements pendant le travail, j’y ai répondu en ajoutant des règles dans le system prompt, et le fait que la qualité des résultats ne vacille pas fortement, même lorsque le system prompt devient long, était un point difficilement envisageable avec les modèles du passé.
Liens utiles
J’ai rassemblé ci-dessous des ressources de référence liées à ce travail.
Je partage cela car cela me semble avoir une valeur de référence pour montrer que, même avec des demandes de prompts aussi lourdes, on peut aujourd’hui obtenir des résultats d’un niveau exploitable en service.
(Je ne pense pas que le prompt lui-même soit particulièrement bien écrit, haha ; on trouve beaucoup de conseils de prompting sur les blogs d’Anthropic et d’OpenAI, donc j’en joins un exemple représentatif.)
2 commentaires
On dirait que le nombre de documents dans les résultats de recherche est toujours de 0.
Oh ! Merci pour le signalement.
De mon côté, cela s’affiche correctement pour l’instant. Par précaution, j’ai quand même revérifié le déploiement une fois de plus.
Pour que je puisse vérifier aussi de mon côté, je vous serais reconnaissant de me dire quels mots-clés vous avez utilisés pour la recherche.
Comme il n’y a pas encore de dictionnaire de synonymes coréen <-> anglais pour le moment, il est possible que cela ne soit pas ressorti simplement parce qu’il n’y avait pas de vraie correspondance.