- Les recommandations de traitement du cancer condensent les preuves cliniques en recommandations structurées afin de réduire les variations de prise en charge, mais la pression du temps et les différences d’accès aux dernières recherches rendent leur application cohérente difficile sur le terrain
- Le NCCN est une alliance de 32 grands centres de cancérologie aux États-Unis ; des panels pluridisciplinaires d’experts par type de cancer mettent à jour chaque année les NCCN Clinical Practice Guidelines in Oncology
- Aujourd’hui, les recommandations prennent la forme de diagrammes de flux en PDF qu’il faut parcourir sur plusieurs pages et via plusieurs liens ; pour les sous-types rares ou les situations patient complexes, il est difficile de trouver la bonne version et le bon chemin
- Par nature, les recommandations sont des arbres de décision : si elles existaient dans un format interprétable par machine, les systèmes de dossiers médicaux pourraient suggérer des examens, alerter en cas d’écart aux recommandations et offrir des interfaces de navigation rapides
- Un outil pilote a utilisé un LLM pour extraire les recommandations NCCN sur le cancer du sein dans un schéma JSON et les stocker sous forme de graphe de 271 nœuds, mais sa précision n’est que de 70–80 % et il ne doit pas être utilisé pour la décision clinique
Le rôle des recommandations dans la standardisation du traitement du cancer
- Idéalement, deux patients ayant le même type de cancer, le même stade, la même taille et la même localisation tumorale devraient recevoir le même traitement fondé sur les preuves ou les mêmes examens complémentaires, même s’ils consultent dans deux hôpitaux différents
- En pratique, les médecins travaillent sous pression temporelle, ont des formations différentes et n’ont pas toujours un accès immédiat aux travaux de recherche les plus récents
- Les recommandations cliniques synthétisent une masse considérable de preuves médicales sous forme de recommandations structurées, afin d’aider à standardiser les traitements entre hôpitaux et cliniciens
- La réponse au traitement peut varier selon les patients, mais suivre des recommandations fondées sur les preuves augmente les chances d’obtenir des résultats positifs
Comment sont élaborées les recommandations du NCCN
- Chaque année, des oncologues spécialisés par type de cancer listent les différentes situations pouvant être rencontrées en pratique, examinent les preuves cliniques associées à chacune et recommandent des conduites à tenir
- Exemple : cancer du sein précoce, antécédent de tumorectomie partielle, patiente actuellement enceinte
- Exemple : cancer canalaire invasif avec une tumeur de 0,6–1 cm
- Les recommandations peuvent conduire à prescrire un examen précis, un protocole de traitement ou un calendrier de suivi ultérieur
- Les panels examinent régulièrement les nouvelles données probantes et mettent à jour les recommandations
- Comme les traitements disponibles varient selon les régions, plusieurs organisations produisent des recommandations différentes, et leur application concrète est elle aussi influencée par le contexte local
- Le NCCN est une alliance de 32 grands centres de cancérologie aux États-Unis ; des panels pluridisciplinaires d’experts par type de cancer examinent les recherches les plus récentes et établissent un consensus sur les approches de dépistage, de diagnostic, de traitement et de soins de support
- Le résultat, les NCCN Clinical Practice Guidelines in Oncology, sert de standard complet et largement utilisé dans le monde entier pour le traitement du cancer
Les problèmes pratiques d’une implémentation basée sur des PDF
- Une page des recommandations NCCN sur le cancer du sein contient des liens comme BINV-6, chacun menant à une autre page avec son propre diagramme de flux
- Le médecin doit confronter la situation du patient au diagramme ; lorsqu’une information inconnue apparaît, comme le statut HER2, il doit prescrire un test ou suivre plusieurs pages jusqu’à parvenir à une recommandation de traitement
- Même avec des recommandations, une standardisation complète reste difficile
- Il peut exister plusieurs options de traitement avec un niveau de preuve similaire
- Certaines situations patient pertinentes pour le traitement peuvent ne pas être explicitement listées dans les recommandations
- Le médecin doit encore exercer son jugement, même si l’éventail des décisions possibles se resserre
- Des centres de référence comme Mayo Clinic ou MD Anderson disposent non seulement de financements, d’oncologues hautement spécialisés et d’un accès aux essais cliniques, mais aussi de processus de soins systématiques et de procédures de mise en œuvre des recommandations
- Dans n’importe quel hôpital, la prise en charge peut s’écarter des recommandations
- Exemple : le fait qu’une patiente soit ménopausée peut être manqué dans le dossier, conduisant à un traitement mieux étayé chez les patientes non ménopausées
- Comme les médecins voient des centaines de patients, certaines conditions peuvent être omises même si les recommandations sont accessibles
- Améliorer les résultats du traitement du cancer passe aussi par la découverte de nouveaux médicaments et l’amélioration des techniques chirurgicales, mais réduire les écarts dans les soins fondés sur les preuves est une approche immédiate, universelle et atteignable
Les limites des arbres de décision enfermés dans des PDF
- Les recommandations concentrent des centaines de milliers d’heures de travail d’oncologues experts, mais le livrable final est un PDF dense et difficile à explorer
- Un oncologue qui ne voit un sous-type rare de cancer du sein qu’une fois toutes les quelques années doit trouver la bonne version du PDF, repérer la section correspondant aux caractéristiques du cancer, suivre des liens sur plusieurs pages et garder constamment à l’esprit les facteurs propres au patient
- Les recommandations sont révisées en continu et les nouvelles versions sont diffusées sous forme de PDF distincts, ce qui rend facile de manquer une mise à jour ou de consulter une ancienne version enfouie parmi les documents cliniques
- Fondamentalement, les recommandations sont des arbres de décision, et les équipes qui les rédigent consacrent beaucoup d’efforts à examiner les preuves pour les organiser sous cette forme
- Avec des données correctement structurées, une machine pourrait interpréter les recommandations
- Le système de dossier médical pourrait suggérer automatiquement les examens diagnostiques nécessaires pour un patient
- Il pourrait afficher une alerte ou une modale « êtes-vous sûr ? » lorsqu’un traitement s’écarte des recommandations
- Le médecin pourrait consulter les recommandations de manière plus rapide et plus naturelle, au lieu de chercher un PDF
- Les organismes qui rédigent les recommandations devraient fournir, en plus des PDF téléchargeables, un format structuré et interprétable par machine ; idéalement, tous les établissements et systèmes de données patient devraient pouvoir interpréter le même format
- Cela dit, cette approche orientée données ne relève pas du cœur d’expertise des organismes de rédaction de recommandations
Un outil pilote pour des recommandations structurées
- À partir d’une expérience de travail comme ingénieur logiciel avec des oncologues, un outil de preuve de concept a été créé pour extraire les arbres de décision enfermés dans les PDF vers une structure compréhensible par machine
-
Conception du schéma
- La première étape a consisté à définir un schéma capable de représenter la majorité des informations des recommandations NCCN
- Les recommandations ressemblent à un arbre d’informations, mais certains renvois peuvent revenir en arrière, créant des cycles
- L’ensemble des recommandations pour un type de cancer se divise en plusieurs graphes orientés distincts
- Chaque point — conditions, caractéristiques restrictives, options thérapeutiques, etc. — est représenté par un nœud, et les références bibliographiques ainsi que les notes de bas de page associées sont également stockées dans les nœuds
- Les flèches des diagrammes de flux ou les renvois entre pages sont représentés comme des relations entre nœuds
-
Extraction des données
- Dans une première étape, le LLM parcourt le document pour créer les nœuds de référence correspondant à chaque page des recommandations
- Une référence de page devient le nœud parent du nœud de plus haut niveau de cette page ; lorsqu’un autre nœud pointe vers une page donnée, il pointe vers le nœud de cette page
- Ensuite, le LLM lit les recommandations par petits groupes de pages et, avec les références de page, les extrait sous forme de représentation JSON du schéma
- Ce processus a été appliqué aux recommandations NCCN sur le cancer du sein ; les nœuds et relations ont été stockés en base de données, pour un total de 271 nœuds générés
-
Visualisation
- Un visualiseur de graphe a été créé avec la bibliothèque React Flow, affichant les pages qui sont des nœuds racine sans référence entrante
- Lorsqu’un utilisateur clique sur un nœud, ses nœuds enfants apparaissent, ce qui permet de suivre le flux des nœuds vers le bas
-
Implémentation de l’agent
- Un agent a été implémenté pour recevoir les antécédents d’un patient et explorer le graphe
- Il commence par trouver le nœud de plus haut niveau le plus proche de la situation du patient, puis choisit parmi ses nœuds enfants celui qui correspond le mieux au patient
- Ce processus se répète jusqu’à atteindre un nœud feuille ou jusqu’à ce qu’il manque des informations pour continuer
- L’outil pilote est disponible ici
Limites et prochaines étapes
- Les données de démonstration n’ont pas été vérifiées et comportent des erreurs et des omissions ; elles ne doivent donc pas être utilisées pour la décision clinique
- L’extraction a pris quelques heures, et l’agent encore moins ; avec davantage d’efforts, la précision pourrait être améliorée
- La précision actuelle est d’environ 70–80 %
- L’extraction par LLM est une méthode pratique pour créer un prototype, et une revue humaine pourrait accroître la fiabilité, mais l’approche idéale serait de rédiger les recommandations dès le départ sous une forme structururée
- Les données actuelles restent semi-structurées
- Des informations comme les relations causales, ainsi que la manière d’évaluer chaque nœud, exigent encore de comprendre le langage naturel de chaque nœud
- De futurs travaux pourraient définir un schéma plus structuré, plus facile à évaluer
1 commentaires
Avis sur Hacker News
Je pense que le PDF est préférable. Les outils sur mesure risquent fort de varier selon les cabinets ou les dossiers médicaux électroniques, et leur maintenance coûterait cher.
Le PDF est médiocre à bien des égards, mais il est durable et portable. Même en travaillant avec deux oncologues médicaux, on peut utiliser le même PDF.
L’intention de l’auteur est bonne, mais cela risque au final de devenir un outil que lui seul comprend, et d’empirer à cause d’innombrables exceptions.
Je ne cherche pas à construire ça pour le vendre à des établissements de santé ; je voulais montrer ce qu’il est possible de faire avec des recommandations cliniques structurées. Je ne vois pas pourquoi cela devrait être lié à un cabinet ou à un dossier médical électronique particulier.
Idéalement, les organismes qui publient les recommandations devraient aussi publier une représentation structurée en plus du PDF. Les outils de rédaction pourraient exporter dans les deux formats, les oncologues pourraient continuer à utiliser le PDF, tandis que les systèmes exploiteraient les données structurées.
Les oncologues de ville disposent de ressources techniques limitées par rapport aux centres nationaux du cancer. Si cela peut leur faciliter la vie, c’est une bonne chose.
Cela dit, les documents publiés comme les PDF ont aussi leurs qualités. Les systèmes rendent généralement difficile la comparaison entre une version de juin et une version de septembre.
Les systèmes de type assistant masquent la plupart des informations, peuvent contenir des bugs inconnus, rendent difficile le parcours des chemins alternatifs, risquent d’être liés à des utilisateurs enregistrés, et peuvent tomber en panne.
Je pense que des systèmes informatiques bien plus intelligents sont l’avenir de la médecine, mais je doute qu’il faille commencer par un nouvel outil sur mesure uniquement pour les recommandations en cancérologie.
Cette idée n’est pas nouvelle. En cherchant computable clinical guidelines, on trouve beaucoup de littérature académique sur le sujet, et cet article est un bon point de départ [1].
Il y a en réalité des tentatives depuis les années 1970, avec notamment le célèbre système expert MYCIN [2].
Comme le montre l’histoire de MYCIN, ce problème est bien plus subtil qu’il n’y paraît, et mêle des facteurs techniques, psychologiques, sociologiques et économiques. C’est aussi pour cela que les recommandations en cancérologie restent au format PDF.
Cela ne veut pas dire qu’il ne faut pas explorer. Ce n’est pas parce que les générations précédentes n’ont pas résolu le problème qu’il est insoluble.
[1] https://pmc.ncbi.nlm.nih.gov/articles/PMC10582221/
[2] https://www.forbes.com/sites/gilpress/2020/04/27/12-ai-miles...
En complément, il vaut aussi la peine de regarder la Developer API du NCCN. Son intérêt tient moins à sa dimension technique qu’à ce qu’elle révèle de l’environnement de propriété intellectuelle.
https://www.nccn.org/developer-api
Le point essentiel, c’est qu’il est difficile pour les médecins de vérifier si leurs recommandations reflètent réellement les dernières recherches cliniques.
Il est aussi important que les avantages dont disposent les médecins des grands centres médicaux faisant autorité, au cœur de la recherche, puissent être offerts à tous les médecins. C’est ce qu’on appelle souvent le problème de diffusion des connaissances.
À l’heure actuelle, la meilleure approche reste la revue systématique selon les standards Cochrane [0]. Ces revues demandent beaucoup de travail et sont trop rares, mais lorsqu’elles sont bien faites, elles ont une très grande valeur.
Elles montrent aussi à quelle fréquence des études publiées sont exclues pour des raisons comme des biais ou des jeux de données incomplets.
L’approche Geiger mentionnée dans le lien part d’une excellente intention, mais le résultat se heurtera aux mêmes problèmes que les revues systématiques manuelles.
Je me demande si l’auteur a envisagé non seulement des approches par apprentissage automatique, mais aussi des approches fondées sur des règles, comme les recommandations Cochrane.
[0] https://training.cochrane.org/handbook
Les recommandations du NCCN et les revues Cochrane jouent des rôles complémentaires en médecine. Le NCCN fournit des algorithmes pratiques et fréquemment mis à jour pour le traitement du cancer, fondés sur la recherche et le consensus d’experts, tandis que les revues Cochrane fournissent, dans toutes les disciplines médicales, une analyse rigoureuse des preuves davantage centrée sur les essais randomisés contrôlés.
Les recommandations du NCCN sont plus immédiatement applicables en pratique clinique, tandis que les revues Cochrane offrent une analyse plus approfondie de la qualité des preuves.
Mon objectif principal était de montrer ce qu’il est possible de faire avec n’importe quelle recommandation médicale correctement structurée. On peut choisir les critères que l’on veut.
Quelques curieux s’y intéressent, mais l’attitude générale est plutôt : ils ont déjà traversé un cursus difficile, ils n’ont plus besoin de faire ça.
Dire que « le cœur des recommandations cliniques, c’est un arbre de décision » relève du vœu pieux, et ce n’est pas forcément utile d’en faire un objectif
Les recommandations cliniques disposent de très peu de données couvrant tous les chemins de décision possibles. Elles rapportent des résultats bien étayés, fournissent des avis d’experts dans certains cas interpolés, et se contentent, pour une partie du reste, de lister les facteurs à prendre en compte
Si l’on réduit cela à un arbre de décision, beaucoup de branches restent vides, et la plupart des spécialistes peuvent identifier des facteurs qui devraient mener à un arbre plus complexe
La raison est que ces branches sont rarement déterministes. Elles relèvent plutôt d’une probabilité quantique, où il faut garder plusieurs possibilités en tête simultanément, et ce n’est qu’après qu’un traitement a montré son efficacité ou son échec que la maladie — ici le cancer — révèle son vrai visage
Tant que la véritable structure d’information des recommandations cliniques ne sera pas capturée, elles seront transmises comme un exposé faisant autorité et à visée pédagogique sur les soins standard
Dans presque tous les cas, il est plus important de publier plus vite et d’ajouter des références pour accroître la transparence que de simplifier pour augmenter l’adoption ou de transformer cela en procédures opérationnelles
La plupart des médecins dans un domaine dynamique n’ont pas besoin de simplification. Ils surmontent la difficulté des matériaux par une autodiscipline et une rigueur de toute une vie, et utilisent surtout les recommandations comme cadre de communication et de complétude pour vérifier que les préoccupations connues ont été traitées
Les recommandations structurées servent surtout à permettre à des acteurs extérieurs d’observer et de contrôler, une approche qui risque fort de ne pas être productive
Pourquoi tout le savoir humain ne tiendrait-il pas dans un immense fichier JSON ? Les recommandations cliniques sont bien des arbres de décision, mais elles ne sont pas écrites pour être appliquées mécaniquement. Parce qu’il n’existe pas, dans les hypothèses, deux patients identiques atteints du même cancer identique
Les recommandations cliniques ne sont pas destinées au médecin franc-tireur de cinéma qui descend en temps réel un arbre de décision dans une course contre la montre face au cancer, mais à des équipes cliniques hautement formées, habituées à collaborer entre elles. Elles ont la capacité de repérer les points où les recommandations sont erronées, ou doivent être étendues ou modifiées
Autrement dit, les recommandations cliniques sont une abstraction de l’état de l’art des soins
Ce serait bien de les traiter comme le code source d’un système de gestion de versions médical, que les sous-spécialités et les spécialistes pourraient facilement modifier ou forker. Mais les dépendances biologiques sont bien plus complexes que les dépendances en silicium, et elles resteront encore longtemps plus difficiles à discrétiser
Cela ne veut pas dire que l’ambition de l’auteur est mauvaise. Elle est excellente. Je pense simplement que les progrès dans ce domaine sont plus faciles lorsqu’ils se font au sein des équipes concernées. Ce qui paraît conceptuellement simple depuis l’extérieur du système ne le paraît que par manque de résolution
Ce qu’on veut lire, c’est un document papier consultable par recherche
C’est la même raison pour laquelle les fiches techniques sont encore en PDF : c’est un format fiable, durable et portable
Le fait que nous imitions en pratique le papier est ridicule, mais il n’existe pas d’autre format pour occuper ce créneau
À l’origine, HTML aurait dû jouer ce rôle, mais depuis une vingtaine d’années, l’attention s’est portée sur tout sauf sur faire de HTML un meilleur format d’échange d’informations
Même une tâche triviale comme empaqueter un document HTML complexe dans un seul fichier n’a pas de solution standard. Les cookies ne fonctionnent pas avec les URL
file://, et des choses très basiques ne fonctionnent pas ou n’existent pasÀ la place, on voit apparaître des formats dérivés comme ePUB, qui sont principalement du HTML, mais que la plupart des navigateurs ne prennent pas vraiment en charge
Au cours des dix dernières années, j’ai implémenté deux fois ce type de procédures informatisées dans deux startups
Le NCCN ne veut pas faire cela
Les recommandations du NCCN ne sont pas enfermées dans des PDF, elles sont enfermées dans la tête des médecins
Si les recommandations du NCCN deviennent des règles informatisées, ces règles commencent ensuite à piloter les recommandations. Cela devient une deuxième force qui éloigne de la science fondamentale
Je suis entièrement d’accord sur le fait qu’il faut systématiser les règles, mais cela doit rester totalement subordonné aux connaissances de pointe en oncologie, qui changent extrêmement souvent
Chaque année, après les grands congrès pan-cancer comme l’ASCO et les congrès propres à chaque maladie, par exemple le San Antonio Breast Cancer Symposium, les connaissances doivent être mises à jour ; et lorsque des résultats d’essais cliniques majeurs tombent avant la fin de l’année, les médecins doivent actualiser leurs connaissances via les derniers essais et la formation continue. C’est un corpus de connaissances global, complémentaire des limites que publie le NCCN
Ayant travaillé toute ma vie à la fois en informatique et en médecine, je crois que les médecins peuvent mettre à jour des règles beaucoup plus vite que les programmeurs et les bases de données
Je préfère que les recommandations du NCCN restent ouvertes dans des PDF que tout le monde peut vérifier en suivant les liens, plutôt que de les enfermer dans du spaghetti code que seuls quelques programmeurs comprennent
Modification : après avoir digéré cet article pendant environ une semaine, je changerai peut-être d’avis. Peut-être que le NCCN devrait standardiser suffisamment les variables cliniques pour que leur transformation en règles devienne triviale. Mais il faut que les hypothèses des essais cliniques puissent entrer dans ces règles, et il me faudra encore une semaine de réflexion pour voir si c’est possible
Les arbres de décision fonctionnent pour prendre des décisions
Mais ils ne fonctionnent pas aussi bien que d’autres techniques de décision. Les forêts aléatoires, les modèles linéaires, les réseaux neuronaux, etc., sont tous, fondamentalement, des techniques de décision
Dans un système complexe riche en données, à savoir la santé humaine, les arbres de décision donnent de mauvais résultats
Alors pourquoi utiliser une technique réputée inférieure simplement parce qu’elle est facile à écrire dans un PDF, facile à raisonner en réunion et facile à expliquer à quelqu’un ?
Ne devrait-on pas utiliser des modèles mathématiques de pointe, même s’ils sont trop complexes pour être compris par un humain, s’ils donnent la probabilité de « guérison » la plus élevée ?
Si un modèle est trop complexe pour être compris par un humain, ce sera parfait à expliquer au tribunal quand on découvrira plus tard qu’il reposait sur une fuite de données ou un autre biais
La pratique médicale réelle interpole souvent entre ces points de données
Du point de vue d’un chercheur sur le cancer, certaines branches des arbres de décision des recommandations du NCCN reposent sur des études où plusieurs options étaient toutes meilleures qu’un placebo, mais sans différence statistiquement significative entre elles
Dans ce cas, le clinicien peut utiliser d’autres facteurs pour décider quelle voie emprunter. Dans le cancer de la prostate, la chirurgie et la radiothérapie en sont l’exemple classique. Les deux sont à peu près aussi efficaces, mais l’expérience vécue par le patient est très différente
C’est bien plus grave qu’on ne l’imagine. J’ai travaillé dans une startup de santé qui s’occupait du recrutement de patients pour des essais cliniques en oncologie, et les obstacles étaient énormes
Honnêtement, même si les données étaient en texte brut, cela ne changerait pas grand-chose. Les codes de diagnostic varient d’un établissement de santé à l’autre, la compréhension sémantique des informations de diagnostic varie elle aussi selon les établissements, les dossiers médicaux électroniques sont un bazar, et tout est rédigé en langage naturel plutôt que structuré en données
Quiconque a fait du logiciel de santé pourrait raconter bien plus d’histoires d’horreur
J’espère que les grands modèles de langage aideront à en nettoyer une partie, mais comme le savent ceux qui ont fait du logiciel de santé, ce problème n’est pas un problème technique : c’est un problème profondément humain
Il y a tout de même un point positif. Des collègues ont fait de grands progrès en utilisant la théorie des catégories et Prolog pour découvrir un protocole d’escalade de dose 3+3 en oncologie clinique qui soit prouvablement optimal [1]
David a fait une excellente présentation à ce sujet lors du meetup Scryer Prolog à Vienne [2]
Il est stupéfiant de voir à quel point la médecine se trouve encore dans un âge sombre. Même s’il s’agit de la première spécification exécutable et programmable pour des essais 3+3 contre le cancer, il doit encore se battre pour convaincre ses collègues médecins et les administrateurs hospitaliers que c’est l’essai optimal. Sans surprise, parce qu’ils ne parlent ni le langage du logiciel ni celui des statistiques
[1]: https://arxiv.org/abs/2402.08334
[2]: https://www.digitalaustria.gv.at/eng/insights/Digital-Austri...
https://jakeseliger.com/
https://github.com/Precisfice/DEDUCTION