XrayGPT : résumé de radiographies thoraciques à l’aide d’un modèle médical vision-langage (VLM)

• Recherche sur l’analyse automatique de radiographies thoraciques
• Fine-tuning de Vicuna LLM avec des données médicales (100 000 conversations réelles entre patients et médecins) et 30 000 dialogues en radiologie
• Génération de résumés conversationnels propres (~217k) à partir de jeux de données gratuits de rapports radiologiques textuels (MIMIC-CXR et OpenI) afin d’améliorer les performances du LLM
• Alignement d’un Frozen Medical Visual Encoder (MedClip) sur un LLM fine-tuné (Vicuna) à l’aide d’une transformation linéaire simple

[cosine20]

Si vous avez une radiographie thoracique, vous pouvez même essayer la démo vous-même.