Étude de la précision et de l’exhaustivité d’un modèle de langage large d’intelligence artificielle sur l’uvéite : Une évaluation de ChatGPT

UVEITIS / DEEP LEARNING Philadelfie – Afin d’évaluer la précision et l’exhaustivité des réponses générées par ChatGPT concernant la description, la prévention, le traitement et le pronostic de l’uvéite, l’équipe autour de Rayna F. Marshall du Collège de médecine de l’université Drexel en Philadelphie, États-Unis d’Amérique, a fait générer par un spécialiste de l’uvéite 32 questions relatives à l’uvéite et les a introduites dans ChatGPT 3.5. Les réponses ont été répertoriées dans le rapport et examinées par cinq spécialistes de l’uvéite à l’aide d’échelles de Likert normalisées afin d’évaluer l’exactitude et l’exhaustivité des réponses. Au total, le score médian de précision pour toutes les questions sur l’uvéite (n = 32) était de 4,00 (entre «plus correct qu’incorrect» et «presque entièrement correct»), et le score médian d’exhaustivité était de 2,00 («adéquat, aborde tous les aspects de la question et fournit la quantité minimale d’informations requises pour être considéré comme complet»). L’évaluation de la variabilité inter-juges a donné une valeur kappa totale de 0,0278 pour la précision et de 0,0847 pour l’exhaustivité. Dans le numéro de février 2024 du journal scientifique OCCULAR IMMONOLOGY AND INFLAMMATION, les auteurs remarquent que le ChatGPT peut fournir des informations relativement précises pour diverses questions liées à l’uvéite ; cependant, les réponses qu’il fournit sont incomplètes, avec quelques inexactitudes. Ainsi son utilité dans la fourniture d’informations médicales nécessite une validation et un développement supplémentaires avant de servir de source d’informations sur l’uvéite pour les patients. (um)

Auteurs : Marshall RF, Mallem K, Xu H, Thorne J, Burkholder B, Chaon B, Liberman P, Berkenstock M. Correspondance : Meghan Berkenstock, The Wilmer Eye Institute, Division of Ocular Immunology, The Johns Hopkins University School of Medicine, Baltimore, Maryland, USA. E-mail : mberken2@jhmi.edu Étude : Investigating the Accuracy and Completeness of an Artificial Intelligence Large Language Model About Uveitis: An Evaluation of ChatGPT. Source : Ocul Immunol Inflamm. 2024 Feb 23:1-4. doi: 10.1080/09273948.2024.2317417. Epub ahead of print. PMID: 38394625. Web : https://www.tandfonline.com/doi/full/10.1080/09273948.2024.2317417