Genauigkeit der Interpretation klinischer ophthalmologischer Bilder durch einen KI-Chatbot

MISCELLANEOUS Toronto – Die diagnostische Genauigkeit in der Augenheilkunde hängt von der effizienten Interpretation multimodaler Bilder ab. Die Autoren um Andrew Mihalache von der Temerty School of Medicine der University of Toronto, Kanada, untersuchen die neue Fähigkeit von ChatGPT-4 (OpenAI), ophthalmologische Bilder zu interpretieren. Um die Leistungsfähigkeit der neuen Version des Chatbots mit künstlicher Intelligenz bei der Verarbeitung von Bilddaten zu bewerten, nutzten sie in der Querschnittsstudie einen öffentlich verfügbaren Datensatz ophthalmologischer Fälle von »OCTCases«, einer medizinischen Fortbildungsplattform des Department of Ophthalmology and Vision Sciences der University of Toronto, mit klinischen multimodalen Bildern und Multiple-Choice-Fragen. Von 137 verfügbaren Fällen enthielten 136 Multiple-Choice-Fragen (99%). Der Chatbot beantwortete Fragen, die die Einbeziehung multimodaler Bildgebung erforderten, vom 16. bis 23. Oktober 2023. Das primäre Ergebnis war die Genauigkeit des Chatbots bei der Beantwortung von Multiple-Choice-Fragen zur Bilderkennung in ophthalmologischen Fällen, gemessen am Anteil richtiger Antworten. Es wurden χ2-Tests durchgeführt, um den Anteil richtiger Antworten in verschiedenen ophthalmologischen Spezialgebieten zu vergleichen. Insgesamt wurden 429 Multiple-Choice-Fragen zu 136 ophthalmologischen Fällen und 448 Bildern in die Analyse einbezogen. Insgesamt beantwortete der Chatbot 299 der Multiple-Choice-Fragen richtig (70%). Die Leistung des Chatbots war bei Fragen zur Netzhaut besser als bei Fragen zur Neuroophthalmologie (77% vs. 58%; χ21 = 11,4; p < 0,001). Bei nicht bildbasierten Fragen schnitt der Chatbot besser ab als bei bildbasierten Fragen (82% vs. 65%; χ21 = 12,2; p < 0,001). Am besten schnitt der Chatbot in der Kategorie Retina (77% richtig) und am schlechtesten in der Kategorie Neuroophthalmologie (58% richtig) ab. Dazwischen lag die Leistung des Chatbots bei Fragen aus den Kategorien Ophthalmo-Onkologie (72% richtig), pädiatrische Ophthalmologie (68% richtig), Uveitis (67% richtig) und Glaukom (61% richtig). In der April-Ausgabe 2024 des JAMA OPHTHALMOLOGY fassen die Autoren zusammen, dass die aktuelle Version des Chatbots ChatGPT in dieser Studie etwa zwei Drittel der Multiple-Choice-Fragen zu ophthalmologischen Fällen auf Basis der Bildinterpretation richtig beantwortete. Der multimodale Chatbot schnitt bei Fragen, die nicht auf der Interpretation von Bildmodalitäten basierten, besser ab. Da der Einsatz von multimodalen Chatbots immer mehr zunimmt, ist es aus Sicht der Autoren wichtig, auf eine angemessene Integration in medizinische Kontexte zu achten. (bs)

Autoren: Mihalache A, Huang RS, Popovic MM, Patil NS, Pandya BU, Shor R, Pereira A, Kwok JM, Yan P, Wong DT, Kertes PJ, Muni RH. Korrespondenz: Andrew Mihalache, MD, Temerty School of Medicine, University of Toronto, Toronto, Ontario, Canada. Studie: Accuracy of an Artificial Intelligence Chatbot’s Interpretation of Clinical Ophthalmic Images. Quelle: JAMA Ophthalmol. 2024 Apr 1;142(4):321-326. doi: 10.1001/jamaophthalmol.2024.0017. PMID: 38421670; PMCID: PMC10905373. Web: https://jamanetwork.com/journals/jamaophthalmology/article-abstract/2815697