Vergleich des Patientenvertrauens in Large Language Models versus Urologen

MISCELLANEOUS Heidelberg – Large Language Models (LLM) wie beispielsweise ChatGPT werden zunehmend auch in der Medizin eingesetzt. In früheren Studien konnte bereits gezeigt werden, dass sie beispielsweise bei der Beantwortung medizinischer Fragen menschlichen Experten mindestens ebenbürtig, teilweise sogar überlegen sind. Es ist davon auszugehen, dass LLM in naher Zukunft klassische Suchmaschinen als primäre Quelle medizinischer Informationen im Internet für Patienten ablösen werden. Zur Interaktion zwischen Patienten und LLM bzw. Künstlicher Intelligenz (KI) liegen derzeit nur begrenzte Daten aus meist kleinen Studien vor. Zudem ist auch die Anzahl der Patienten, die in ihrer persönlichen klinischen Erfahrung Kontakt mit KI hatten, begrenzt.

Die hier vorgestellte Studie von Nicolas Carl et al. aus der Arbeitsgruppe Digital Biomarkers for Oncology am Deutschen Krebsforschungszentrum (DKFZ) in Heidelberg untersuchte das Vertrauen von Patienten in KI, insbesondere in LLM, nach direkter Interaktion mit einem Chatbot im klinischen Umfeld. Insgesamt wurden 300 Patienten, welche für eine urologische Konsultation vorgesehen waren, in die Studie eingeschlossen. Der Rekrutierungszeitrum erstreckte sich von Februar bis Juli 2024. Die Teilnehmer unterhielten sich freiwillig mit einem GPT-4-basierten Chatbot über ihre medizinischen Fragen, gefolgt von einer Umfrage, die ihr Vertrauen in die klinischen Fähigkeiten der KI im Vergleich zu ihren beratenden Urologen bewertete. Zu den untersuchten Fähigkeiten zählten Anamneseerhebung, Diagnostik, Behandlungsempfehlung, Angstreduktion und Zeitaufwand. Das mediane Alter der 292 Teilnehmer, die die Studie vollständig abschlossen, betrug 64 Jahre.

Die Autoren berichten im Oktober 2024 im Fachjournal EUROPEAN UROLOGY OPEN SCIENCE, dass mit Ausnahme der zur Verfügung gestellten Beratungszeit (p < 0.001) die Patienten in allen anderen untersuchten Domänen den menschlichen Urologen bevorzugten, insbesondere bei Behandlungsempfehlungen und der Angstreduktion. Interessanterweise hatte das Alter der Patienten keinen Einfluss auf ihr Vertrauen in die KI. (fa)

Autoren: Carl N, Nguyen L, Haggenmüller S, Hetz MJ, Winterstein JT, Hartung FO, Gruene B, Kather JN, Holland-Letz T, Michel MS, Wessels F, Brinker TJ. Korrespondenz: Titus Josef Brinker, Digital Biomarkers for Oncology Group, German Cancer Research Center (DKFZ), Im Neuenheimer Feld 223, 69120 Heidelberg, Germany. E-Mail: titus.brinker@dkfz.de Studie: Comparing Patient’s Confidence in Clinical Capabilities in Urology: Large Language Models Versus Urologists. Quelle: Eur Urol Open Sci. 2024 Oct 23;70:91-98. doi: 10.1016/j.euros.2024.10.009. PMID: 39507511; PMCID: PMC11538625. Web: https://www.sciencedirect.com/science/article/pii/S2666168324010942

KOMMENTAR Die Ergebnisse der Studie bestätigen eine allgemeine Präferenz für KI als unterstützendes Werkzeug und nicht als autonomen Entscheidungsträger. Dies unterstreicht den unersetzlichen Wert menschlicher Aspekte wie Empathie, Erfahrung und differenziertes Urteilsvermögen. Dennoch bieten LLM vielversprechende Möglichkeiten als nächste Generation medizinischer Informationsquellen und als Orientierungshilfe für Patienten in der oft überwältigenden und unübersichtlichen Landschaft der online verfügbaren medizinischen Informationen.
Autor: Dr. med. Fabian Aschwanden, Assistenzarzt Luzerner Kantonsspital