ChatGPT 4.0 von OpenAI beantwortete 85 % der Fragen in einer klinischen Neurologieuntersuchung richtig und übertraf damit den durchschnittlichen menschlichen Wert von 73,8 %. Dieser Erfolg in einer Proof-of-Concept-Studie zeigt das Potenzial von KI in der klinischen Neurologie. Die von Forschern des Universitätsklinikums Heidelberg und des Deutschen Krebsforschungszentrums durchgeführte Studie umfasste sowohl ChatGPT 3.5 als auch ChatGPT 4.0.
Vergleich mit älteren Versionen und menschlicher Leistung
Während ChatGPT 4.0 eine Erfolgsquote von 85 % erreichte, ChatGPT 3.5 erzielte 66,8 %. Beide Versionen von ChatGPT verwendeten durchweg eine selbstbewusste Sprache, auch wenn sie falsch war. Die Ergebnisse legen nahe, dass ChatGPT zwar präzise Multiple-Choice-Fragen beantworten kann, dies jedoch nicht mit der Fähigkeit gleichzusetzen ist, klinische Medizin zu praktizieren oder klinische Entscheidungen zu treffen.
Noch schwächer im Denken höherer Ordnung
Die Forschung umfasste eine Fragendatenbank des American Board of Psychiatry and Neurology (ABPN) und des European Board for Neurology. Die Leistung von ChatGPT unterstreicht seine Stärke in Verhaltens-, kognitiven und psychologischen Kategorien, zeigt jedoch eine schwächere Leistung bei Aufgaben, die Denken höherer Ordnung erfordern, im Vergleich zu Denkaufgaben niedrigerer Ordnung. In der Studie wurden Fragen verwendet, die sowohl das grundlegende Verständnis als auch die Fähigkeit zur Anwendung, Analyse oder Bewertung von Informationen bewerteten.
Forscher: Seien Sie vorsichtig
Das legen die Ergebnisse nahe große Sprachmodelle wie ChatGPT könnte mit weiteren Verfeinerungen bedeutende Anwendungen in der klinischen Neurologie haben. Die Forscher warnen jedoch davor, sich bei kognitiven Aufgaben höherer Ordnung zu sehr auf diese Modelle zu verlassen. Es ist auch wichtig zu beachten, dass die Modelle anhand umfangreicher Textdaten trainiert wurden, jedoch nicht über Suchfunktionen im Internet verfügten. Experten betonen, dass jede Anwendung der Transformatortechnologie in klinischen oder pädagogischen Umgebungen eine sorgfältige menschliche Validierung und Faktenprüfung erfordert.
Source: ChatGPT weist Kenntnisse in der neurologischen Untersuchung nach
