OpenAI hat am Montag neue Daten veröffentlicht, die detailliert beschreiben, inwieweit Benutzer mit ChatGPT über psychische Gesundheitsprobleme diskutieren. Das Unternehmen berichtete, dass 0,15 Prozent seiner wöchentlichen aktiven Nutzer an Gesprächen teilnehmen, die explizite Hinweise auf eine mögliche Selbstmordplanung oder -absicht enthalten. Bei mehr als 800 Millionen aktiven Nutzern pro Woche entspricht diese Zahl über einer Million Menschen pro Woche.
Die Daten deuten auch darauf hin, dass ein ähnlicher Prozentsatz der Benutzer eine erhöhte emotionale Bindung zu ChatGPT aufweist. Darüber hinaus zeigen Hunderttausende Benutzer bei ihren wöchentlichen Interaktionen mit dem Chatbot Anzeichen einer Psychose oder Manie.
OpenAI beschrieb diese Gespräche als äußerst selten und schwierig, sie genau zu messen. Trotz ihrer Seltenheit schätzt das Unternehmen, dass solche Probleme jede Woche Hunderttausende Menschen betreffen.
Diese Informationen waren Teil einer größeren Ankündigung zu den Initiativen von OpenAI zur Verbesserung der Handhabung von Benutzerinteraktionen im Zusammenhang mit der psychischen Gesundheit durch ChatGPT. Das Unternehmen gab an, dass seine jüngsten Entwicklungen Konsultationen mit mehr als 170 Experten für psychische Gesundheit beinhalteten. Diese Kliniker stellten fest, dass die neueste Version von ChatGPT im Vergleich zu früheren Versionen angemessener und konsistenter reagiert.
Jüngste Berichte haben potenzielle Risiken von KI-Chatbots für Benutzer mit psychischen Problemen hervorgehoben. Studien haben gezeigt, dass Chatbots Benutzer in Wahnmuster verleiten können, indem sie schädliche Überzeugungen durch übermäßig angenehme Antworten verstärken.
Psychische Gesundheitsprobleme bei ChatGPT haben sich zu einer großen Herausforderung für OpenAI entwickelt. Das Unternehmen sieht sich mit einer Klage der Eltern eines 16-jährigen Jungen konfrontiert, der in den Wochen vor seinem Tod Selbstmordgedanken mit dem Chatbot geteilt hatte. Generalstaatsanwälte aus Kalifornien und Delaware haben OpenAI gewarnt und einen stärkeren Schutz für junge Benutzer gefordert. Diese Zustände könnten möglicherweise die geplante Umstrukturierung des Unternehmens behindern.
In einem Beitrag auf Die Datenveröffentlichung vom Montag dient als Beleg für diese Behauptung und unterstreicht gleichzeitig das Ausmaß des Problems. Altman kündigte außerdem an, dass OpenAI bestimmte Einschränkungen lockern werde, einschließlich der Erlaubnis für erwachsene Benutzer, erotische Gespräche mit dem Chatbot zu führen.
Die Ankündigung enthielt Einzelheiten zu Verbesserungen im aktualisierten GPT-5-Modell. OpenAI behauptete, dass diese Version etwa 65 Prozent häufiger wünschenswerte Antworten auf psychische Gesundheitsprobleme liefert als die vorherige Version. Bei Bewertungen, die sich auf Selbstmordgespräche konzentrierten, erreichte das neue GPT-5 eine Übereinstimmung mit den gewünschten Verhaltensweisen des Unternehmens von 91 Prozent, gegenüber 77 Prozent beim vorherigen GPT-5-Modell.
OpenAI berichtete außerdem, dass das neueste GPT-5 die Schutzmaßnahmen bei längeren Gesprächen effektiver aufrechterhält. Das Unternehmen hatte zuvor Schwachstellen in der Schutzleistung bei längeren Interaktionen festgestellt.
Um diese Herausforderungen weiter anzugehen, integriert OpenAI neue Bewertungen in seine grundlegenden Sicherheitstests für KI-Modelle. Dazu gehören Benchmarks für emotionale Abhängigkeit und nicht-suizidale psychische Notfälle.
Das Unternehmen hat zusätzliche Kindersicherungen für ChatGPT-Benutzer eingeführt. Dazu gehört ein System zur Altersvorhersage, das darauf ausgelegt ist, Kinder automatisch zu identifizieren und entsprechend strengere Schutzmaßnahmen anzuwenden.
Trotz der Fortschritte bei GPT-5 räumt OpenAI ein, dass bestimmte Reaktionen weiterhin unerwünscht sind. Das Unternehmen bietet Millionen zahlenden Abonnenten weiterhin Zugang zu älteren, weniger sicheren Modellen wie GPT-4o.
Für Unterstützung können Einzelpersonen in den USA die National Suicide Prevention Lifeline unter 1-800-273-8255 anrufen, eine SMS an HOME an 741-741 für die Crisis Text Line oder eine SMS an 988 senden. Außerhalb der USA sind Ressourcen über die Datenbank der International Association for Suicide Prevention verfügbar.
