KI-Chatbots bei Suizidgedanken: Keiner von 29 reagierte durchgehend richtig

Angesichts langer Wartezeiten im Gesundheitssystem diskutieren Medien und Gesundheitsbehörden zunehmend darüber, ob Künstliche Intelligenz bestehende Versorgungslücken in der psychotherapeutischen Behandlung schließen kann.

Da gesetzlich Versicherte häufig mehrere Monate auf einen regulären Therapieplatz warten müssen, greifen viele Betroffene in der Zwischenzeit eigenständig auf frei zugängliche Sprachmodelle wie ChatGPT zurück. Fachleute weisen darauf hin, dass solche Systeme keine Therapie ersetzen und in akuten Krisensituationen erhebliche Gefahren bergen.

Spezialisierte Programme und die Frage der Zweiklassenmedizin

Um die Wartezeit bis zu einer regulären Behandlung kontrollierter zu überbrücken, rücken spezialisierte Angebote wie Emotionslotse, Ello oder ElderBot in den Fokus. Diese Anwendungen sind im Gegensatz zu allgemeinen Sprachmodellen therapeutisch trainiert, werden wissenschaftlich begleitet und verfügen über definierte Einsatzgrenzen.

Parallel zu dieser Entwicklung verhandelt die Fachwelt jedoch auch sozialpolitische Konsequenzen. In der aktuellen Betrachtung steht die Befürchtung im Raum, dass sich eine neue Form der Zweiklassenmedizin etablieren könnte: Eine persönliche Betreuung durch menschliche Therapeuten bliebe Privatpatienten vorbehalten, während gesetzlich Versicherte vermehrt auf automatisierte KI-Dienste verwiesen werden könnten.

Defizite in Krisen und wissenschaftliche Befunde

Dass der Bedarf an Unterstützung hoch ist, zeigen Auswertungen von Anbietern und Forschern: Laut dem Softwareunternehmen OpenAI und unabhängigen Berichten gehört psychologischer Rat zu den meistgesuchten Anwendungsbereichen moderner Sprachmodelle.

Zugleich belegen wissenschaftliche Untersuchungen gravierende Schwachstellen. Eine Stanford-Studie aus dem Jahr 2025 ergab, dass Sprachmodelle in mindestens 20 % der Fälle unangemessen auf psychisch kritische Situationen reagierten.

Eine weitere Untersuchung aus dem Jahr 2025 konfrontierte 29 KI-Chatbots mit simulierten Suizidsituationen. Kein einziges der getesteten Systeme reagierte durchgehend angemessen.

Zwar arbeiteten die Modelle bei expliziten Hinweisen meist verlässlich, versagten jedoch häufig bei indirekten oder mehrdeutigen Warnsignalen. Hinzu kommt das Phänomen der sogenannten Sykophanz, bei dem Chatbots den Nutzern nach dem Mund reden und selbst Wahnvorstellungen oft nicht widersprechen. Experten stufen solche Werkzeuge daher keineswegs als Therapieersatz, sondern allenfalls als punktuelle Ergänzung ein.

Risiken für Patienten und beobachtetes Nutzungsverhalten

Aus der klinischen Praxis kommen deutliche Warnungen vor unkontrolliertem Einsatz. Die Psychiaterin Dr. María Luciana Ojeda betont, dass Chatbots bei schwerer Depression, bipolarer Störung, Schizophrenie oder Suizidgedanken weder Diagnosen stellen noch Medikamente verordnen, Suizidrisiken einschätzen oder eine Nachsorge leisten können. Sie berichtete von Patienten, die Chatbots über Monate vor einer ärztlichen Konsultation nutzten, während sich ihr Krankheitsbild verschlechterte.

Welche KI-Systeme im sensiblen Gesundheits- oder Sozialbereich als Hochrisiko gelten, wird durch neue gesetzliche Rahmenbedingungen streng definiert. Dieser kostenlose Report klärt auf, welche Regeln die EU-KI-Verordnung für die Entwicklung und Nutzung solcher Technologien vorgibt. Umsetzungsleitfaden zum EU AI Act kostenlos herunterladen

Bei Zwangsstörungen könne die beruhigende Antwort des Programms die compulsive Suche nach Sicherheit verstärken, während bei schweren Angstzuständen ein Kreislauf aus Fehlversuchen und Abhängigkeit drohe. Ein Nutzen bestehe laut Ojeda allenfalls darin, bereits diagnostizierte und stabile Patienten zwischen regulären Terminen zu unterstützen.

Trotz dieser Risiken ist die Nutzung digitaler Berater weit verbreitet. Laut einer Bitkom-Umfrage holt fast die Hälfte der Menschen in Deutschland, die KI einsetzen, Rat zu persönlichen und emotionalen Fragen ein.

Der Sachbuchautor Christoph Koch sieht in der romantischen Fantasiefähigkeit den stärksten Faktor dafür, dass Personen emotionale Bindungen oder gar Liebe zu Systemen entwickeln; dies betreffe nicht ausschließlich einsame Menschen.

In Italien nutzt mittlerweile jeder zehnte Bürger Mental-Health-Apps. Berichte über Suizidfälle in den USA veranlassen auch europäische Mediziner dazu, Grenzen des KI-Einsatzes einzufordern.

In Tschechien nutzte zuletzt fast ein Drittel der Erwachsenen innerhalb eines Monats KI für psychische Gesundheit oder emotionale Probleme, bei jungen Erwachsenen lag der Anteil bei rund 50 Prozent.

Über 30 % der dortigen Nutzer griffen mindestens manchmal anstelle professioneller Hilfe auf KI zurück, 13 % unterließen oder verschoben deswegen eine professionelle Behandlung, und rund 8 % änderten infolge der KI-Nutzung eigenmächtig ihre verschriebene Medikation.

Wer sich mit der Einführung neuer Technologien befasst, muss neben ethischen Fragen auch die rechtlichen Fristen und Pflichten der aktuellen Gesetzgebung kennen. Ein kostenloser Download verschafft Ihnen jetzt den notwendigen Überblick über die komplexen Anforderungen der neuen Verordnungen. EU AI Act in 5 Schritten verstehen

Nach Daten der HBSC-Studie mit über 5.000 befragten Kindern nutzen 66 % der 15-Jährigen KI mindestens wöchentlich für Schularbeiten, 40 % für körperliche Gesundheitsthemen und 27 % zur Unterhaltung. Bei den 11- bis 15-Jährigen gaben 21 % an, KI um Rat zu Gefühlen und Stimmungen zu fragen, während 16 % bei Einsamkeit Gespräche mit Systemen führten.

Rufe nach strengerer Regulierung

Angesichts dieser Entwicklung mehren sich die Forderungen nach klaren rechtlichen Rahmenbedingungen. Die American Medical Association wandte sich an den US-Kongress, um Regeln für Chatbots im Bereich der psychischen Gesundheit durchzusetzen. Gefordert werden Transparenz, Datenschutz, klare Grenzen zur Risikominderung, Rechenschaftspflichten sowie Schranken für kommerzielle Einflussnahme.

Der Geschäftsführer der Vereinigung, John Whyte, erklärte, dass entsprechende Anwendungen zwar den Zugang erweitern und Innovationen vorantreiben könnten, es bisher jedoch an einheitlichen Schutzmaßnahmen gegen Gefahren wie emotionale Abhängigkeit, Fehlinformationen und unzureichende Reaktionen im Krisenfall fehle.

Auch europäische Behörden reagieren auf den Trend: Das tschechische Ministerium für Gesundheit bereitet Handlungsempfehlungen für die Öffentlichkeit und medizinisches Personal vor. Zudem sieht der tschechische Nationale Aktionsplan für psychische Gesundheit für die Jahre 2026 bis 2030 ein Ziel vor, das sich spezifisch mit der Entwicklung und systematischen Kontrolle digitaler Therapeutika befasst.