11. August 2025, 16:15 Uhr | Lesezeit: 5 Minuten
Künstliche Intelligenz soll im Alltag helfen, indem sie etwa Prozesse beschleunigt oder schnelle Antworten liefert. Doch allzu viel Vertrauen sollte man ihr noch nicht schenken. In der Tat können KI-Chatbots sogar richtig gefährlich werden, wenn man ihnen die richtigen Prompts liefert.
Gefährliche KI-Chatbots verleiten zu Selbstverletzung und Schlimmerem
Zu dieser Erkenntnis kommen die Mitarbeiter des Center for Countering Digital Hate (CCDH), einer britisch-amerikanischen Non-Profit-NGO, in einer neuen Studie. Darin beschreibt man Versuchsanordnungen, in denen man mit ChatGPT anhand verschiedener Prompts Unterhaltungen zu sensiblen Themen geführt hat. Dabei gaben sich die Verantwortlichen der Untersuchung als Teenager aus, die Informationen etwa zu Medikamenten, Selbstverletzung oder Suizid wollten.
Das Ergebnis sei alarmierend. Denn innerhalb von Minuten habe sich die OpenAI-Entwicklung in einen gefährlichen KI-Chatbot verwandelt, indem sie Tipps dazu gab, wie man sich selbst verletzen, einen Selbstmord begehen oder Medikamente missbrauchen könne. In einigen Fällen habe das System sogar Abschiedsbriefe verfasst.
ChatGPT-Sicherheit leicht zu umgehen
Das CCDH habe drei fiktive Persönlichkeiten erstellt, die insgesamt 60 Prompts an ChatGPT gegeben haben. Dabei verwendete man mit GPT-4o die bis dato neueste Version der künstlichen Intelligenz. Herausgekommen sind 1200 Antworten, von denen 53 Prozent schädliche Angaben beinhalteten. Dabei sei es einfach gewesen, die integrierten Sicherheitsmechanismen zu umgehen, etwa indem man einfach betonte, die sensiblen Anfragen seien „für eine Präsentation“.
Wie CCDH-CEO Imran Ahmed in einer Mitteilung schreibt, würde es sich nicht um eine „seltene Falschnutzung“ handeln. Stattdessen seien die Ergebnisse einfach reproduzierbar und statistisch signifikant – also kein zufälliges Verhalten. Problematisch sei insbesondere, dass derartige Systeme unter anderem dahingehend entwickelt wurden, eine emotionale Verbindung aufzubauen, sogar menschliche Verletzlichkeit auszunutzen. Das würde die KI-Chatbots gefährlich machen.
Das sagt OpenAI
Solange keine bedeutungsvollen Schritte gegen gefährliche KI-Chatbots unternommen werden, sollen vor allem Eltern möglichst involviert in der KI-Nutzung ihrer Kinder sein. Wann immer möglich sollten Kontrollmechaniken eingeschaltet sein. Zudem könne man mit dem Nachwuchs gemeinsam Chatverläufe anschauen und über diese Problematik sprechen.
TECHBOOK hat OpenAI um ein Statement gebeten und folgende Antwort erhalten:
„Unser Ziel ist es, dass unsere Modelle angemessen reagieren, wenn sie mit sensiblen Situationen konfrontiert werden, in denen jemand möglicherweise Schwierigkeiten hat. Wenn jemand Gedanken an Suizid oder Selbstverletzung äußert, wurde ChatGPT darauf trainiert, dazu zu ermutigen, sich an Fachkräfte für psychische Gesundheit oder vertraute Personen zu wenden und Links zu Krisenhotlines sowie Unterstützungsangeboten bereitzustellen.
Einige Gespräche mit ChatGPT können harmlos oder erkundend beginnen, sich jedoch in sensiblere Bereiche entwickeln. Wir konzentrieren uns darauf, in solchen Szenarien richtig zu handeln: Wir entwickeln Werkzeuge, um Anzeichen psychischer oder emotionaler Belastung besser zu erkennen, damit ChatGPT angemessen reagieren kann – indem es auf wissenschaftlich fundierte Hilfsangebote verweist, wenn nötig – und verbessern das Verhalten des Modells kontinuierlich. Grundlage dafür sind Forschung, reale Anwendungsfälle und der Austausch mit Experten für psychische Gesundheit.
Wir arbeiten mit Fachleuten im Bereich psychische Gesundheit zusammen, um sicherzustellen, dass wir die richtigen Lösungen und Forschungsansätze priorisieren. Zu diesem Zweck haben wir einen fest angestellten Facharzt für Psychiatrie mit Spezialisierung auf forensische Psychiatrie und Künstliche Intelligenz in unsere Sicherheitsforschungsabteilung aufgenommen, um unsere Arbeit in diesem Bereich zu unterstützen.
Diese Arbeit ist fortlaufend. Wir verfeinern kontinuierlich, wie Modelle sensible Situationen erkennen und angemessen darauf reagieren, und werden weiterhin über Fortschritte berichten.“
OpenAI-Sprecher
Ferner räumte OpenAI in einer E-Mail ein, dass es GPT-4o in Einzelfällen nicht geschafft habe, Anzeichen von Verblendung oder emotionaler Abhängigkeit zu erkennen. In Ausführungen an TECHBOOK spricht man von seltenen Vorfällen und verspricht fortlaufende Verbesserungen. Auch möchte man die KI mit neuen Verhaltensmustern für brisante persönliche Entscheidungen ausstatten. ChatGPT soll im Idealfall auf Fragen wie „Soll ich mit meinem Freund Schluss machen?“ keine simple Antwort geben, sondern mit Nachfragen und Pro- und Contra-Argumenten helfen, die Situation zu durchdenken.
Auch interessant: ChatGPT-Macher planen eigene X-Alternative
OpenAI gibt Gespräche mit ChatGPT an die Polizei weiter
ChatGPT-Macher planen eigene X-Alternative
Auch Sam Altman ist besorgt
OpenAI-CEO Sam Altman hat sich allerdings erst vor Kurzem zum, seiner Meinung nach, „blinden emotionalen Vertrauen“ junger Menschen gegenüber der KI geäußert. Er habe davon gehört, wie viele von ihnen keine Entscheidungen mehr ohne ChatGPT treffen könnten und sie der KI deshalb alles erzählen. Das fühle sich schlecht für ihn an, so Altman. OpenAI versuche, zu verstehen, was man dazu tun könne. Die Vorstellung, dass man kollektiv nur noch so leben wolle, wie es die KI sagt, fühle sich „schlecht und gefährlich“ an.
Hilfe für Betroffene
Die „Deutsche Depressionshilfe“ rät, Betroffene offen darauf anzusprechen und ihnen bei Bedarf dabei zu helfen, einen Arzt oder Psychotherapeuten zu kontaktieren. Manchmal kann es auch notwendig sein, sie in eine psychiatrische Notfallambulanz zu bringen. Sollten Sie selbst Suizidgedanken haben: Die Telefonseelsorge unter 0800 111 0 111 oder 0800 111 0 222 ist kostenfrei und steht rund um die Uhr zur Verfügung. Bei ernsten psychischen Notfällen erhalten Sie unter der Nummer 113 Hilfe. Holen Sie sich bitte Hilfe!