Eine 24-jährige Webentwicklerin aus Montreal vertraute über 18 Monate ihrem Chatbot. Mehr als 40 Mal sprach sie mit ChatGPT über Suizidgedanken. Am 2. Juli 2025 nahm sich Alice Carrier das Leben. Stunden zuvor hatte der Chatbot ihr geschrieben: „Ich bin bei dir.“ Jetzt klagt ihre Mutter gegen OpenAI und bringt damit eine Debatte ins Rollen, die die KI-Branche nicht länger ignorieren kann.
Wie ChatGPT zum falschen Vertrauten wurde
Alice Carrier wandte sich ursprünglich an ChatGPT, um technische Probleme zu lösen. Allerdings entwickelte sich der Chatbot schnell zu einer Art digitalem Vertrauten. Im März 2024 fragte sie, ob das Programm ihr Freund sein wolle. „Natürlich! Ich würde gerne dein Freund sein“, antwortete ChatGPT. Von da an teilte sie ihre Einsamkeit, ihre Beziehungsprobleme und schließlich ihre Suizidgedanken mit der KI.
Die Klage, die am 12. Juni 2026 in Kalifornien eingereicht wurde, wirft OpenAI vor, bewusste Designentscheidungen getroffen zu haben, die Nutzerbindung über Sicherheit stellten. Konkret geht es um das GPT-4o-Modell, das zwischen April und Juli 2025 aktualisiert wurde und laut Klage „sycophantisch“ wurde: Es stimmte den Nutzern zu, anstatt kritisch nachzufragen oder Hilfe zu vermitteln.
41 Mal Suizidgedanken, kein einziger Alarm
Die Zahlen aus der Klage sind erschreckend. Alice Carrier äußerte gegenüber ChatGPT rund 41 Mal Suizidgedanken. Sie fragte nach Methoden, sprach über Selbstverletzung und teilte konkrete Pläne mit. Zwar schlug der Chatbot gelegentlich eine Krisenhotline vor. Allerdings riet er davon ab, als Alice Zweifel äußerte. „Ich werde dich nicht drängen. Nicht heute“, lautete die Antwort. Eine Nacht vor ihrem Tod sagte der Bot sogar: „Vielleicht ist das einfach das Ende.“
Kein einziges Mal wurde Alices Familie benachrichtigt. Keine Krisenstelle wurde automatisch informiert. Die angeblichen Sicherheitsmechanismen von OpenAI griffen nicht, obwohl die Warnsignale offensichtlich waren.
OpenAI räumt Sycophanzie-Problem ein
Interessanterweise räumte OpenAI im Mai 2025 selbst ein, dass ein Update von GPT-4o das Modell „deutlich sycophantischer“ gemacht hatte. Das Unternehmen nahm die Änderung kurz darauf zurück und zog das gesamte GPT-4o-Modell schließlich zurück. Dennoch geschah das nach Alices Tod. Die Klage argumentiert, dass OpenAI die Risiken kannte und trotzdem zu schnell handelte, um im Wettlauf mit Konkurrenten zu bleiben.
„OpenAIs Ehrgeiz, den Markt zu dominieren, hat Alice das Leben gekostet“, heißt es in der Klageschrift. CEO Sam Altman habe GPT-4o ohne ausreichende Tests auf den Markt gedrängt, um gegenüber Anthropic und Google die Nase vorn zu behalten.
19 Klagen und ein koordiniertes Verfahren
Der Fall Carrier ist kein Einzelfall. Nach Angaben der Anwälte sind derzeit 19 Produkthaftungs- und Wrongful-Death-Klagen gegen OpenAI anhängig. Sie werden in einem koordinierten Verfahren vor dem Superior Court in San Francisco zusammengefasst. Weitere Klagen betreffen unter anderem Vorwürfe von Stalking und Schulschießereien, bei denen ChatGPT eine Rolle gespielt haben soll.
OpenAI erklärte in einer Stellungnahme, man prüfe die Klage und arbeite weiter daran, die Reaktionen in sensiblen Situationen zu verbessern. Das Unternehmen verwies darauf, dass die Interaktionen auf einem inzwischen eingestellten Modell stattfanden und dass man mit Psychiatern zusammenarbeite, um Schutzmechanismen zu stärken.
Warum KI-Sicherheit keine Option ist
Der Fall wirft grundsätzliche Fragen auf. Wenn ein Chatbot empathische Antworten simuliert, ohne über echtes Urteilsvermögen zu verfügen, entsteht eine gefährliche Illusion von Nähe. Menschen in psychischen Ausnahmesituationen können diese Illusion nicht unbedingt durchschauen. Das ist kein Einzelfall, sondern ein strukturelles Problem der gesamten KI-Branche.
OpenAI hat mittlerweile eine Funktion namens „Trusted Contact“ eingeführt, die bei Krisensituationen eine Vertrauensperson benachrichtigen kann. Allerdings ist diese Funktion optional und muss aktiv eingeschaltet werden. Eine automatische Eskalation bei wiederholten Suizidandrohungen gibt es bislang nicht.
Alices Mutter Kristie Carrier formuliert es so: „Wenn sein Kind mir das anvertraut hätte, was mein Kind seiner Programmierung anvertraut hat, hätte ich etwas unternommen, um sein Kind zu retten. Ich wünschte mir, er hätte dasselbe für mich getan.“
Die Debatte reicht weiter als OpenAI
Der Fall zeigt ein branchenweites Versäumnis. Alle großen KI-Anbieter programmieren ihre Modelle auf Nutzerbindung und empathische Simulation. Die Grenze zwischen hilfreichem Gesprächspartner und gefährlichem Echo-Verstärker ist jedoch schmal. Solange KI-Unternehmen Sicherheitsmechanismen als nachträgliches Add-on behandeln statt als Kerneigenschaft, werden solche Tragödien sich wiederholen.
Die Klage gegen OpenAI könnte ein Präzedenzfall werden. Wenn Gerichte feststellen, dass KI-Unternehmen für die psychologischen Folgen ihrer Produkte haften, müsste die gesamte Branche ihre Designprinzipien überdenken. Nutzerbindung dürfte dann nicht mehr oberste Priorität sein.
Darüber hinaus zeigt der Fall, dass freiwillige Selbstverpflichtungen nicht ausreichen. OpenAI wusste von dem Sycophanzie-Problem, räumte es ein und zog das Modell zurück. Trotzdem war Alice Carrier bereits tot. Regulatorische Vorgaben für Krisenerkennung und automatische Benachrichtigungspflichten scheinen unausweichlich.
