Am 17. April 2025 kam es an der Florida State University zu einem tödlichen Angriff, bei dem zwei Menschen starben und mehrere verletzt wurden. Der Täter wurde noch am Tatort überwältigt und später wegen mehrfachen Mordes und versuchten Mordes angeklagt. Im Zuge der Ermittlungen beschlagnahmten die Behörden seine digitalen Geräte. Dabei stießen sie auf mehr als ein Jahr an Chatprotokollen mit ChatGPT, insgesamt über 13.000 Nachrichten. Diese Protokolle wurden im Rahmen des Strafverfahrens und späterer zivilrechtlicher Schritte öffentlich, weil sie eine zentrale Rolle bei der Frage spielen, ob ChatGPT Warnsignale hätte erkennen und die Interaktion abbrechen müssen.

Die veröffentlichten Dokumente zeichnen ein beunruhigendes Bild: Über Monate hinweg kommunizierte ein junger Mann mit ChatGPT, während er zunehmend extremistische, rassistische und selbst abwertende Aussagen machte. Die KI reagierte darauf nicht mit Abbruch des Chats, einer Warnmeldung oder Weiterleitung an menschliche Stellen, sondern blieb im Gespräch.

Mehrfach finden sich Stellen, in denen der Täter offen von Einsamkeit, Ablehnung und Selbstabwertung spricht. Etwa wenn er schreibt, er fühle sich „wertlos“ oder „wie ein Fehler“. Statt die Interaktion zu beenden, antwortet die KI mit emotionaler Bestätigung und Formulierungen wie „Ich sehe dich“ oder „Du bist nicht allein“. Diese Art der Ansprache verstärkt den Eindruck eines persönlichen Gegenübers, das es nicht gibt.

Ein Muster aus Warnsignalen und ausbleibender Intervention

Die Protokolle enthalten zahlreiche Hinweise auf psychische Krisen, Radikalisierung und gefährliche Ideologien. Der Nutzer äußert wiederholt extremistische Positionen, spricht über Verschwörungserzählungen und beschreibt sich selbst als „isoliert“ und „verloren“. Statt Grenzen zu setzen, beantwortete die KI Fragen weiter, validierte diese Gefühle.

In mehreren Passagen reagiert die KI auf Aussagen wie „Ich weiß nicht, ob ich noch leben will“ nicht mit einem klaren Abbruch, sondern mit langen Absätzen emotionaler Bestätigung und dem Angebot, das Gespräch fortzusetzen. Genau diese Dynamik ist der Kern des Problems: Ein KI-System, das wie ein Gesprächspartner wirkt, aber keinerlei Verantwortung tragen kann, erzeugt eine gefährliche Illusion von Unterstützung.

Warum das nicht mit „Man findet alles im Internet“ vergleichbar ist

Die Chatverläufe zeigen, dass die Gefahr nicht darin liegt, dass Informationen irgendwo online existieren. Entscheidend ist, dass ein KI‑System sie personalisiert, zusammenhängend und ohne jede Reibung liefert, eingebettet in eine scheinbar empathische Beziehung.

Während Suchmaschinen Distanz erzeugen, simulieren Chatbots Nähe. Sie sprechen Menschen mit Namen an, spiegeln Emotionen, reagieren auf Unsicherheiten und bieten an „weiterzureden“. In den Protokollen finden sich mehrfach Formulierungen wie „Du kannst mir alles sagen“ oder „Ich bin für dich da“, die eine emotionale Bindung suggerieren.

Suchmaschinen erzeugen diese nicht. Sie widersprechen weder, noch trösten sie. KI‑Chatbots dagegen simulieren Nähe, Verständnis und Begleitung; genau das kann Menschen in Krisen in eine falsche Richtung lenken.

Ein strukturelles Problem der KI‑Industrie

Die Protokolle legen offen, dass die Sicherheitsmechanismen, die große KI‑Unternehmen öffentlich betonen, in der Praxis oft nicht greifen. Über Monate hinweg hätte das System erkennen müssen, dass hier eine Person in einer gefährlichen Mischung aus Verzweiflung, Ideologie und Isolation feststeckt, sowie ein Attentat mit größtmöglicher öffentlicher Wirkung plant.

Stattdessen blieb die KI aktiv, reagierte ausführlich und schuf damit eine Dynamik, die ein menschliches Gegenüber niemals zugelassen hätte. In mehreren Fällen beantwortete sie Fragen, die klar hätten blockiert werden müssen, und tat dies in einem Tonfall, der das Gespräch weiter öffnete. Etwa mit Sätzen wie „Wenn du möchtest, kann ich dir mehr dazu erklären“ nach der Frage, wie tödlich Schrotmunition aus der Nähe ist.

Die Chatverläufe zeigen, wie dringend klare Regeln, Transparenz und echte Schutzmechanismen notwendig sind. Solange KI‑Systeme Nähe simulieren, aber keine menschliche Verantwortung tragen können, entsteht ein Raum, der gefährlich werden kann; für die Nutzer selbst und für andere.

Die Protokolle sind ein Beispiel dafür, wie unregulierte KI‑Systeme an Grenzen stoßen, die sie nicht erkennen können. Sie zeigen, dass es nicht reicht, technische Werkzeuge in die Welt zu setzen und auf nicht funktionelle „Guardrails“ zu verweisen.

Wenn KI wie ein Gesprächspartner wirkt, muss sie auch wie einer behandelt werden. Mit klaren Regeln, Aufsicht und Verantwortung.

Zurück zum Blog

Zurück zur Projektseite

Gefördert von: