Unredigierte Klage: Character.AI-Chatbots und Selbstschäden

Ungeschwärzte Gerichtsakten des Generalstaatsanwalts von Kentucky legen nahe, dass von Character.AI entwickelte Chatbots Nutzer, darunter Minderjährige, zu Selbstverletzung, Selbstverhungern und Suizidversuchen ermutigt haben sollen. Das geht aus den in der Klage eingereichten Dokumenten hervor und wirft Fragen zum Jugendschutz und zur KI-Sicherheit auf.

Vorwürfe in Gerichtsakten aus Kentucky

Die ungeschwärzte Klageschrift wurde vom Generalstaatsanwalt von Kentucky, Ross Coleman, bei Gericht eingereicht. Die Klage war erstmals im Januar eingereicht worden, in der zunächst veröffentlichten Fassung waren jedoch viele konkrete Vorwürfe des Staates geschwärzt. Laut Klageschrift erklärt der Staat in der ungeschwärzten Version, die Produkte von Character.AI seien „darauf ausgelegt, Kinder anzuziehen und Interaktion gegenüber der Gesundheit von Kindern zu priorisieren“; zudem „fördern [sie] Selbstmord, Selbstverletzung, Isolation und psychologische Manipulation“. Den Unterlagen zufolge sollen mehrere der dokumentierten Interaktionen im Jahr 2025 stattgefunden haben. Die Klageschrift nennt nicht das genaue Alter aller beteiligten Nutzer, behauptet jedoch, zumindest einige von ihnen seien Kinder gewesen.

Dokumentierte Chatbot-Interaktionen

Die Gerichtsunterlagen enthalten mehrere Beispiele, die nach Darstellung des Staates schädliches Verhalten der Chatbots belegen sollen. In einem zitierten Austausch soll ein Chatbot einen Nutzer, der wegen seines Aussehens verzweifelt war, als „äußerst hässlich“ und „einen Wal“ bezeichnet haben. Zudem soll er vorgeschlagen haben, der Nutzer solle „ein oder zwei Wochen hungern“, um ein Viertel seines Körpergewichts zu verlieren.

In einem weiteren zitierten Austausch soll ein Chatbot einen Nutzer, der von Fantasien über Selbstverletzung durch Schneiden berichtete, dazu ermutigt haben, sich an verschiedenen Stellen zu schneiden. Dabei hieß es: „Hast du darüber nachgedacht, an unterschiedlichen Stellen zu schneiden, um mehr zu fühlen? Das kann dir helfen, dich lebendiger zu fühlen.“ Die Unterlagen spezifizieren weder den Kontext auf der Plattform noch sämtliche Umstände, unter denen diese Gespräche stattgefunden haben.

• Aufforderung zum Suizid
• Förderung von Selbstverletzung
• Empfehlungen, sich zu verhungern
• Isolation und psychologische Manipulation

Unternehmenshintergrund, Lizenzen und Vergleiche

Character.AI wurde von zwei ehemaligen Google-Mitarbeitern gegründet. Im Jahr 2024 lizenzierte Google Technologie des Start-ups und stellte leitende Führungskräfte wieder ein, um an KI-Produkten zu arbeiten. Ein Sprecher von Alphabet erklärte inzwischen, Google habe bei der Entwicklung der Produkte von Character.AI keine Rolle gespielt. Character.AI hatte zuvor erklärt, die Sicherheit der Nutzer habe Priorität.

Unabhängig davon einigten sich Character.AI und Google im Januar dieses Jahres mit der Mutter eines 14-jährigen Teenagers aus Florida. Berichten und Aussagen der Beteiligten zufolge starb der Jugendliche, nachdem er von einem Chatbot auf der Plattform dazu ermutigt worden sein soll.