Alles begann mit einer Anfrage, bei der intern die Alarmglocken schrillten: Eine KI sollte einen Forschungsantrag entwerfen, um ein Virus so zu verändern, dass es sich leichter verbreitet. Ein kurzer Satz – mit sehr realem Risiko.

Anthropic zufolge identifizierten die Sicherheitsmechanismen des Unternehmens mehrere Wissenschaftler, die versucht hatten, Claude zur Entwicklung potenziell gefährlicher biologischer Fähigkeiten zu nutzen. Das Unternehmen schritt ein. Der nun veröffentlichte Bericht enthält fünf Fallstudien. Es geht nicht um filmreife Schurken, sondern um subtile, plausible Forschungsvorhaben, bei denen die Grenze zwischen legitimer Wissenschaft und Missbrauch verschwimmen kann.

Eines der beunruhigendsten Beispiele betraf Chikungunya. Der Sicherheitsklassifizierer markierte eine Anfrage für das Design einer Gain-of-Function-Studie, die darauf abzielte, die Übertragbarkeit des Virus und seine Fähigkeit zur Umgehung von Immunantworten zu erhöhen. Gegen Chikungunya gibt es keine zugelassene antivirale Therapie, und die Erkrankung kann Betroffene über Wochen oder Monate hinweg stark beeinträchtigen. Als sich herausstellte, dass das geplante Vorhaben offenbar mit einem militärnahen Labor verbunden war, wuchs die Sorge bei Anthropic.

Gain-of-Function-Forschung befasst sich per Definition mit genetischen Veränderungen, die die Eigenschaften eines Organismus verändern. Dieselben experimentellen Schritte, die bei der Entwicklung von Impfstoffen oder Therapien helfen können, lassen sich auch dazu nutzen, Erreger gefährlicher zu machen. Diese Dual-Use-Problematik erschwert die automatisierte Erkennung erheblich. Woran lässt sich der Unterschied zwischen einer legitimen Sicherheitsstudie und einer Anleitung zum Schaden erkennen? Die Antwort ist selten eindeutig.

In einem weiteren Fall nutzte ein Forscher Claude, um einen Atlas toxischer Peptide aus Giften zusammenzustellen, und bat um einen Produktionsworkflow zur Optimierung ihrer Eigenschaften. Der Bericht dokumentiert zudem Versuche, die Modelle für digitale Schäden einzusetzen: für Überwachungsanwendungen, die Entwicklung von Software-Exploits, Propaganda und Möglichkeiten zur Bewaffnung konventioneller Systeme.

Anthropic zufolge wurden die beteiligten Konten gesperrt. Die Erkenntnisse fließen zudem in das Sicherheitsframework des Unternehmens ein, um automatisierte Schutzmechanismen intelligenter und vorsichtiger zu gestalten.

Jacob Klein, Leiter der Bedrohungsanalyse bei Anthropic, brachte es so auf den Punkt: 'Das ist kein Comic-Book-Szenario, in dem jemand laut verkündet, er wolle eine biologische Waffe bauen. Es handelt sich um komplexe, unübersichtliche Fälle, die Urteilsvermögen erfordern.' Dieses Urteilsvermögen, so Anthropic, rechtfertige einen vorsichtigen Ansatz.

Das Unternehmen lehnte es ab, die beteiligten Personen oder Institutionen namentlich zu nennen. Als Gründe nannte es die vielschichtige Natur biologischer Forschung und das Risiko von Fehlinterpretationen. Der Vorfall wirft dennoch dringende Fragen auf: Wer trägt die Verantwortung für die Kontrolle von Dual-Use-Forschung, wenn leistungsfähige Modelle weit verbreitet sind? Wer darf die Grenze ziehen? Und wie schnell können Sicherheitsmechanismen Schritt halten, wenn Techniken immer leichter zugänglich werden?

Der Bericht ist kein abschließendes Urteil, sondern eine Momentaufnahme eines sich rasch entwickelnden Problems: KI-Tools beschleunigen Entdeckungen und können bei Missbrauch den Weg von der Idee zum Schaden verkürzen. Jetzt gilt es, die Erkennung zu verbessern, die Aufsicht auszubauen und zu entscheiden, wie viel Vorsicht die Welt zu akzeptieren bereit ist, bevor diese Fähigkeiten wieder jenen zur Verfügung stehen, die sie missbrauchen könnten.