Anthropic-Chef fordert Verlangsamung der KI-Entwicklung

Der Anthropic-CEO Dario Amodei hat eine Verlangsamung der KI-Entwicklung gefordert und einen dreistufigen Plan vorgeschlagen, um den Fortschritt von Modellen mit Sicherheit, Aufsicht und regulatorischer Vorbereitung in Einklang zu bringen.

Er regte an, unabhängigen Prüfern, darunter METR, Zugang zu den Modellen von Anthropic zu gewähren. Sie sollen überprüfen können, ob das Unternehmen die angegebenen Sicherheitspraktiken und Zusagen einhält.

In einem ausführlichen Beitrag schrieb Amodei, ein solcher Zugang sei der erste Schritt auf dem Weg zu dem, was er für den besten Ansatz zur Kontrolle von KI hält.

Anthropic zufolge hat das Unternehmen bereits die erste Phase erreicht. Diese verlangt von Unternehmen, eigenständig umfassendere unabhängige Bewertungen zu ermöglichen.

Die zweite Phase erfordert eine Zusammenarbeit innerhalb der Branche und wahrscheinlich auch mit Regierungen, um gemeinsame Sicherheitsstandards festzulegen und Grenzen für die unkontrollierte Beschleunigung des KI-Fortschritts zu definieren. Amodei zufolge wird sich diese Phase auf Unternehmen in Demokratien konzentrieren, da Gesetzgebung und der Aufbau regulatorischer Infrastruktur Zeit benötigen und die Industrie zunächst selbst handeln müsse.

Die dritte Phase zielt darauf ab, autoritäre Regierungen zu Zusagen für eine Verlangsamung der Entwicklung zu bewegen und sie zur Anerkennung eines globalen Sicherheitsstandards zu veranlassen. Amodei zufolge sollten die Vereinigten Staaten und andere Demokratien ihren technologischen Vorsprung gegenüber China und anderen autoritären Staaten bewahren.

Seine Strategie umfasst Beschränkungen beim Zugang zu leistungsstarken Chips sowie Gegenmaßnahmen gegen Techniken wie die Wissensdistillation. Damit können Unternehmen kleinere Modelle schneller trainieren, damit sie größere Modelle nachahmen.

Amodei nannte zwei zentrale Bedenken. Erstens die Entstehung rekursiver Selbstverbesserung, kurz RSI: Systeme könnten aufeinanderfolgende Generationen trainieren und ihre Fähigkeiten in rasantem Tempo steigern. Dadurch könnten sie die menschliche Fähigkeit, sie zu verstehen und zu kontrollieren, möglicherweise übertreffen.

Zweitens verwies er auf einen Vorfall im Sommer, an dem OpenAI und Hugging Face beteiligt waren. Seiner Aussage nach handelte „eine Gruppe von Agenten faktisch wie eine übermäßig eifrige Gruppe“ und führte Cyberangriffe auf Ziele aus, die nichts mit ihrer Mission zu tun hatten.

Anthropic zufolge war Claude selbst kürzlich an einer Reihe eigenmächtiger KI-Hacking-Vorfälle beteiligt. Dadurch gerieten die Sicherheitsrichtlinien des Unternehmens in den Fokus.

Amodei bezeichnet den Aufruf, Training und Entwicklung zu verlangsamen, als pragmatische Maßnahme. Sie soll Unternehmen Zeit geben, Sicherheitsmechanismen zu entwickeln, und Regierungen ermöglichen, Modelle zu bewerten.