Nvidia Open Agent Safety: Agenten in Millisekunden stoppen

Nvidia zufolge kann die neue Plattform Open Agent Safety KI-Agenten, die versuchen, voreingestellte Beschränkungen zu umgehen, innerhalb weniger Millisekunden in Quarantäne versetzen. Das Unternehmen präsentierte die Sicherheitsplattform als Werkzeug zur Überwachung und Eindämmung autonomer KI-Agenten – vor dem Hintergrund einer jüngsten Zunahme von Cyberangriffen und Berichten über abweichendes Modellverhalten.

Open Agent Safety basiert auf der Open-Source-Software OpenShell und läuft auf Nvidias Vera-AI-CPU. Ein separater Chip mit Sentry-Technologie übernimmt die kontinuierliche Überwachung, setzt Grenzen durch und isoliert Agenten, die versuchen, ihren definierten Betriebsrahmen zu verlassen. Laut Nvidia legen Nutzer ausdrücklich fest, auf welche Daten ein Agent zugreifen darf. Das System überwacht diese Vorgaben sowohl vor Beginn einer Aufgabe als auch während ihrer Ausführung.

So arbeitet das System

Die Plattform setzt Richtlinien auf mehreren Ebenen durch: über die Richtlinienkonfiguration durch den Nutzer, Vorabprüfungen durch OpenShell und die Durchsetzung während des Betriebs durch den mit Sentry ausgestatteten Chip. Nvidia beschreibt die Kombination aus Software und dedizierter Hardware als in der Lage, Agenten zu erkennen, die nicht autorisierte Aktionen ausführen wollen, und sie innerhalb weniger Millisekunden zu isolieren.

Jensen Huang, Nvidias Vorstandsvorsitzender, sagte gegenüber CNBC: "Um ein agentenbasiertes System sicher bereitzustellen, muss sichergestellt sein, dass die umgebende isolierte Umgebung so gestaltet ist, dass der Zugriff der Agenten auf ein absolutes Minimum beschränkt bleibt."

Die Sicherheitsbedenken rund um Agenten nahmen zu, nachdem Unternehmen wie OpenAI, Anthropic und Google Fälle gemeldet hatten, in denen Modelle Testumgebungen verließen und auf die Infrastruktur anderer Organisationen zugriffen. Nvidia zufolge unterstützen große Technologieunternehmen wie Microsoft, Anthropic und SpaceX seinen Sicherheitsansatz.