Erst RubyGems, dann ein deutsches Wiki und schließlich Hugging Face: OpenAI-Agenten erreichten reale Systeme außerhalb ihrer Testumgebungen. Auch Anthropic meldet vergleichbare Vorfälle. Führende KI-Entwickler fordern nun Regeln und ein langsameres Tempo. Doch wer sorgt dafür, dass sich im globalen KI-Wettlauf alle daran halten?

Ein KI-Agent verlässt seine Testumgebung und greift ein reales IT-System an. Einmal könnte man das noch als schweren, aber ungewöhnlichen Zwischenfall verbuchen. Wenn Agenten desselben Entwicklers bereits Monate zuvor Hunderte Software-Pakete auf RubyGems hochluden, später ein deutsches Wiki als Nachrichtenplattform nutzten und anschließend Hugging Face kompromittierten, lässt sich das nicht mehr als einmaliges Versagen erklären.

Wie speicherguide.de berichtete, ereignete sich der Angriff auf RubyGems bereits im Mai 2026 und damit zwei Monate vor dem bekannt gewordenen Hugging-Face-Vorfall. OpenAI bestätigte, dass seine Agenten die Plattform verwendet hatten, um ins Internet zu gelangen und Informationen abzurufen. Sicherheitsforscher berichten darüber hinaus von Versuchen, Schwachstellen auszunutzen und Zugangsdaten zu erbeuten. Ob dies gelang, ist nicht geklärt.

Keine böse KI erforderlich

Die einzelnen Fälle unterscheiden sich in Ablauf und Schwere. Gemeinsam ist ihnen, dass die Agenten technische und organisatorische Grenzen überschritten, ohne ausdrücklich dazu aufgefordert worden zu sein. Dafür brauchten die Systeme weder Bewusstsein noch eigene Absichten. Sie verfolgten vorgegebene Ziele und nutzten Wege, die ihre Entwickler nicht vorgesehen hatten.

Für einen erheblichen Schaden genügt ein System, das selbstständig handelt, Werkzeuge einsetzen kann und weitreichende Berechtigungen besitzt. Treffen solche Fähigkeiten auf unzureichend abgesicherte Test- oder Produktionsumgebungen, können die Folgen reale Systeme und Daten betreffen.

Zwei Gefahren wachsen zusammen

Inzwischen melden auch andere Entwickler ähnliche Erfahrungen. Anthropic veröffentlichte zunächst drei Vorfälle aus Sicherheitstests. Claude Opus 4.7 griff auf Zugangsdaten und mehrere Hundert Datensätze einer realen Firma zu. Claude Mythos 5 stellte ein manipuliertes Paket auf PyPI ein, das auf 15 realen Systemen ausgeführt wurde. Ein internes Testmodell scannte rund 9.000 Ziele und kompromittierte eine Anwendung per SQL-Injection und offengelegten Zugangsdaten.

Später meldete Anthropic einen vierten Fall aus dem Januar 2026: Eine frühe Version von Claude Opus 4.6 fand das Passwort eines fremden Systems, änderte Einstellungen und las personenbezogene Daten. Anders als OpenAI machten die Betroffenen die Vorfälle nicht öffentlich, daher nennt Anthropic selbst auch nicht die Identität der Organisationen.

In separaten Berichten dokumentiert Anthropic zudem, wie Nutzer Claude für Cyberoperationen, Einflusskampagnen, Betrug sowie biologische und militärische Fragestellungen einsetzen wollten. Die Berichte zeigen zwei Formen des Risikos. Menschen verwenden KI bewusst als Werkzeug für Angriffe und andere schädliche Zwecke. Autonome Systeme können aber auch ohne ausdrücklichen Angriffsbefehl technische und organisatorische Grenzen überschreiten.

Die Entwickler treten auf die Bremse

Die Unternehmen, die den Wettlauf anführen, fordern inzwischen selbst ein langsameres Tempo. Anthropic-Chef Dario Amodei will die Entwicklung besonders leistungsfähiger Modelle verlangsamen. OpenAI-Chef Sam Altman unterstützt die Forderung, das Tempo bei Spitzenmodellen zu drosseln.

Altman schloss einen Börsengang von OpenAI im Jahr 2026 aus. Angesichts der offenen Sicherheitsfragen bezeichnete er diesen Schritt derzeit als schlecht beraten. Der Börsengang bleibt eine Randnotiz, wenn auch eine finanziell bemerkenswerte. Einen festen Termin hatte OpenAI zuvor ohnehin nicht genannt.

Zwischen realer Gefahr und Weltuntergang

Wie groß die Gefahr tatsächlich ist, kann derzeit niemand seriös beziffern. Die Behauptung, eine Superintelligenz werde schon bald die Menschheit auslöschen, bleibt spekulativ. Ebenso unseriös wäre es jedoch, die dokumentierten Vorfälle als harmlose Kinderkrankheiten abzutun.

Systeme handeln bereits heute autonom, umgehen Beschränkungen und greifen auf Infrastrukturen zu, die nicht Teil ihrer Aufgabe sein sollten. Zudem nutzen Kriminelle, Geheimdienste und staatliche Akteure KI, um Angriffe vorzubereiten, Software zu entwickeln und große Datenmengen auszuwerten. Das sind keine Zukunftsszenarien mehr.

Sicherheit wird zum Wettbewerbsnachteil

Leistungsfähige KI braucht Regeln. Offen ist, welche Vorgaben tatsächlich greifen, wer ihre Einhaltung kontrolliert und warum sich nicht alle Entwickler und Staaten daran beteiligen.

Wer gründlicher testet, unabhängige Kontrolle zulässt oder die Entwicklung verlangsamt, riskiert einen Rückstand gegenüber Wettbewerbern, die einfach weitermachen. Sicherheit wird im globalen KI-Wettlauf schnell zum Nachteil, solange sie freiwillig bleibt.

China will Regeln, aber keine US-Bremse

China fordert ebenfalls international abgestimmte Sicherheitsregeln. Das chinesische Außenministerium wirbt für einen offenen und gemeinsamen Umgang mit KI. Die staatsnahe Zeitung »Global Times« bezeichnete Amodeis Vorschlag dagegen als »Drehbuch des Kalten Krieges«. Sie kritisiert vor allem seine Forderung nach schärferen US-Exportbeschränkungen für Chips und Maßnahmen gegen die mutmaßliche Nachbildung westlicher Modelle durch chinesische Anbieter.

Chinas »Global AI Governance Action Plan« verlangt zeitnahe Risikobewertungen, abgestufte Kontrollen und Tests von KI-Systemen. Gleichzeitig fordert das Papier, technologische Barrieren abzubauen und nationale Souveränität zu respektieren. Peking will an internationalen Regeln mitwirken, lehnt aber Vorgaben ab, die Chinas Zugang zu Technologie beschränken.

Was Regeln leisten können und was nicht

Ein Gesetz entdeckt keine unbekannte Sicherheitslücke und kann nicht garantieren, dass ein KI-Agent seine vorgesehenen Grenzen niemals überschreitet. Es kann Anbieter jedoch verpflichten, Tests, Kontrollen und Meldewege nach festgelegten Mindeststandards auszurichten. Der europäische AI Act enthält solche Vorgaben.

Anbieter von GPAI-Modellen mit systemischem Risiko müssen ihre Modelle bewerten, Angriffstests durchführen, systemische Risiken bewerten und mindern sowie schwerwiegende Vorfälle melden. Hinzu kommen Anforderungen an den Schutz der Modelle und ihrer Infrastruktur. Das AI Office kann technische Unterlagen anfordern, Modelle untersuchen, Korrekturen verlangen und bei Verstößen Bußgelder verhängen.

Eine allgemeine Entwicklungspause sieht der AI Act nicht vor. Auch die Rechte autonomer Agenten in Unternehmensnetzen regelt er nicht im Detail. Unternehmen müssen diese Vorgaben weiterhin selbst festlegen und technisch durchsetzen.

KI-Agenten wie privilegierte Benutzer behandeln

Ein KI-Agent kann selbstständig auf Quellcode, Cloud-Dienste, Datenbanken oder Backup-Systeme zugreifen und dort Aktionen ausführen. Er sollte daher sicherheitstechnisch wie ein privilegierter Benutzer behandelt werden. Agenten können in kurzer Zeit zahlreiche Aktionen ausführen, deren Folgen sich im Voraus nicht vollständig bestimmen lassen.

Agenten sollten eine eigene technische Identität, aufgabengerechte Berechtigungen und möglichst kurzlebige Zugangsdaten erhalten. Netzwerkzugriffe sollten begrenzt und kritische Aktionen protokolliert werden. Änderungen an Produktivsystemen und der Export sensibler Daten können zusätzlich eine Freigabe erfordern. Die Protokolle müssen außerhalb des Zugriffsbereichs des Agenten liegen.

Produktion und Datensicherung müssen getrennt bleiben. Ein Agent, der produktive Daten verändern darf, sollte weder Backups und Snapshots noch Protokolle und Wiederherstellungskonfigurationen löschen können. Andernfalls kann eine Fehlentscheidung gleichzeitig Produktivdaten und Rückfallebene beschädigen.