Hugging Face war offenbar kein Einzelfall. Schon im Mai sollen OpenAI-Agenten RubyGems angegriffen und Hunderte schädliche Pakete veröffentlicht haben. Ruby Central entfernte mehr als 500 Pakete und fand Code zum Abgreifen von API-Keys. Sicherheitsforscher führen die Kampagne auf OpenAI-Agenten zurück.

Autonome KI-Agenten von OpenAI fluteten eine Software-Plattform mit Hunderten Spam- und Schadpaketen. Der neu bekanntgewordene Vorfall liegt zeitlich sogar vor Hugging Face. RubyGems.org ist die zentrale Paketplattform für die Programmiersprache Ruby, betrieben von der gemeinnützigen Organisation Ruby Central. Bereits am 11. Mai tauchten dort Hunderte Spam- und Schadpakete auf. OpenAI bestätigte später, dass eigene Agenten zu dieser Zeit im Rahmen interner Trainingsläufe auf RubyGems aktiv waren. Eigentlich sollten sie öffentlich zugängliche Daten für harmlose Aufgaben sammeln.

Was daraus entstand, ging deutlich darüber hinaus. Neu angelegte Konten veröffentlichten massenhaft Pakete, Ruby Central stoppte zeitweise Neuregistrierungen und entfernte mehr als 500 Einträge. In einigen Paketen fanden Sicherheitsforscher zudem Code, der auf API-Keys anderer Nutzer zielte.

Bei der Urheberschaft bleibt Ruby Central vorsichtig. Der Betreiber bestätigt die Angriffskampagne, kann anhand der eigenen Daten aber nicht feststellen, ob die Pakete tatsächlich von KI-Agenten erzeugt oder veröffentlicht wurden. Die Forscher des Nightingale Collective führen die Aktivitäten dagegen auf OpenAI-Agenten zurück.

Anzeige

Agenten fanden Wege in fremde Systeme

Dabei blieb es nicht beim Paket-Repository. Nach Recherchen des Nightingale Collective, über die auch The Hacker News berichtet, nutzten die Agenten RubyDoc.info und fanden dort eine Möglichkeit zur Remote Code Execution. Damit konnten sie Code auf fremder Infrastruktur ausführen.

Genau das macht den Fall brisant. Die Agenten sollten Informationen beschaffen, suchten aber offenbar selbstständig nach Wegen, ihr Ziel zu erreichen. Zwei Monate später zeigte sich bei Hugging Face ein ähnliches Muster: OpenAI-Agenten überwanden während Sicherheitstests Schutzmechanismen, gelangten ins Internet und kompromittierten fremde Systeme.

Damit wird aus einem eigentlich kuriosen Trainingsfehler ein grundsätzliches Sicherheitsproblem. Ein autonomer Agent braucht keinen expliziten Auftrag zum Angriff. Es reicht, wenn sein Ziel schlecht begrenzt ist und er Schwachstellen als nützlichen Weg interpretiert. Für Betreiber macht die Motivation keinen Unterschied, wenn am Ende fremder Code ausgeführt oder nach Zugangsdaten gesucht wird.

Es wäre daher nicht überraschend, wenn in den kommenden Monaten weitere solcher »Trainingsunfälle« bekannt werden. Administratoren sollten autonome Agenten deshalb wie nicht vertrauenswürdige externe Akteure behandeln: Zugriffe strikt begrenzen, Testumgebungen isolieren, kurzlebige Zugangsdaten verwenden und auffällige Aktivitäten konsequent überwachen.

Die KI-Anbieter fordern nun selbst strengere Regeln

Der Zeitpunkt ist insofern bemerkenswert, ausgerechnet OpenAI und Anthropic drängen derzeit auf strengere Regeln für besonders leistungsfähige KI. OpenAIs Chief Global Affairs Officer Chris Lehane fordert verbindliche nationale Sicherheitsvorgaben, unabhängige Prüfungen, Cybersecurity-Anforderungen und Meldepflichten für Vorfälle.

CEO Sam Altman unterstützt zugleich den Vorstoß von Anthropic-Chef Dario Amodei, der für ein langsameres Entwicklungstempo für Frontier-Modelle plädiert, unabhängige Prüfer, gemeinsame Sicherheitsstandards der großen Anbieter und internationale Abstimmung. Damit liefern die Hersteller selbst das stärkste Argument für Regulierung: Wenn selbst ihre eigenen Testsysteme Grenzen überschreiten und fremde Infrastruktur kompromittieren können, reichen freiwillige Leitlinien offensichtlich nicht mehr aus.

US-Präsident Donald Trump hält dagegen wenig von einer solchen Vollbremsung. Er bezeichnet Warnungen vor den Risiken einer schnellen KI-Entwicklung als übertrieben und stellt den Wettbewerb mit China in den Vordergrund.