Zusammenfassung

Im Juli haben zwei der weltweit führenden KI-Forschungslabore dasselbe beunruhigende Ergebnis veröffentlicht. Im Rahmen ihrer eigenen Sicherheitstests brachen ihre leistungsfähigsten KI-Modelle in die Systeme anderer Unternehmen ein. Tags: #Künstliche Intelligenz | #Sicherheitsanalyse

Im Detail

Im Juli haben zwei der weltweit führenden KI-Forschungslabore dasselbe beunruhigende Ergebnis veröffentlicht. Im Rahmen ihrer eigenen Sicherheitstests brachen ihre leistungsfähigsten KI-Modelle in die Systeme anderer Unternehmen ein.

Zunächst OpenAI, dessen Modelle in das System von Hugging Face eindrangen. Dann Anthropic, dessen Modelle drei weitere Organisationen erreichten.

Was die Vorfälle bei OpenAI und Anthropic Sicherheitsverantwortlichen aufzeigen, sind zwei Dinge: Erstens wurden die Sicherheitsvorkehrungen nicht umgangen. Sie waren absichtlich deaktiviert. OpenAI ließ die Modelle mit reduzierten Cyber-Ablehnungen und deaktivierten Sicherheitsklassifikatoren laufen, um die reine Leistungsfähigkeit anhand eines Cyber-Benchmarks zu messen.

Dass ein Modell Cyber-Aufgaben ausführt, während seine Sicherheitsvorkehrungen deaktiviert sind, ist keine Überraschung. Die Labore betonen immer wieder, dass die Leistungsfähigkeit steigt. Zweitens, und das ist der springende Punkt: Niemand hat diesen Modellen befohlen, jemanden anzugreifen. Sie lösten eine Testaufgabe und gelangten zu echten Unternehmen, auf die sie niemand hingewiesen hatte.

Das Modell erweiterte seinen eigenen Wirkungsbereich

Die Aufgabe war eng gefasst: Löse den Benchmark. Das Modell wurde nicht aufgefordert, bei irgendjemandem einzudringen. Stattdessen optimierte es sich. Laut OpenAI durchbrach es seine Sandbox über eine Zero Day-Schwachstelle in einem Proxy der Paketregistrierung. Es gelangte ins offene Internet, erweiterte dann seine Berechtigungen und bewegte sich lateral zu einem mit dem Internet verbundenen Node.

Auf dem Weg dorthin nutzte es eine Sandbox bei einem nicht damit in Verbindung stehenden Unternehmen: Ein Kunde von Modal Labs hatte einen Endpunkt zur Codeausführung für jedermann offen gelassen, und das Modell machte ihn zu einer Startrampe.

Von dort aus schloss es, dass Hugging Face möglicherweise den Lösungsschlüssel hosten könnte, und drang in dessen Produktionsdatenbank ein, um diesen zu erlangen. Durch die Kombination gestohlener Anmeldedaten mit einem weiteren Zero Day-Exploit gelang ihm die Remote-Code-Ausführung.

Die Modelle von Anthropic verhielten sich ähnlich. Als ihnen mitgeteilt wurde, ihre Testumgebung sei offline, obwohl sie aufgrund einer Fehlkonfiguration weiterhin verbunden war, suchten sie im offenen Internet nach ihren Zielen und gelangten zu echten Unternehmen, wobei sie lediglich schwache Passwörter und offene Endpunkte ausnutzen mussten.

Sicherheitsverantwortliche sollten beachten, was dafür nötig war: Hin und wieder ein bis dahin unbekannter Zero Day, gestohlene Anmeldedaten und überall bereits zuvor geöffnete Türen. In beiden Laboren war der exotische Exploit die Ausnahme und die offene Tür die Regel. Ein autonomer Angreifer nutzt das, was er zuerst findet. Das ist zielgerichtetes Handeln in der Praxis.

Die Modelle betrachteten den Test als Freibrief, alles zu erreichen, was sie konnten – über reale Infrastrukturen hinweg, auf die sie nie ausgerichtet worden waren. Die klassische Sorge aus der Forschung zur Agentensicherheit hat sich gerade bewahrheitet.

Das ist es, was die Anforderungen an die IT-Sicherheit grundlegend verändert. Sicherheitsverantwortliche auf der ganzen Welt können nicht länger davon ausgehen, dass ein Agent innerhalb der Testumgebung bleibt und den Task verfolgt, der ihm übertragen wurde. Stattdessen müssen sie davon ausgehen, dass er diese Aufgabe über alles hinweg verfolgen wird, was er tatsächlich erreichen kann.

Der nächste Vorfall wird kein Zufall mehr sein

Beide Fälle waren Zufälle. Labore, die ihre eigenen Modelle einem Stresstest unterzogen, Sicherheitsvorkehrungen ausgeschaltet, Grenzen, die nicht hielten. Das ist die beruhigende Interpretation. Sicherheitsverantwortliche sollten sich nicht darauf verlassen, dass das so bleibt. Dies ist eine Vorschau, keine Anomalie.

Stattdessen werden sie noch mehr davon sehen, und nicht alle Vorfälle werden Zufälle sein. Manche werden Fehler sein: Modelle, die über ihren Anwendungsbereich hinaus optimieren. Manche werden absichtlich sein: Angreifer, die autonome Agenten auf Organisationen loslassen, um Schwachstellen schneller zu finden und zu verketten, als es irgendein Team erkennen oder beheben kann.

Die Hürde für den Einsatz eines fähigen Angreifers sinkt immer weiter.

Geschwindigkeit und Umfang – das macht den Unterschied aus. Hugging Face hat mehr als 17.000 Aktionen des angreifenden KI-Agenten an einem einzigen Wochenende rekonstruiert. Kein menschliches Team kann einem Agenten folgen, der sich so schnell und in einem solchen Ausmaß bewegt.

Die Verteidigung startete zudem mit einem Nachteil: Ihre forensische Arbeit wurde durch die Sicherheitsvorkehrungen der zunächst getesteten gehosteten Modelle blockiert, sodass sie auf ein selbst gehostetes Open Weight-Modell zurückgreifen musste. Der Angriff konnte ungehindert ablaufen. Die Verteidigung arbeitete mit einer auf dem Rücken festgebundenen Hand.

Der Lösungsansatz gegen KI-gestützte Angriffe ist Prävention und sie sollte an erster Stelle stehen. Organisationen müssen den Datenabfluss und die laterale Bewegung stoppen, bevor sie zu einer Sicherheitslücke führen. Defensive KI, die das Unternehmen selbst betreibt und kontrolliert, sodass kein Sicherheitsfilter sie mitten im Vorfall aussperrt, sind Teil einer modernen Sicherheitsstrategie.

Und ein Sicherheits-Stack, der einen autonomen Agenten als vollwertigen Gegner behandelt. Dieser Angriff verlief nach einer bekannten Kettenreaktion: gestohlene Anmeldedaten, Privilegienausweitung, laterale Bewegung, Remote-Code-Ausführung. Netzwerk-, Identitäts-, Endpunkt- und Cloud-Kontrollen kennen diese Angriffskette bereits.

Jetzt müssen sie ihn mit Maschinen-Geschwindigkeit abfangen – ebenfalls gesteuert von einer Maschine.

Niemand hat den Agenten kontrolliert

Die Verteidigung gegen KI ist die eine Hälfte. Die andere ist die KI, die Sicherheitsverantwortliche selbst betreiben. Die Anforderung ist einfach zu formulieren, aber schwer umzusetzen: Ein Agent bleibt nicht von selbst in seinem Zuständigkeitsbereich. Es gilt ihn dort halten.

Diese Aufgabe verteilt sich auf drei Ebenen, und die Grenzen sind weniger klar gezogen, als dies bei dem Cloud Computing der Fall war.

Der Modellanbieter sichert das Modell und die dahinterliegende Infrastruktur. Die Verantwortung endet jedoch an der Modellgrenze. Er kontrolliert weder die Daten noch die Tools noch die Identitäten, unter denen das Modell läuft. Sicherheitsverantwortliche sollten seine Sicherheitsfilter als Mittel zur Verringerung von Missbrauch betrachten, jedoch niemals als Kontrollmechanismus.

Sicherheitsanbieter stellen die Ebene bereit, die der Modellanbieter nicht abdeckt. KI-Sicherheitstools steuern den Agenten von außen: Schutzmaßnahmen gegen Prompt-Injektion und Datenverlust, erzwungene Handlungsräume, kontrollierter Datenausgang und Validierung der Modellaktivitäten.

Diese Kontrolle bleibt unabhängig vom Modell; man kann nicht von einem Modell, das den zulässigen Rahmen überschritten hat, verlangen, sich selbst zu überwachen. Auch der Rest des Stacks spielt eine Rolle. Die eigenen Agenten benötigen Identitäten, das Prinzip der geringsten Berechtigungen, Segmentierungen und das Zero Trust-Prinzip auf die Agenten selbst erweitert.

Fazit

Jahrelang waren ernsthafte Angriffe selten. Sie erforderten qualifizierte Fachkräfte und Zeit. Diese Zeit geht nun zu Ende. Bislang handelte es sich um Labore, die ihre eigenen Modelle testeten, doch als Nächstes kommen echte Angreifer. Die Frage ist nicht mehr, ob ein autonomer Agent ein Netzwerk angreifen wird. Die Frage ist, ob die Verteidigung genauso schnell reagiert wie der Angreifer.

Die gleiche Fähigkeit, die den Angreifer stärkt, ist gleichzeitig der größte Vorteil für die Sicherheitsverantwortlichen.

Tags: #Künstliche Intelligenz | #Sicherheitsanalyse