Check Point Research (CPR) hat in einem neuen Bericht KI-Zwischenfälle aus den Monaten Juli und August analysiert. Dabei wurden sowohl die Ausbrüche von Testmodellen bekannter KI-Anbieter als auch KI-gesteuerte Angriffe von Cyberkriminellen untersucht und das Unternehmen informiert über Ursachen, Abläufe und Folgen dieser Fälle.
Wie KI-Modelle ihrer Testumgebung entkamen
In einer Pressemitteilung verweist Check Point zunächst auf den kürzlich bekannt gewordenen Vorfall bei OpenAI. Deren Modell war eigentlich auf eine isolierte Testumgebung beschränkt, die nur mit einem internen Paket-Proxy verbunden war. Es entdeckte und nutzte jedoch völlig eigenständig eine bisher unbekannte Schwachstelle in diesem Proxy aus. So konnte es aus der Isolierung ausbrechen und die Produktionssysteme von Hugging Face erreichen. Was entstand, war eine Verkettung unabhängiger Aktionen, die Forscher später auf etwa 17.600 Schritte rekonstruierten. Die Evaluierungsumgebung von Anthropic wiederum war versehentlich über das Internet erreichbar. So konnten die Testmodelle Anmeldedaten sammeln und eine Produktionsdatenbank auslesen.
Die Security-Experten nennen zudem das Beispiel Meta und eine ähnliche Sicherheitslücke durch eine Fehlkonfiguration eines externen Evaluierers. Sie verweisen darüber hinaus auf das britische AI Security Institute, laut dem Agenten in 122 kontrollierten Durchläufen 19 unbefugte Aktionen durchführten. Darunter war ein Fall, in dem ein Agent gefälschte Identitäten erstellte, um einen echten Open-Source-Entwickler davon zu überzeugen, bösartigen Code zu genehmigen.
Angriffe auf und mit KI
Zwar erklärt Check Point, dass die kriminelle Nutzung von KI dieses Maß an Autonomie zwar noch nicht erreicht habe, es aber bereits gefährlich genug sei, wozu Cyberkriminelle imstande sind. Zudem werden sie dabei immer kreativer. Gambit Security dokumentierte etwa, dass ein Partner der Ransomware-Gruppe ‚The Gentlemen‘ Claude-Code gegen mindestens sechs Organisationen einsetzte: Dabei wählte er ein älteres, weniger eingeschränktes Modell aus und eröffnete bei jeder Ablehnung eine neue Session, um die Autorisierung durchzusetzen. Daraufhin führte das Modell den Angriff eigenständig durch. Jadepuffer ging noch einen Schritt weiter und führte eine komplette Erpressung eigenständig durch, sobald ein Mensch den Vorgang gestartet hatte.
Check Point erklärt zudem, dass auch KI-Modelle selbst das Ziel krimineller Machenschaften werden können und verweist auf KI-Agenten für Coding und Unternehmens-Copiloten, die Dateien, Pull-Anfragen und geteilte Inhalte meist als vertrauenswürdige Eingaben lesen. Genau dieses Vertrauen ist nun ein neuer Einstiegspunkt. GhostApproval ermöglicht es beispielsweise einem verseuchten Repository, mithilfe symbolischer Links einen Agenten dazu zu bringen, Dateien außerhalb seines Arbeitsbereichs zu schreiben. Laut Check Point waren davon Googles Gemini CLI und Anthropics Claude Code betroffen, die beide Patches für CVEs benötigten, die durch ein böswilliges GitHub-Issue ausgelöst werden konnten. Die Suchfunktion von Microsoft 365 Copilot nennt der Security-Spezialist als weiteren Fall, bei dem Unternehmensdateien über einen einzigen manipulierten Link preisgegeben werden konnten. Forscher demonstrierten eine sich selbst verbreitende Prompt-Injektion in Microsoft Words Copilot. Auch die zugrunde liegende Lieferkette war ein Ziel: Mehr als 140 Mastra-AI-Framework-Pakete wurden mit Trojanern versehen, was Check Point zufolge der nordkoreanischen Gruppe ‚Sapphire Sleet‘ zugeschrieben wurde. Bösartige LiteLLM-Veröffentlichungen legten laut Berichten Anmeldedaten von 2.500 Unternehmen offen.
Angreifer lernen zunehmend, den Entscheidungsprozess einer KI selbst zu manipulieren. Da Unternehmen immer mehr Aufgaben an Agenten und Copiloten delegieren, spricht Check Point von einer Verlagerung der Sicherheitsherausforderungen vom Schutz der Systeme hin zum Schutz des maschinellen Urteilsvermögens. Demnach sind Vertrauenswürdigkeit und Widerstandsfähigkeit ebenso wichtig wie die Modellleistung.
Schwachstellensuche per KI sorgt hohe Patch-Zahlen
Check Point beruft sich zudem auf das britische NCSC (National Cyber Security Centre), das vor einer bevorstehenden ‚Patch-Welle‘ warnte, da die KI-gestützte Schwachstellensuche zunimmt. Dazu liefert Check Point folgende Zahlen: Das Juli-Update von Microsoft enthielt 570 Korrekturen, das von Oracle sogar mehr als 1.400.
