Wenn KI-Modelle zum Angriffsziel werden

0:000:00

enzozo AdobeStock 97576807
Bild: ©enzozo/stock.adobe.com

Zur Münchner Sicherheitskonferenz (13. bis 15. Februar) hat die Google Threat Intelligence Group (GTIG) einen Bericht veröffentlicht, mit dem die Verfasser die Debatte um KI-gestützte Bedrohungen auf eine operative Ebene ziehen. Ihre zentrale Beobachtung: Staatliche Akteure nutzen generative KI bereits heute systematisch für Cyberaufklärung, Social Engineering und wirtschaftlich relevante Spionage.

Neu sei dabei weniger die Technik als das Angriffsziel, so die GTIG. Mit sogenannten Model-Extraction-Angriffen oder ‚Distillation Attacks‘ gerieten erstmals KI-Modelle selbst ins Visier – eine Form von Diebstahl geistigen Eigentums, die insbesondere für Industrie, Mittelstand und technologiegetriebene Unternehmen relevant sei. Die Verfasser des Berichts betonen zudem, dass gleichzeitig durch KI-gestütztes ‚Rapport-Building Phishing‘ viele klassische Warnsignale verschwinden.

Sie ordnen die Ergebnisse des Berichts wie folgt ein: KI senkt Kosten, beschleunigt Angriffe und erschwert die Erkennung. Die GTIG möchte damit die sicherheitspolitischen Debatten in München ergänzen.

Hier eine Zusammenfassung der Inhalte:

Zunahme von Model-Extraktion-Angriffen oder ‚Distillation Attacks‘: Im vergangenen Jahr identifizierten GTIG und Google DeepMind Bedrohungsakteure, die versuchten, Model-Extraktion-Angriffe oder Distillation Attacks auf generative KI-Produkte durchzuführen, um Einblicke in die Schlussfolgerungen und Gedankengänge eines Modells zu gewinnen. Diese Angriffe gehen von globalen Unternehmen und akademischen Forschern aus, die versuchen, firmeneigene Logik zu klonen. Als häufiges Ziel der Angreifer nennt die GTIG etwa die Fähigkeit der Google-KI Gemini, logisches Denken zu entwickeln.

Bedrohungsakteure nutzen KI während des gesamten Angriffslebenszyklus, insbesondere zur Aufklärung für Social Engineering: Wie die GTIG weiter mitteilt, verwenden von Regierungen unterstützte Angreifer KI weiterhin zum Coden und Scripten, um Informationen über potenzielle Opfer zu sammeln, um öffentlich bekannte Schwachstellen zu erforschen und für Aktivitäten nach der Kompromittierung. Zu den jüngsten Bedrohungen dieser Art, die von der GTIG beobachtet wurden, gehören:

Der vom iranischen Staat unterstützte Akteur APT42 nutzte GenAI-Modelle zur Unterstützung der Aufklärung und gezieltes Social Engineering. APT42 missbraucht KI, um nach offiziellen E-Mails bestimmter Organisationen zu suchen und potenzielle Geschäftspartner auszuspionieren, um einen glaubwürdigen Vorwand zu schaffen.

Der von der nordkoreanischen Regierung unterstützte Akteur UNC2970 konzentriert sich in seinen Kampagnen konsequent auf Angriffe auf Verteidigungsunternehmen und gibt sich dabei als Personalvermittler aus. Die Gruppe nutzte Gemini, um Open-Source-Intelligence (OSINT) zu synthetisieren und Profile von hochrangigen Zielen zu erstellen, um die Kampagnenplanung und Aufklärung zu unterstützen.

Stetiges Wachstum KI-integrierter Malware: Wie bereits in der GTIG-Analyse vom November 2025 beobachtete das Team auch weiterhin, dass Bedrohungsakteure mit KI experimentierten, um neue Fähigkeiten in Malware-Familien zu implementieren. Dies umfasste Malware-Proben, die unter dem Namen HONESTCUE verfolgt wurden und die API von Gemini nutzten, um die Funktionsgenerierung auszulagern, um die herkömmliche netzwerkbasierte Erkennung und statische Analyse zu umgehen.

Neue KI-generierte Phishing-Kits: Die GTIG beobachtete ebenfalls, dass Bedrohungsakteure konventionelle KI-Fähigkeiten in ihre Cyber-Einbruchstechnik integrieren. Die Security-Experten identifizierten etwa ein Coinbait-Phishing-Kit, dessen Erstellung wahrscheinlich durch KI-Codegenerierungstools beschleunigt wurde und das sich als große Kryptowährungsbörse ausgab, um Zugangsdaten zu sammeln.

Wachsender Markt für KI-Dienste zur Unterstützung bösartiger Aktivitäten: Beobachtungen von GTIG in englisch- und russischsprachigen Untergrundforen deuten auf ein anhaltendes Interesse an KI-gestützten Tools und Diensten hin. Allerdings fällt es den Bedrohungsakteuren schwer, eigene Modelle zu entwickeln, weshalb sie stattdessen auf bestehende, ausgereifte KI-Modelle zurückgreifen. Ein Großteil dieser Aktivitäten belegt den Cybersecurity-Spezialisten zufolge die steigende Nachfrage nach gehackten oder gestohlenen API-Schlüsseln. Sie verweisen hier etwa auf ein Untergrund-Toolkit namens ‚Xanthorox‘. Dieses wird als maßgeschneiderte KI zur autonomen Codegenerierung von Malware und zur Entwicklung von Phishing-Kampagnen angepriesen. Die Untersuchung der GTIG ergab jedoch, dass Xanthorox aus mehreren KI-Produkten von kommerziellen und Dritt-Anbietern bestand.



  • Automatisierte Cyberangriffe auf Webanwendungen

    Automatisierte Cyberangriffe auf Webanwendungen

    Cyberkriminelle setzen zunehmend auf Bots und Automatisierung, um ihre Angriffe effizienter zu gestalten und einer Entdeckung zu entgehen. Barracuda analysierte eine zweimonatige Datenstichprobe zu Angriffen auf Webanwendungen, die von Barracuda-Systemen…

    mehr lesen: Automatisierte Cyberangriffe auf Webanwendungen

  • Softwareplattform für vernetzte Fahrzeuge

    Softwareplattform für vernetzte Fahrzeuge

    Bosch und Microsoft wollen eine Softwareplattform für die nahtlose Vernetzung von Autos und Cloud entwickeln.

    mehr lesen: Softwareplattform für vernetzte Fahrzeuge

  • Die Pandemie hat Missstände deutlich gemacht

    Die Pandemie hat Missstände deutlich gemacht

    Rund drei Jahre nach Inkrafttreten der DSGVO und den damit verbundenen Verschärfungen im Umgang mit personenbezogenen Daten, waren sich noch zu Beginn des letzten Jahres immer mehr Unternehmen und Behörden…

    mehr lesen: Die Pandemie hat Missstände deutlich gemacht

  • Itac Software übernimmt Cogiscan

    Itac Software übernimmt Cogiscan

    Mit der Übernahme des kanadischen Unternehmens Cogiscan will Itac Software sein Portfolio an Industrie 4.0-Lösungen erweitern.

    mehr lesen: Itac Software übernimmt Cogiscan

  • Neuer Spitzenwert und unsicherer Ausblick

    Neuer Spitzenwert und unsicherer Ausblick

    Im Jahr 2019 haben die Innovationsausgaben deutscher Unternehmen einen neuen Rekordwert erreicht. Für 2020 gehen die Autoren der Innovationserhebung von einem Rückgang der Ausgaben aus.

    mehr lesen: Neuer Spitzenwert und unsicherer Ausblick

  • Neuer CEO für Visometry

    Neuer CEO für Visometry

    Klaus Dibbern wird CEO des Augmented Reality-Spezialisten Visometry. Gleichzeitig wird Harald Wuest CPO des Unternehmens.

    mehr lesen: Neuer CEO für Visometry

  • Wie kommuniziert man eine Cyberattacke?

    Wie kommuniziert man eine Cyberattacke?

    Kommt es durch eine Cyberattacke zum Datendiebstahl, so stellt es für Unternehmen ein Worst-Case-Szenario dar – können doch erheblich finanzielle und materielle Schäden entstehen. In solchen Situationen muss auch die…

    mehr lesen: Wie kommuniziert man eine Cyberattacke?

  • T-Systems setzt auf die Cloud

    T-Systems setzt auf die Cloud

    ‚Cloud First‘ T-Systems setzt auf die Cloud T-Systems will sich strategisch neu aufstellen. Mit ‘Cloud First‘ setzt das Unternehmen künftig auf die Cloud. Die Investitionen in den Ausbau der Cloud…

    mehr lesen: T-Systems setzt auf die Cloud

  • Markus Asch wird CEO bei Rittal

    Markus Asch wird CEO bei Rittal

    Rittal hat einen neuen CEO. Markus Asch hat den Posten beim Herborner Unternehmen zum 1. Februar übernommen.

    mehr lesen: Markus Asch wird CEO bei Rittal

  • Der Digitalisierungsbedarf ist hoch

    Der Digitalisierungsbedarf ist hoch

    Wenn es um die Digitalisierung der eigenen Unternehmensprozesse geht, sehen IT-Verantwortliche in deutschen Unternehmen Bedarf in vielen Bereichen. Laut einer Studie des Analystenhauses Techconsult im Auftrag von Valantic liegt dabei…

    mehr lesen: Der Digitalisierungsbedarf ist hoch

  • Mehr Sicherheit für eingebettete Systeme

    Mehr Sicherheit für eingebettete Systeme

    Software und Hardware für vernetzte eingebettete Systeme müssen höchste Anforderungen an Sicherheit, Echtzeitfähigkeit, Energie- und Ressourceneffizienz erfüllen. In dem am Karlsruher Institut für Technologie (KIT) koordinierten Projekt Xandar erarbeiten acht…

    mehr lesen: Mehr Sicherheit für eingebettete Systeme

  • Schicksalsjahr für die Eurocloud Gaia-X

    Schicksalsjahr für die Eurocloud Gaia-X

    Im Projekt Gaia-X sollen Datenräume entstehen, die europäischen Datenschutz-Standards entsprechen und die unabhängig von den großen Hyperscalern sind. Für Marc Schieder, CIO von Dracoon, entscheidet sich in diesem Jahr, ob…

    mehr lesen: Schicksalsjahr für die Eurocloud Gaia-X