Wenn KI-Modelle zum Angriffsziel werden

enzozo AdobeStock 97576807
Bild: ©enzozo/stock.adobe.com

Zur Münchner Sicherheitskonferenz (13. bis 15. Februar) hat die Google Threat Intelligence Group (GTIG) einen Bericht veröffentlicht, mit dem die Verfasser die Debatte um KI-gestützte Bedrohungen auf eine operative Ebene ziehen. Ihre zentrale Beobachtung: Staatliche Akteure nutzen generative KI bereits heute systematisch für Cyberaufklärung, Social Engineering und wirtschaftlich relevante Spionage.

Neu sei dabei weniger die Technik als das Angriffsziel, so die GTIG. Mit sogenannten Model-Extraction-Angriffen oder ‚Distillation Attacks‘ gerieten erstmals KI-Modelle selbst ins Visier – eine Form von Diebstahl geistigen Eigentums, die insbesondere für Industrie, Mittelstand und technologiegetriebene Unternehmen relevant sei. Die Verfasser des Berichts betonen zudem, dass gleichzeitig durch KI-gestütztes ‚Rapport-Building Phishing‘ viele klassische Warnsignale verschwinden.

Sie ordnen die Ergebnisse des Berichts wie folgt ein: KI senkt Kosten, beschleunigt Angriffe und erschwert die Erkennung. Die GTIG möchte damit die sicherheitspolitischen Debatten in München ergänzen.

Hier eine Zusammenfassung der Inhalte:

Zunahme von Model-Extraktion-Angriffen oder ‚Distillation Attacks‘: Im vergangenen Jahr identifizierten GTIG und Google DeepMind Bedrohungsakteure, die versuchten, Model-Extraktion-Angriffe oder Distillation Attacks auf generative KI-Produkte durchzuführen, um Einblicke in die Schlussfolgerungen und Gedankengänge eines Modells zu gewinnen. Diese Angriffe gehen von globalen Unternehmen und akademischen Forschern aus, die versuchen, firmeneigene Logik zu klonen. Als häufiges Ziel der Angreifer nennt die GTIG etwa die Fähigkeit der Google-KI Gemini, logisches Denken zu entwickeln.

Bedrohungsakteure nutzen KI während des gesamten Angriffslebenszyklus, insbesondere zur Aufklärung für Social Engineering: Wie die GTIG weiter mitteilt, verwenden von Regierungen unterstützte Angreifer KI weiterhin zum Coden und Scripten, um Informationen über potenzielle Opfer zu sammeln, um öffentlich bekannte Schwachstellen zu erforschen und für Aktivitäten nach der Kompromittierung. Zu den jüngsten Bedrohungen dieser Art, die von der GTIG beobachtet wurden, gehören:

Der vom iranischen Staat unterstützte Akteur APT42 nutzte GenAI-Modelle zur Unterstützung der Aufklärung und gezieltes Social Engineering. APT42 missbraucht KI, um nach offiziellen E-Mails bestimmter Organisationen zu suchen und potenzielle Geschäftspartner auszuspionieren, um einen glaubwürdigen Vorwand zu schaffen.

Der von der nordkoreanischen Regierung unterstützte Akteur UNC2970 konzentriert sich in seinen Kampagnen konsequent auf Angriffe auf Verteidigungsunternehmen und gibt sich dabei als Personalvermittler aus. Die Gruppe nutzte Gemini, um Open-Source-Intelligence (OSINT) zu synthetisieren und Profile von hochrangigen Zielen zu erstellen, um die Kampagnenplanung und Aufklärung zu unterstützen.

Stetiges Wachstum KI-integrierter Malware: Wie bereits in der GTIG-Analyse vom November 2025 beobachtete das Team auch weiterhin, dass Bedrohungsakteure mit KI experimentierten, um neue Fähigkeiten in Malware-Familien zu implementieren. Dies umfasste Malware-Proben, die unter dem Namen HONESTCUE verfolgt wurden und die API von Gemini nutzten, um die Funktionsgenerierung auszulagern, um die herkömmliche netzwerkbasierte Erkennung und statische Analyse zu umgehen.

Neue KI-generierte Phishing-Kits: Die GTIG beobachtete ebenfalls, dass Bedrohungsakteure konventionelle KI-Fähigkeiten in ihre Cyber-Einbruchstechnik integrieren. Die Security-Experten identifizierten etwa ein Coinbait-Phishing-Kit, dessen Erstellung wahrscheinlich durch KI-Codegenerierungstools beschleunigt wurde und das sich als große Kryptowährungsbörse ausgab, um Zugangsdaten zu sammeln.

Wachsender Markt für KI-Dienste zur Unterstützung bösartiger Aktivitäten: Beobachtungen von GTIG in englisch- und russischsprachigen Untergrundforen deuten auf ein anhaltendes Interesse an KI-gestützten Tools und Diensten hin. Allerdings fällt es den Bedrohungsakteuren schwer, eigene Modelle zu entwickeln, weshalb sie stattdessen auf bestehende, ausgereifte KI-Modelle zurückgreifen. Ein Großteil dieser Aktivitäten belegt den Cybersecurity-Spezialisten zufolge die steigende Nachfrage nach gehackten oder gestohlenen API-Schlüsseln. Sie verweisen hier etwa auf ein Untergrund-Toolkit namens ‚Xanthorox‘. Dieses wird als maßgeschneiderte KI zur autonomen Codegenerierung von Malware und zur Entwicklung von Phishing-Kampagnen angepriesen. Die Untersuchung der GTIG ergab jedoch, dass Xanthorox aus mehreren KI-Produkten von kommerziellen und Dritt-Anbietern bestand.



  • Eclipse Foundation gründet Open Regulatory Compliance Working Group

    Eclipse Foundation gründet Open Regulatory Compliance Working Group

    Die Eclipse Foundation, eine der weltweit größten Open-Source-Foundations, hat die Open Regulatory Compliance Working Group (ORC WG) ins Leben gerufen.

    mehr lesen: Eclipse Foundation gründet Open Regulatory Compliance Working Group

  • Deutschland mit gutem Innovationssystem aber Schwächen in digitaler Infrastruktur

    Deutschland mit gutem Innovationssystem aber Schwächen in digitaler Infrastruktur

    Angesichts des deutschen Abschneidens beim diesjährigen Global Innovation Index hat die Präsidentin des Deutschen Patent- und Markenamts (DPMA), Eva Schewior, zu mehr Dynamik bei der Sicherung der Innovationsfähigkeit in Deutschland…

    mehr lesen: Deutschland mit gutem Innovationssystem aber Schwächen in digitaler Infrastruktur

  • Peter Leibinger als neuer BDI-Präsident vorgeschlagen

    Peter Leibinger als neuer BDI-Präsident vorgeschlagen

    Nach zwei Amtszeiten als BDI-Präsident wird Siegfried Russwurm am Jahresende das Amt satzungsgemäß abgeben.

    mehr lesen: Peter Leibinger als neuer BDI-Präsident vorgeschlagen

  • Anzeige
    Retarus beschleunigt Datenaustausch in der Produktion

    Retarus beschleunigt Datenaustausch in der Produktion

    Die Digitalisierungs- und Automatisierungslösungen von Retarus ermöglichen effiziente Abläufe ohne manuellen Aufwand oder Kompromisse bei der Datensouveränität

    mehr lesen: Retarus beschleunigt Datenaustausch in der Produktion

  • Neue Höchstzahl an Industrierobotern in Deutschland

    Neue Höchstzahl an Industrierobotern in Deutschland

    Die deutsche Wirtschaft hat 28.355 neue Industrieroboter installiert – ein neues Allzeithoch: 2023 stieg der Absatz um 7 Prozent im Vergleich zum Vorjahr. Der operative Bestand erreichte den neuen europäischen…

    mehr lesen: Neue Höchstzahl an Industrierobotern in Deutschland

  • Arvato Systems und Advanco starten Partnerschaft

    Arvato Systems und Advanco starten Partnerschaft

    Arvato Systems und Advanco, ein Anbieter von Track & Trace-Systemen für die Pharma- und Life Science-Branche, bündeln ihre Expertise und starten eine Partnerschaft.

    mehr lesen: Arvato Systems und Advanco starten Partnerschaft

  • Saskia Fontanive und Christian Schweizer werden COOs

    Saskia Fontanive und Christian Schweizer werden COOs

    Im September 2024 hat der SAP-Gold-Partner und Cloudspezialist Innovabee seine Geschäftsführung um Saskia Fontanive und Christian Schweizer erweitert.

    mehr lesen: Saskia Fontanive und Christian Schweizer werden COOs

  • Siemens gliedert eMobility-Geschäft aus

    Siemens gliedert eMobility-Geschäft aus

    Siemens plant, sein eMobility-Geschäft auszugliedern. Im Jahr 2018 bündelte das Unternehmen seine Ladeaktivitäten für Elektrofahrzeuge und überführte diese 2022 in eine eigene Geschäftseinheit.

    mehr lesen: Siemens gliedert eMobility-Geschäft aus

  • Rechtliche Orientierung für Cybersicherheitsforschende

    Rechtliche Orientierung für Cybersicherheitsforschende

    Cybersicherheitsforschende stehen mitunter gefühlt mit einem Bein im Gefängnis – es herrscht viel Unsicherheit darüber, was rechtlich im Rahmen von Wissenschaft erlaubt ist und was nicht.

    mehr lesen: Rechtliche Orientierung für Cybersicherheitsforschende

  • DFKI und Taiwan AICoE vereinbaren KI-Zusammenarbeit

    DFKI und Taiwan AICoE vereinbaren KI-Zusammenarbeit

    Das Taiwan AI Center of Excellence (AICoE) und das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) haben eine Absprache zur wissenschaftlichen Zusammenarbeit geschlossen.

    mehr lesen: DFKI und Taiwan AICoE vereinbaren KI-Zusammenarbeit

  • Auftragsbestand der Industrie wächst um 1 Prozent

    Auftragsbestand der Industrie wächst um 1 Prozent

    Der Auftragsbestand in der Industrie ist nach vorläufigen Angaben des Statistischen Bundesamtes (Destatis) im Juli 2024 gegenüber Juni 2024 saison- und kalenderbereinigt um 1 Prozent gestiegen.

    mehr lesen: Auftragsbestand der Industrie wächst um 1 Prozent

  • Sebastian Durst wird CEO bei Weidmüller

    Sebastian Durst wird CEO bei Weidmüller

    Die Weidmüller-Gruppe gibt zum 1. Oktober 2024 Veränderungen in der ersten Führungsebene bekannt: Dr. Sebastian Durst, bisher Vorstand Operations, übernimmt die neu geschaffene Position des Chief Executive Officer (CEO).

    mehr lesen: Sebastian Durst wird CEO bei Weidmüller