Wenn KI-Modelle zum Angriffsziel werden

enzozo AdobeStock 97576807
Bild: ©enzozo/stock.adobe.com

Zur Münchner Sicherheitskonferenz (13. bis 15. Februar) hat die Google Threat Intelligence Group (GTIG) einen Bericht veröffentlicht, mit dem die Verfasser die Debatte um KI-gestützte Bedrohungen auf eine operative Ebene ziehen. Ihre zentrale Beobachtung: Staatliche Akteure nutzen generative KI bereits heute systematisch für Cyberaufklärung, Social Engineering und wirtschaftlich relevante Spionage.

Neu sei dabei weniger die Technik als das Angriffsziel, so die GTIG. Mit sogenannten Model-Extraction-Angriffen oder ‚Distillation Attacks‘ gerieten erstmals KI-Modelle selbst ins Visier – eine Form von Diebstahl geistigen Eigentums, die insbesondere für Industrie, Mittelstand und technologiegetriebene Unternehmen relevant sei. Die Verfasser des Berichts betonen zudem, dass gleichzeitig durch KI-gestütztes ‚Rapport-Building Phishing‘ viele klassische Warnsignale verschwinden.

Sie ordnen die Ergebnisse des Berichts wie folgt ein: KI senkt Kosten, beschleunigt Angriffe und erschwert die Erkennung. Die GTIG möchte damit die sicherheitspolitischen Debatten in München ergänzen.

Hier eine Zusammenfassung der Inhalte:

Zunahme von Model-Extraktion-Angriffen oder ‚Distillation Attacks‘: Im vergangenen Jahr identifizierten GTIG und Google DeepMind Bedrohungsakteure, die versuchten, Model-Extraktion-Angriffe oder Distillation Attacks auf generative KI-Produkte durchzuführen, um Einblicke in die Schlussfolgerungen und Gedankengänge eines Modells zu gewinnen. Diese Angriffe gehen von globalen Unternehmen und akademischen Forschern aus, die versuchen, firmeneigene Logik zu klonen. Als häufiges Ziel der Angreifer nennt die GTIG etwa die Fähigkeit der Google-KI Gemini, logisches Denken zu entwickeln.

Bedrohungsakteure nutzen KI während des gesamten Angriffslebenszyklus, insbesondere zur Aufklärung für Social Engineering: Wie die GTIG weiter mitteilt, verwenden von Regierungen unterstützte Angreifer KI weiterhin zum Coden und Scripten, um Informationen über potenzielle Opfer zu sammeln, um öffentlich bekannte Schwachstellen zu erforschen und für Aktivitäten nach der Kompromittierung. Zu den jüngsten Bedrohungen dieser Art, die von der GTIG beobachtet wurden, gehören:

Der vom iranischen Staat unterstützte Akteur APT42 nutzte GenAI-Modelle zur Unterstützung der Aufklärung und gezieltes Social Engineering. APT42 missbraucht KI, um nach offiziellen E-Mails bestimmter Organisationen zu suchen und potenzielle Geschäftspartner auszuspionieren, um einen glaubwürdigen Vorwand zu schaffen.

Der von der nordkoreanischen Regierung unterstützte Akteur UNC2970 konzentriert sich in seinen Kampagnen konsequent auf Angriffe auf Verteidigungsunternehmen und gibt sich dabei als Personalvermittler aus. Die Gruppe nutzte Gemini, um Open-Source-Intelligence (OSINT) zu synthetisieren und Profile von hochrangigen Zielen zu erstellen, um die Kampagnenplanung und Aufklärung zu unterstützen.

Stetiges Wachstum KI-integrierter Malware: Wie bereits in der GTIG-Analyse vom November 2025 beobachtete das Team auch weiterhin, dass Bedrohungsakteure mit KI experimentierten, um neue Fähigkeiten in Malware-Familien zu implementieren. Dies umfasste Malware-Proben, die unter dem Namen HONESTCUE verfolgt wurden und die API von Gemini nutzten, um die Funktionsgenerierung auszulagern, um die herkömmliche netzwerkbasierte Erkennung und statische Analyse zu umgehen.

Neue KI-generierte Phishing-Kits: Die GTIG beobachtete ebenfalls, dass Bedrohungsakteure konventionelle KI-Fähigkeiten in ihre Cyber-Einbruchstechnik integrieren. Die Security-Experten identifizierten etwa ein Coinbait-Phishing-Kit, dessen Erstellung wahrscheinlich durch KI-Codegenerierungstools beschleunigt wurde und das sich als große Kryptowährungsbörse ausgab, um Zugangsdaten zu sammeln.

Wachsender Markt für KI-Dienste zur Unterstützung bösartiger Aktivitäten: Beobachtungen von GTIG in englisch- und russischsprachigen Untergrundforen deuten auf ein anhaltendes Interesse an KI-gestützten Tools und Diensten hin. Allerdings fällt es den Bedrohungsakteuren schwer, eigene Modelle zu entwickeln, weshalb sie stattdessen auf bestehende, ausgereifte KI-Modelle zurückgreifen. Ein Großteil dieser Aktivitäten belegt den Cybersecurity-Spezialisten zufolge die steigende Nachfrage nach gehackten oder gestohlenen API-Schlüsseln. Sie verweisen hier etwa auf ein Untergrund-Toolkit namens ‚Xanthorox‘. Dieses wird als maßgeschneiderte KI zur autonomen Codegenerierung von Malware und zur Entwicklung von Phishing-Kampagnen angepriesen. Die Untersuchung der GTIG ergab jedoch, dass Xanthorox aus mehreren KI-Produkten von kommerziellen und Dritt-Anbietern bestand.



  • Instandhaltung und Field Service mit SAP-Software abwickeln

    Instandhaltung und Field Service mit SAP-Software abwickeln

    Der 28. Jahreskongress SAP EAM 2024 findet am 20. und 21. Juni in Berlin statt. Auch dieses Mal stehen auf der unabhängigen Konferenz Neuigkeiten und Herausforderungen rund um SAP-softwaregestütztes Instandhaltungsmanagement…

    mehr lesen: Instandhaltung und Field Service mit SAP-Software abwickeln

  • AI Act nimmt letzte Hürde

    AI Act nimmt letzte Hürde

    Die Mitgliedsstaaten der EU wollen am 21. Mai 2024 im Ministerrat den AI Act beschließen. In der Verordnung werden Systeme mit künstlicher Intelligenz nach Risikoklassen unterteilt und reguliert. Bitkom-Präsident Dr.…

    mehr lesen: AI Act nimmt letzte Hürde

  • Decide4ECO nutzt Manufacturing-X für nachhaltige Produktentwicklung

    Decide4ECO nutzt Manufacturing-X für nachhaltige Produktentwicklung

    Im Rahmen der Initiative Manufacturing-X fördert das Bundesministerium für Wirtschaft und Klimaschutz (BMWK) das Konsortialprojekt Decide4Eco mit 7,3Mio.€. Das Projekt beschäftigt sich mit der Frage, wie Produkte nachhaltiger entwickelt und…

    mehr lesen: Decide4ECO nutzt Manufacturing-X für nachhaltige Produktentwicklung

  • Forschungsbeirat Industrie 4.0 stellt Engineering-Roadmap vor

    Forschungsbeirat Industrie 4.0 stellt Engineering-Roadmap vor

    Der Forschungsbeirat Industrie 4.0 stellt mit seiner Engineering-Roadmap und den darin enthaltenen Themenblöcken einen Rahmen für konkrete Forschungsschwerpunkte der nächsten zehn Jahre vor. Im Mittelpunkt stehen vier Hauptthemen.

    mehr lesen: Forschungsbeirat Industrie 4.0 stellt Engineering-Roadmap vor

  • Eine gemeinsame Sprache für Daten finden

    Eine gemeinsame Sprache für Daten finden

    Unternehmen treffen Entscheidungen meist auf Basis von strukturierten Daten. Dabei haben auch unstrukturierte Daten Erkenntnisse zu bieten. Der Software-Spezialist Progress erläutert, wie Unternehmen die beiden Datentypen zu einem sinnvollen Ganzen…

    mehr lesen: Eine gemeinsame Sprache für Daten finden

  • IFS ernennt Hannes Liebe zum COO für Nord-, Ost und Zentraleuropa

    IFS ernennt Hannes Liebe zum COO für Nord-, Ost und Zentraleuropa

    Hannes Liebe übernimmt ab sofort die Position des neuen Chief Operation Officer (COO) von IFS für die Region Nord, Ost und Zentraleuropa.

    mehr lesen: IFS ernennt Hannes Liebe zum COO für Nord-, Ost und Zentraleuropa

  • SPS ab 2025 wieder Ende November

    SPS ab 2025 wieder Ende November

    Die SPS wird im nächsten Jahr (2025) vom 25. bis zum 27. November in Nürnberg stattfinden und somit wieder auf den seit vielen Jahren bekannten Zeitraum zurückkehren. Auch die Termine…

    mehr lesen: SPS ab 2025 wieder Ende November

  • Was Unternehmen gegen Produktpiraterie tun können

    Was Unternehmen gegen Produktpiraterie tun können

    Produktpiraterie verursacht immense Schäden in Wirtschaft und Gesellschaft – Eine neue Broschüre des Deutschen Patent- und Markenamts informiert, wie sich Unternehmen dagegen schützen und wehren können.

    mehr lesen: Was Unternehmen gegen Produktpiraterie tun können

  • Mit künstlicher Intelligenz gegen Krisen

    Mit künstlicher Intelligenz gegen Krisen

    Wie künstliche Intelligenz dabei helfen kann, Krisensituationen wie etwa Naturkatastrophen oder Krankheiten besser zu bewältigen, präsentierten Forschende aus unterschiedlichen Projekten auf dem Demo Day ’KrisenFest’.

    mehr lesen: Mit künstlicher Intelligenz gegen Krisen

  • Stackit und ServiceNow schließen Partnerschaft

    Stackit und ServiceNow schließen Partnerschaft

    ServiceNow-Lösungen können künftig auch in der Stackit-Cloud der Schwarz Gruppe (u.a. Lidl und Kaufland) gehostet werden. Beide Unternehmen haben dazu eine Partnerschaft vereinbart.

    mehr lesen: Stackit und ServiceNow schließen Partnerschaft

  • Optimistische Aussichten für den Maschinenbau in Indien

    Optimistische Aussichten für den Maschinenbau in Indien

    Indien wird für deutsche und europäische Maschinenbaufirmen zunehmend attraktiv. Die Wachstumserwartungen vor Ort sind aktuell sehr optimistisch.

    mehr lesen: Optimistische Aussichten für den Maschinenbau in Indien

  • Auftragsmangel belastet die Wirtschaft

    Auftragsmangel belastet die Wirtschaft

    Der Auftragsmangel in Deutschland hat sich laut aktuellen Zahlen des Ifo-Instituts verschärft und ist ein Hemmnis für die Konjunktur.

    mehr lesen: Auftragsmangel belastet die Wirtschaft