Wenn KI-Modelle zum Angriffsziel werden

enzozo AdobeStock 97576807
Bild: ©enzozo/stock.adobe.com

Zur Münchner Sicherheitskonferenz (13. bis 15. Februar) hat die Google Threat Intelligence Group (GTIG) einen Bericht veröffentlicht, mit dem die Verfasser die Debatte um KI-gestützte Bedrohungen auf eine operative Ebene ziehen. Ihre zentrale Beobachtung: Staatliche Akteure nutzen generative KI bereits heute systematisch für Cyberaufklärung, Social Engineering und wirtschaftlich relevante Spionage.

Neu sei dabei weniger die Technik als das Angriffsziel, so die GTIG. Mit sogenannten Model-Extraction-Angriffen oder ‚Distillation Attacks‘ gerieten erstmals KI-Modelle selbst ins Visier – eine Form von Diebstahl geistigen Eigentums, die insbesondere für Industrie, Mittelstand und technologiegetriebene Unternehmen relevant sei. Die Verfasser des Berichts betonen zudem, dass gleichzeitig durch KI-gestütztes ‚Rapport-Building Phishing‘ viele klassische Warnsignale verschwinden.

Sie ordnen die Ergebnisse des Berichts wie folgt ein: KI senkt Kosten, beschleunigt Angriffe und erschwert die Erkennung. Die GTIG möchte damit die sicherheitspolitischen Debatten in München ergänzen.

Hier eine Zusammenfassung der Inhalte:

Zunahme von Model-Extraktion-Angriffen oder ‚Distillation Attacks‘: Im vergangenen Jahr identifizierten GTIG und Google DeepMind Bedrohungsakteure, die versuchten, Model-Extraktion-Angriffe oder Distillation Attacks auf generative KI-Produkte durchzuführen, um Einblicke in die Schlussfolgerungen und Gedankengänge eines Modells zu gewinnen. Diese Angriffe gehen von globalen Unternehmen und akademischen Forschern aus, die versuchen, firmeneigene Logik zu klonen. Als häufiges Ziel der Angreifer nennt die GTIG etwa die Fähigkeit der Google-KI Gemini, logisches Denken zu entwickeln.

Bedrohungsakteure nutzen KI während des gesamten Angriffslebenszyklus, insbesondere zur Aufklärung für Social Engineering: Wie die GTIG weiter mitteilt, verwenden von Regierungen unterstützte Angreifer KI weiterhin zum Coden und Scripten, um Informationen über potenzielle Opfer zu sammeln, um öffentlich bekannte Schwachstellen zu erforschen und für Aktivitäten nach der Kompromittierung. Zu den jüngsten Bedrohungen dieser Art, die von der GTIG beobachtet wurden, gehören:

Der vom iranischen Staat unterstützte Akteur APT42 nutzte GenAI-Modelle zur Unterstützung der Aufklärung und gezieltes Social Engineering. APT42 missbraucht KI, um nach offiziellen E-Mails bestimmter Organisationen zu suchen und potenzielle Geschäftspartner auszuspionieren, um einen glaubwürdigen Vorwand zu schaffen.

Der von der nordkoreanischen Regierung unterstützte Akteur UNC2970 konzentriert sich in seinen Kampagnen konsequent auf Angriffe auf Verteidigungsunternehmen und gibt sich dabei als Personalvermittler aus. Die Gruppe nutzte Gemini, um Open-Source-Intelligence (OSINT) zu synthetisieren und Profile von hochrangigen Zielen zu erstellen, um die Kampagnenplanung und Aufklärung zu unterstützen.

Stetiges Wachstum KI-integrierter Malware: Wie bereits in der GTIG-Analyse vom November 2025 beobachtete das Team auch weiterhin, dass Bedrohungsakteure mit KI experimentierten, um neue Fähigkeiten in Malware-Familien zu implementieren. Dies umfasste Malware-Proben, die unter dem Namen HONESTCUE verfolgt wurden und die API von Gemini nutzten, um die Funktionsgenerierung auszulagern, um die herkömmliche netzwerkbasierte Erkennung und statische Analyse zu umgehen.

Neue KI-generierte Phishing-Kits: Die GTIG beobachtete ebenfalls, dass Bedrohungsakteure konventionelle KI-Fähigkeiten in ihre Cyber-Einbruchstechnik integrieren. Die Security-Experten identifizierten etwa ein Coinbait-Phishing-Kit, dessen Erstellung wahrscheinlich durch KI-Codegenerierungstools beschleunigt wurde und das sich als große Kryptowährungsbörse ausgab, um Zugangsdaten zu sammeln.

Wachsender Markt für KI-Dienste zur Unterstützung bösartiger Aktivitäten: Beobachtungen von GTIG in englisch- und russischsprachigen Untergrundforen deuten auf ein anhaltendes Interesse an KI-gestützten Tools und Diensten hin. Allerdings fällt es den Bedrohungsakteuren schwer, eigene Modelle zu entwickeln, weshalb sie stattdessen auf bestehende, ausgereifte KI-Modelle zurückgreifen. Ein Großteil dieser Aktivitäten belegt den Cybersecurity-Spezialisten zufolge die steigende Nachfrage nach gehackten oder gestohlenen API-Schlüsseln. Sie verweisen hier etwa auf ein Untergrund-Toolkit namens ‚Xanthorox‘. Dieses wird als maßgeschneiderte KI zur autonomen Codegenerierung von Malware und zur Entwicklung von Phishing-Kampagnen angepriesen. Die Untersuchung der GTIG ergab jedoch, dass Xanthorox aus mehreren KI-Produkten von kommerziellen und Dritt-Anbietern bestand.



  • Cyberagentur lässt mobilen Quantencomputer bauen

    Cyberagentur lässt mobilen Quantencomputer bauen

    Infineon Technologies wurde gemeinsam mit dem Technologiepartner Oxford Ionics in einem Ausschreibungsverfahren der Agentur für Innovation in der Cybersicherheit (Cyberagentur) als eines von drei Konsortien ausgewählt, binnen drei Jahren einen…

    mehr lesen: Cyberagentur lässt mobilen Quantencomputer bauen

  • Körber Supply Chain Software übernimmt MercuryGate

    Körber Supply Chain Software übernimmt MercuryGate

    Körber Supply Chain Software, ein Joint Venture von Körber und KKR und Anbieter von End-to-End Supply-Chain-Software schließt die Übernahme von MercuryGate International, einem Anbieter von Transportmanagementsystemen (TMS), ab.

    mehr lesen: Körber Supply Chain Software übernimmt MercuryGate

  • FMB-Veranstalter rücken Nachhaltigkeit in den Fokus

    FMB-Veranstalter rücken Nachhaltigkeit in den Fokus

    Die FMB steht in den Startlöchern und aktuell (Stand Anfang September) sind mehr als 350 Aussteller zur Messe von 5. bis 7. November 2024 angemeldet.

    mehr lesen: FMB-Veranstalter rücken Nachhaltigkeit in den Fokus

  • Anzeige
    Retarus beschleunigt Datenaustausch in der Produktion

    Retarus beschleunigt Datenaustausch in der Produktion

    Die Digitalisierungs- und Automatisierungslösungen von Retarus ermöglichen effiziente Abläufe ohne manuellen Aufwand oder Kompromisse bei der Datensouveränität

    mehr lesen: Retarus beschleunigt Datenaustausch in der Produktion

  • Fragmentierte Regulierung: Verpasst die EU den Anschluss im KI-Zeitalter?

    Fragmentierte Regulierung: Verpasst die EU den Anschluss im KI-Zeitalter?

    Vertreter aus Wirtschaft, Forschung und Technologie – darunter auch Börje Ekholm, Präsident und CEO des 5G- und Mobilfunkausrüsters Ericsson – haben einen offenen Brief unterzeichnet, in dem die Unterzeichnenden die…

    mehr lesen: Fragmentierte Regulierung: Verpasst die EU den Anschluss im KI-Zeitalter?

  • DFKI optimiert Systementwicklung mit hybrider KI und menschlichem Feedback

    DFKI optimiert Systementwicklung mit hybrider KI und menschlichem Feedback

    Die jüngsten Entwicklungen in der Robotik lassen die Vision von Robotern, die als persönliche Assistenten und Interaktionspartner für den Menschen komplexe Aufgaben übernehmen, näher rücken.

    mehr lesen: DFKI optimiert Systementwicklung mit hybrider KI und menschlichem Feedback

  • Wie steht es um Quantentechnologie aus Deutschland?

    Wie steht es um Quantentechnologie aus Deutschland?

    Deutschland hat bei der Forschung zu Quantentechnologien eine weltweite Vorreiterrolle und kann führend in der Entwicklung und Anwendung von Quantum Computing werden.

    mehr lesen: Wie steht es um Quantentechnologie aus Deutschland?

  • Online-Vorschau zur It-sa Expo&Congress

    Online-Vorschau zur It-sa Expo&Congress

    Am 8. Oktober, zwei Wochen vor der It-sa Expo&Congress (22. bis 24. Oktober), findet der Digital Preview Day statt. Das digitale Event bietet Fachvorträge und Präsentationen von Ausstellern. Der Digital…

    mehr lesen: Online-Vorschau zur It-sa Expo&Congress

  • Eine Forschungsinfrastruktur für digitale Zwillinge

    Eine Forschungsinfrastruktur für digitale Zwillinge

    1,66Mio.€ für die Entwicklung digitaler Zwillinge: Durch die erfolgreiche Beteiligung an einem landesweiten Wettbewerb stehen für das Projekt Explore in den kommenden drei Jahren Fördermittel bereit, um eine standortübergreifende Forschungsinfrastruktur…

    mehr lesen: Eine Forschungsinfrastruktur für digitale Zwillinge

  • Servicequalität der ERP-Anbieter in der Kritik

    Servicequalität der ERP-Anbieter in der Kritik

    Viele Unternehmen steuern mit ERP-Systemen ihre wichtigsten Geschäftsprozesse.

    mehr lesen: Servicequalität der ERP-Anbieter in der Kritik

  • Eclipse Foundation gründet Open Regulatory Compliance Working Group

    Eclipse Foundation gründet Open Regulatory Compliance Working Group

    Die Eclipse Foundation, eine der weltweit größten Open-Source-Foundations, hat die Open Regulatory Compliance Working Group (ORC WG) ins Leben gerufen.

    mehr lesen: Eclipse Foundation gründet Open Regulatory Compliance Working Group

  • Deutschland mit gutem Innovationssystem aber Schwächen in digitaler Infrastruktur

    Deutschland mit gutem Innovationssystem aber Schwächen in digitaler Infrastruktur

    Angesichts des deutschen Abschneidens beim diesjährigen Global Innovation Index hat die Präsidentin des Deutschen Patent- und Markenamts (DPMA), Eva Schewior, zu mehr Dynamik bei der Sicherung der Innovationsfähigkeit in Deutschland…

    mehr lesen: Deutschland mit gutem Innovationssystem aber Schwächen in digitaler Infrastruktur