Defizite bei Governance und Proxy-Systemen

Ein dritter Risikobereich betrifft Lücken in der Governance. Während klassische Softwarekomponenten oft etablierten Prozessen für Versionskontrolle und Release-Zyklen folgen, fehlen solche Strukturen bei vielen KI-Modellen. Zwischen Anwendung und Modell geschaltete Proxys wie das Model Context Protocol übernehmen zentrale Funktionen, können aber selbst ein Angriffsvektor sein. Ohne eine Software Bill of Materials (AI?SBOM) oder gleichwertige Kontrollmechanismen riskieren Unternehmen den Einsatz veralteter oder kompromittierter Proxy-Komponenten. Nach Einschätzung von VicOne macht dies eine strikte Versionskontrolle und die Nutzung signierter Modelle zwingend erforderlich.

Manipulation des Modellverhaltens

Als viertes Risiko beschreibt VicOne die Möglichkeit, das Verhalten von GenAI-Modellen gezielt zu manipulieren. Angriffe wie der sogenannte Imprompter-Ansatz nutzen Schwächen in den Sicherheitsbegrenzungen, um bösartige Anweisungen in harmlos wirkenden Prompts einzubetten. Tests zeigten Erfolgsquoten von bis zu 80 Prozent beim Abgriff vertraulicher Daten. Auf Fahrzeugsysteme übertragen könnten Angriffe dieser Art dazu führen, dass falsche Navigationsanweisungen ausgegeben oder private Sprachinteraktionen unbemerkt aufgezeichnet werden. Auch andere unautorisierte Aktionen in Infotainment-Systemen sind denkbar.

Empfohlene Maßnahmen für Hersteller

VicOne empfiehlt Fahrzeugherstellern, GenAI-Modelle wie klassische Lieferantenkomponenten zu behandeln und sie in die bestehende Sicherheits-Governance einzubinden. Dazu gehört aus Sicht des Unternehmens der Aufbau einer Software Bill of Materials für jedes Modell, das detaillierte Informationen zu Herkunft, Trainingsverlauf, Risikoklassen und bekannten Schwachstellen enthält. Ebenso sollten verpflichtende Sicherheitsaudits, Penetrationstests und Prüfungen auf Manipulation durch externe Red Teams erfolgen. Ergänzend wird empfohlen, die Modelle in ein zentrales Risiko- und Transparenzmanagement einzubinden, um jederzeit einen Überblick über eingesetzte Versionen und Systeme zu behalten.

Seiten: 1 2 3



  • Neue Geschäftsführung beim ZVEI

    Neue Geschäftsführung beim ZVEI

    Dr. Wolfgang Weber (Bild), Vice President Unternehmenskommunikation und Regierungsbeziehungen für die Region Europa, Naher Osten und Afrika bei BASF, wechselt als Vorsitzender der Geschäftsführung zum ZVEI.

    mehr lesen: Neue Geschäftsführung beim ZVEI

  • Lichtblick für den deutschen Maschinenbau

    Lichtblick für den deutschen Maschinenbau

    Ein starker Anstieg der Aufträge aus den Euro-Partnerländern um 11% hat das Bild im September für den deutschen Maschinenbau etwas aufgehellt. Insgesamt verbuchten die Unternehmen im September einen Bestellrückgang um…

    mehr lesen: Lichtblick für den deutschen Maschinenbau

  • Deutscher Maschinenbau im Stimmungstief

    Deutscher Maschinenbau im Stimmungstief

    Rezessionsgefahr und eine abgeschwächte Auslandsnachfrage trüben die Stimmung im deutschen Maschinenbau. Dies geht aus dem vierteljährlichen Maschinenbaubarometer von PWC für das dritte Quartal 2019 hervor. Demnach blicken 48 Prozent der…

    mehr lesen: Deutscher Maschinenbau im Stimmungstief

  • Anzeige
    Retarus beschleunigt Datenaustausch in der Produktion

    Retarus beschleunigt Datenaustausch in der Produktion

    Die Digitalisierungs- und Automatisierungslösungen von Retarus ermöglichen effiziente Abläufe ohne manuellen Aufwand oder Kompromisse bei der Datensouveränität

    mehr lesen: Retarus beschleunigt Datenaustausch in der Produktion

  • IT-Umgebungen mit KI managen

    IT-Umgebungen mit KI managen

    Der Anstieg an vernetzten Geräten und Services könnte zukünftig dazu führen, dass IT-Umgebungen nicht mehr allein von Menschenhand gesteuert werden. Dies ist das Ergebnis des ‘2020 Global Networking Technology Report‘…

    mehr lesen: IT-Umgebungen mit KI managen

  • Cosmo Consult erweitert Führungsteam

    Cosmo Consult erweitert Führungsteam

    Um den Weg für weiteres Wachstum zu ebnen, hat das Software- und Beratungsunternehmen Cosmo Consult seine Führungsmannschaft um drei neue Positionen erweitert.

    mehr lesen: Cosmo Consult erweitert Führungsteam

  • Im Wettbewerb Schwachstellen aufspüren

    Im Wettbewerb Schwachstellen aufspüren

    Der IT-Security-Spezialist Trend Micro erweitert seinen Wettbewerb ‘Pwn2Own Miami‘ auf industrielle Steuerungssysteme (ICS). Die Aufgabe besteht darin, Schwachstellen in der Software und den Protokollen von weit verbreiteten Systemen zu finden.…

    mehr lesen: Im Wettbewerb Schwachstellen aufspüren

  • Industrie 4.0 ohne Stolpersteine

    Industrie 4.0 ohne Stolpersteine

    In dem auf drei Jahre ausgelegten Forschungsprojekt Sorisma wollen die Projektpartner Methoden erarbeiten, die Unternehmen dabei helfen soll, Fallstricke bei der Einführung von Industrie 4.0-Technologien zu vermeiden.

    mehr lesen: Industrie 4.0 ohne Stolpersteine

  • T.CON ernennt Thomas Blöchl zum COO

    T.CON ernennt Thomas Blöchl zum COO

    Mit Thomas Blöchl als neuem COO hat die T.CON ein viertes Mitglied in die Geschäftsführung berufen.

    mehr lesen: T.CON ernennt Thomas Blöchl zum COO

  • Unternehmen planen weniger Neueinstellungen

    Unternehmen planen weniger Neueinstellungen

    Die Beschäftigungsaussichten für die nächsten drei Monate sind laut Ifo-Beschäftigungsbarometer weiter positiv, jedoch zeigt der Index einen weniger starken Beschäftigungsanstieg als in den vergangenen Jahren.

    mehr lesen: Unternehmen planen weniger Neueinstellungen

  • Automation trifft Software

    Automation trifft Software

    Vom 26. bis zum 28. November 2019 wird das Nürnberger Messegelände zum Branchentreff der Automatisierungstechnik. Dabei weist die SPS – Smart Production Solutions in diesem Jahr erstmals bereits im Namen…

    mehr lesen: Automation trifft Software

  • T-Systems und Siemens arbeiten an gemeinsamen IIoT-Lösungen

    T-Systems und Siemens arbeiten an gemeinsamen IIoT-Lösungen

    Im Rahmen der Digital X in Köln haben Siemens und T-Systems angekündigt, künftig gemeinsame Lösungen für das industrielle Internet der Dinge anzubieten.

    mehr lesen: T-Systems und Siemens arbeiten an gemeinsamen IIoT-Lösungen