Defizite bei Governance und Proxy-Systemen

Ein dritter Risikobereich betrifft Lücken in der Governance. Während klassische Softwarekomponenten oft etablierten Prozessen für Versionskontrolle und Release-Zyklen folgen, fehlen solche Strukturen bei vielen KI-Modellen. Zwischen Anwendung und Modell geschaltete Proxys wie das Model Context Protocol übernehmen zentrale Funktionen, können aber selbst ein Angriffsvektor sein. Ohne eine Software Bill of Materials (AI?SBOM) oder gleichwertige Kontrollmechanismen riskieren Unternehmen den Einsatz veralteter oder kompromittierter Proxy-Komponenten. Nach Einschätzung von VicOne macht dies eine strikte Versionskontrolle und die Nutzung signierter Modelle zwingend erforderlich.

Manipulation des Modellverhaltens

Als viertes Risiko beschreibt VicOne die Möglichkeit, das Verhalten von GenAI-Modellen gezielt zu manipulieren. Angriffe wie der sogenannte Imprompter-Ansatz nutzen Schwächen in den Sicherheitsbegrenzungen, um bösartige Anweisungen in harmlos wirkenden Prompts einzubetten. Tests zeigten Erfolgsquoten von bis zu 80 Prozent beim Abgriff vertraulicher Daten. Auf Fahrzeugsysteme übertragen könnten Angriffe dieser Art dazu führen, dass falsche Navigationsanweisungen ausgegeben oder private Sprachinteraktionen unbemerkt aufgezeichnet werden. Auch andere unautorisierte Aktionen in Infotainment-Systemen sind denkbar.

Empfohlene Maßnahmen für Hersteller

VicOne empfiehlt Fahrzeugherstellern, GenAI-Modelle wie klassische Lieferantenkomponenten zu behandeln und sie in die bestehende Sicherheits-Governance einzubinden. Dazu gehört aus Sicht des Unternehmens der Aufbau einer Software Bill of Materials für jedes Modell, das detaillierte Informationen zu Herkunft, Trainingsverlauf, Risikoklassen und bekannten Schwachstellen enthält. Ebenso sollten verpflichtende Sicherheitsaudits, Penetrationstests und Prüfungen auf Manipulation durch externe Red Teams erfolgen. Ergänzend wird empfohlen, die Modelle in ein zentrales Risiko- und Transparenzmanagement einzubinden, um jederzeit einen Überblick über eingesetzte Versionen und Systeme zu behalten.

Seiten: 1 2 3



  • Branchentreff in Hamburg

    Branchentreff in Hamburg

    Die Nortec – Fachmesse für Produktion lädt vom 21. bis zum 24. Januar nach Hamburg ein. Unter dem Motto ‘Zukunft? Läuft!‘ finden Besucher Lösungen und Technologien für eine moderne Produktion.

    mehr lesen: Branchentreff in Hamburg

  • Was im nächsten Jahr auf die Unternehmens-IT zukommt

    Was im nächsten Jahr auf die Unternehmens-IT zukommt

    Der Softwareanbieter Sage hat fünf IT-Trends identifiziert, die 2020 für Unternehmen wichtig werden — darunter die Themen Hybrid Cloud, Predictive Data Analytics und Nachhaltigkeit.

    mehr lesen: Was im nächsten Jahr auf die Unternehmens-IT zukommt

  • VDW nimmt Produktionsprognose für 2019 zurück

    VDW nimmt Produktionsprognose für 2019 zurück

    Im dritten Quartal 2019 sank der Auftragseingang der deutschen Werkzeugmaschinenindustrie im Vergleich zum Vorjahreszeitraum um 25%. Dabei gingen die Bestellungen aus dem Inland um 29% zurück. Die Auslandsbestellungen verloren 23%.…

    mehr lesen: VDW nimmt Produktionsprognose für 2019 zurück

  • Anzeige
    Retarus beschleunigt Datenaustausch in der Produktion

    Retarus beschleunigt Datenaustausch in der Produktion

    Die Digitalisierungs- und Automatisierungslösungen von Retarus ermöglichen effiziente Abläufe ohne manuellen Aufwand oder Kompromisse bei der Datensouveränität

    mehr lesen: Retarus beschleunigt Datenaustausch in der Produktion

  • Planungsoptimierung in Echtzeit

    Planungsoptimierung in Echtzeit

    Im Rahmen des vom Bundesministerium für Bildung und Forschung geförderten Forschungsprojektes ProPlanE haben die Projektpartner den Prototypen einer Analyseplattform entwickelt, mit der sich die Fertigungsplanung auf Basis von Process-Mining-Verfahren in…

    mehr lesen: Planungsoptimierung in Echtzeit

  • Maschinenbauer suchen Virtual-Reality-Designer

    Maschinenbauer suchen Virtual-Reality-Designer

    Maschinen- und Anlagenbauer sind Vorreiter bei der Nutzung von Augmented Reality (AR) und Virtual Reality (VR). Mehr als jedes Dritte Unternehmen (34%) nutzt die Technologien bereits – doppelt so viele…

    mehr lesen: Maschinenbauer suchen Virtual-Reality-Designer

  • Schneider Electric startet erstes Innovationszentrum in der DACH-Region

    Schneider Electric startet erstes Innovationszentrum in der DACH-Region

      Schneider Electric hat seinen ersten Innovation Hub in der DACH-Region eröffnet. Ab sofort steht Kunden, Partnern, Schülern und Studenten auch im Schwarzwald ein Schneider Electric Innovation Hub offen.

    mehr lesen: Schneider Electric startet erstes Innovationszentrum in der DACH-Region

  • Cyberangriff bei Pilz

    Cyberangriff bei Pilz

    Mitte Oktober ist Pilz Ziel eines schweren Cyberangriffs geworden. Weltweit waren Server- und Kommunikationssysteme des Automatisierungsanbieters betroffen.

    mehr lesen: Cyberangriff bei Pilz

  • Bundesregierung zieht Bilanz

    Bundesregierung zieht Bilanz

    Vor einem Jahr hat die Bundesregierung ihre Strategie Künstliche Intelligenz beschlossen. Das Ziel: Die weitere Entwicklung und Anwendung von Künstlicher Intelligenz ganzheitlich politisch zu gestalten. Nun zog man seitens der…

    mehr lesen: Bundesregierung zieht Bilanz

  • Deutsche Wirtschaft wächst leicht

    Deutsche Wirtschaft wächst leicht

    Mit einem leichten Wachstum im dritten Quartal ist die deutsche Wirtschaft knapp einer Rezession entgangen. Wie das Statistische Bundesamt mitteilt, wuchs das Bruttoinlandsprodukt in diesem Zeitraum um 0,1 Prozent.

    mehr lesen: Deutsche Wirtschaft wächst leicht

  • Proalpha übernimmt Tisoware

    Proalpha übernimmt Tisoware

    Der ERP-Anbieter Proalpha übernimmt Tisoware, ein Anbieter für Zeitwirtschaftssoftware. Gemeinsam wollen beide Unternehmen ihre Kunden noch besser bei der Digitalisierung unterstützen.

    mehr lesen: Proalpha übernimmt Tisoware

  • Fertigungsindustrie wächst, aber langsamer

    Fertigungsindustrie wächst, aber langsamer

    Trotz schwieriger Marktbedingungen befindet sich die Fertigungsindustrie weiter im Wachstum. Dies zeigt der Global Growth Index des Softwareanbieters Epicor. Demnach betrug das Wachstum im Vergleich zur Vorjahresbefragung ein Prozent.

    mehr lesen: Fertigungsindustrie wächst, aber langsamer