Defizite bei Governance und Proxy-Systemen
Ein dritter Risikobereich betrifft Lücken in der Governance. Während klassische Softwarekomponenten oft etablierten Prozessen für Versionskontrolle und Release-Zyklen folgen, fehlen solche Strukturen bei vielen KI-Modellen. Zwischen Anwendung und Modell geschaltete Proxys wie das Model Context Protocol übernehmen zentrale Funktionen, können aber selbst ein Angriffsvektor sein. Ohne eine Software Bill of Materials (AI?SBOM) oder gleichwertige Kontrollmechanismen riskieren Unternehmen den Einsatz veralteter oder kompromittierter Proxy-Komponenten. Nach Einschätzung von VicOne macht dies eine strikte Versionskontrolle und die Nutzung signierter Modelle zwingend erforderlich.
Manipulation des Modellverhaltens
Als viertes Risiko beschreibt VicOne die Möglichkeit, das Verhalten von GenAI-Modellen gezielt zu manipulieren. Angriffe wie der sogenannte Imprompter-Ansatz nutzen Schwächen in den Sicherheitsbegrenzungen, um bösartige Anweisungen in harmlos wirkenden Prompts einzubetten. Tests zeigten Erfolgsquoten von bis zu 80 Prozent beim Abgriff vertraulicher Daten. Auf Fahrzeugsysteme übertragen könnten Angriffe dieser Art dazu führen, dass falsche Navigationsanweisungen ausgegeben oder private Sprachinteraktionen unbemerkt aufgezeichnet werden. Auch andere unautorisierte Aktionen in Infotainment-Systemen sind denkbar.
Empfohlene Maßnahmen für Hersteller
VicOne empfiehlt Fahrzeugherstellern, GenAI-Modelle wie klassische Lieferantenkomponenten zu behandeln und sie in die bestehende Sicherheits-Governance einzubinden. Dazu gehört aus Sicht des Unternehmens der Aufbau einer Software Bill of Materials für jedes Modell, das detaillierte Informationen zu Herkunft, Trainingsverlauf, Risikoklassen und bekannten Schwachstellen enthält. Ebenso sollten verpflichtende Sicherheitsaudits, Penetrationstests und Prüfungen auf Manipulation durch externe Red Teams erfolgen. Ergänzend wird empfohlen, die Modelle in ein zentrales Risiko- und Transparenzmanagement einzubinden, um jederzeit einen Überblick über eingesetzte Versionen und Systeme zu behalten.
