KI unter menschlicher Kontrolle und Aufsicht

Abbildung 1
Abbildung 1 – Bild: Gramelt, Höfer und Schmid (2024)

Methoden der Erklärbaren KI (XAI) ermöglichen es, nachvollziehbar zu machen, auf welcher Informationsgrundlage ein KI-System zu einer bestimmten Ausgabe gekommen ist. Dadurch kann Vertrauen sinnvoll kalibriert werden. In Kombination mit Methoden des interaktiven maschinellen Lernens können Erklärungen dabei unterstützen, KI-Systeme durch gezielte Rückmeldungen zu verbessern. Interaktive XAI-Systeme liefern damit eine technologische Grundlage für menschliche Kontrolle und Aufsicht von KI-Systemen.

Domänenfachleute und Endnutzende sind Teil des maschinellen Lernprozess. Ihnen werden die Modellvorhersagen und Klassifikationen nachvollziehbar erklärt und sie haben ihrerseits die Möglichkeit, korrigierend in den Lernprozess einzugreifen, etwa auf Modell- oder auf Datensatzebene (Schmid 2024). Auf diese Weise können durch die XAI-Komponente eines KI-Systems fehlerhafte Systemausgaben und Biases aufgedeckt werden. Durch die interaktive Komponente kann das Modell eines KI-Systems oder auch ein nachvollziehbares, regelbasiertes Ersatzmodell (sogenannt Surrogat-Modell), das ein ursprüngliches Black-Box-Modell approximiert, korrigiert und verbessert werden – beispielsweise indem ein Trainingsdatensatz, eine Verlustkurve oder Regelsätze angepasst werden (engl. explain to revise).

Die Potenziale von XAI

Anwendungsnahe Studien zeigen, dass beispielsweise Modelle zur Krebserkennung oder zur Anomalieerkennung in der industriellen Qualitätskontrolle mit interaktiver XAI verbessert werden können (Plattform Lernende System 2023, Gramelt, Höfer & Schmid 2024). Es konnte zudem demonstriert werden, dass durch interaktive XAI die Vorhersage- und Erklärungskraft von KI-Modellen erhöht und damit mehr Vertrauen bzw. begründetes Misstrauen in KI-Systeme aufgebaut werden kann (Teso und Kersting 2019, Gramelt, Höfer & Schmid 2024). Darüber hinaus spielt interaktive XAI unter anderem bei der Kontrolle von Systemen mit höheren Autonomiegraden und bei der Anpassung von KI-Systemen an Domänen und Individuen eine wichtige Rolle.

Nutzende wie Domänenexpertinnen und -experten werden das Verhalten des Modells mit ihrer Intuition oder ihrem Erfahrungswissen abgleichen, sodass Diskrepanzen zwischen dem KI-Modell und den Domänenspezifika erkannt und reduziert werden können (vgl. Bhatt et al. 2020, S.650). Interaktive XAI-Methoden können hier unterstützen, indem sie beispielsweise Domänenexpertinnen und -experten den Abgleich mit dem Erfahrungswissen durch eine Erklärung erleichtern und diese so wiederum präziseres Feedback für die Anpassung des KI-Systems geben können. Ein geeignetes User-Experience-Design kann Nutzende unterstützen, wenn durch Interaktivität im Dialog mit dem KI-System verschiedene Ebenen und Formen der Erläuterung abgerufen werden können (Finzel et al. 2021).

Wo die Herausforderungen liegen

In der praktischen Umsetzung und Anwendung von interaktiver XAI zeigen sich jedoch verschiedene Herausforderungen, die Potenziale für weitere Forschung und Entwicklung liefern. Eine Meta-Studie zeigt etwa, dass aktuell Mensch-KI-Teams in den meisten Fällen eine schlechtere Performanz liefern, als das beste KI-Modell oder der beste Mensch alleine (Vaccaro, Almaatouq, & Malon, 2024). Gründe dafür liegen zum Teil an unzureichender Passung zwischen menschlicher und maschineller Informationsverarbeitung:

  • Eine zielgerichtete Interaktion mit KI-Systemen basiert darauf, dass Menschen verstehen können, warum das System zu einer bestimmten Ausgabe kommt. Die Kommunikation zwischen Menschen findet meist auf der Basis von abstrakten, aber aussagekräftigen Konzepten statt. Wie KI-Systeme dazu befähigt werden können, auf Basis von Konzepten zu kommunizieren, ist Gegenstand der Forschung zu konzept-basierter XAI (Finzel et al., 2025).
  • Wenn Nutzende in der Interaktion korrigierende oder annotierende Informationen an das KI-System weitergeben, kann dies ‚Rauschen‘ durch ungenaues Feedback oder Flüchtigkeitsfehler in den Lernprozess einführen und zu erhöhtem Aufwand und Kosten auf Seiten der Nutzenden führen.
  • Menschliche Urteile sind teilweise durch subjektive Biases gefärbt. Gerade in Grenzbereichen, etwa ob ein Werkstück Ausschuss ist oder nicht, können verschiedene Personen zu unterschiedlichen Einschätzungen kommen. Entsprechend kann interaktives Feedback Inkonsistenzen bei der Modellanpassung erzeugen.
  • Erklärungen sollen prinzipiell eine Grundlage für Vertrauen von Nutzenden in KI-Systeme schaffen. Allerdings können Erklärungen, selbst wenn sie fehlerhaft sind, zu unberechtigtem Übervertrauen oder umgekehrt, wenn sie nicht verständlich sind, zu unberechtigtem Misstrauen gegenüber dem System führen (Schmid, 2024).
Abbildung 2
Abbildung 2 – Bild: Acatech – Dt. Akademie der Technikwissenschaften

Auch bezüglich der XAI-Methodik bestehen aktuell noch offene Fragen. So kann die mangelnde Modelltreue einer Erklärung zu einem Problem in der Interaktion werden – etwa wenn die Erklärung den Nutzenden ungenaue oder falsche Information darüber gibt, welche Information aus einer Eingabe (z.B. einem Bild) ein gelerntes Modell vor allem genutzt hat, um zu seiner Ausgabe zu kommen und dieser ein entsprechendes Feedback an das System gibt. Und während es für die Evaluation von Methoden des maschinellen Lernens standardisierte Metriken und Benchmarks gibt, gibt es aktuell noch keine bewährte Methodik zur Evaluierung von erklärbarer interaktiver XAI.

Ein typischer Anwendungsfall

Ein typischer Anwendungsfall für die Erkennung von Anomalien in der Industrie ist die Qualitätssicherung in der Produktionslinie – im Beispiel geht es um die industrieller Scheiben. Um den Prozess der Erkennung von Defekten zu beschleunigen, ist es hilfreich, Endnutzenden eine Begründung für die Klassifizierungsentscheidung zu geben. Dies kann im Falle von Bildern durch die Hervorhebung der für die Anomalieerkennung verantwortlichen Pixel geschehen (siehe Abbildung 2).

Wie der Ablauf von interaktiver XAI im Sinne von ‚explain to revise‘ aussehen könnte, zeigt sich ebenfalls anhand dieses Beispiels. Zunächst wird nach Abschluss des KI-Trainings das gelernte Klassifizierungsmodell auf neuen Daten eingesetzt. Nutzenden werden Bilder mit hoher Unsicherheit über eine Schnittstelle angezeigt, inklusive der vorhergesagten Klasse (z.B. Defekt/Nicht-Defekt) und einer Erklärung der Vorhersage (Abbildung 2 a und b). Nutzende können dann die Vorhersage und die Erklärung bewerten. Dies ist wichtig, da es hier zu einer richtigen Klassifizierung aus falschen Gründen kommen kann. Dies ist in Abbildung 2 der Fall und gibt Hinweise für mögliche Korrekturen.

Nachdem die Nutzenden die Erklärung und die Vorhersage überprüft und gegebenenfalls korrigiert haben, werden auf Basis der Korrekturen neue Trainingsdaten erzeugt (Abbildung 2 c und b). Danach werden die Bilder mit den Korrekturen dem Trainingsdatensatz hinzugefügt. Unter Verwendung des erweiterten Trainingsdatensatzes kann das Modell neu trainiert oder angepasst werden, und seine Leistung verbessern. Diese Schleife wird so lange wiederholt, bis eine bestimmte Leistung des KI-Systems erreicht wurde. Alternativ zu Erklärungen über Hervorhebungen im Bild können diese in Form von Beispielen gegeben werden, die der aktuellen Eingabe ähnlich sind und die vom Modell zur gleichen (near hit) oder einer anderen (near miss) Klasse zugeordnet werden. Solche beispielbasierten Erklärungen sind hilfreich, um die Entscheidungsgrenzen des gelernten Modells besser nachzuvollziehen (siehe Abbildung 1).

KI unter Aufsicht

AG1 UteSchmid copyright J Schabel 6
Bild: Acatech – Dt. Akademie der Technikwissenschaften

In Zukunft werden Mensch und KI verstärkt zusammenarbeiten. Menschliche Kontrolle und Aufsicht werden damit weiterhin an Bedeutung gewinnen und eine zentrale Anforderung an vertrauenswürdige KI-Systeme darstellen. KI-Systeme, die Prozesse im Sinne eines ‚explain to revise‘ ermöglichen und dabei KI-Modelle inkrementell verbessern, sind ein möglicher Lösungsansatz für diese Anforderung. Künftig werden aber auch neue, interaktive Ansätze zur Mensch-KI-Kommunikation nötig sein, für die neue Formen der bidirektionalen Erklärbarkeit erforscht werden müssen.



  • Forescout ernennt Regional Director für Zentraleuropa

    Forescout ernennt Regional Director für Zentraleuropa

    Forescout Technologies, ein Spezialist für Cybersicherheit, hat die Ernennung von Dirk Decker (Bild) zum Regional Director für Zentraleuropa bekanntgegeben.

    mehr lesen: Forescout ernennt Regional Director für Zentraleuropa

  • Immer weniger Arbeitsplätze hängen vom China-Geschäft ab

    Immer weniger Arbeitsplätze hängen vom China-Geschäft ab

    Die Anzahl der Arbeitsplätze in Deutschland, die vom Export nach China abhängen, ist seit 2021 um rund 40% gesunken, wie eine neue Analyse des Instituts der deutschen Wirtschaft (IW) zeigt.

    mehr lesen: Immer weniger Arbeitsplätze hängen vom China-Geschäft ab

  • Mehr IT-Dienstleister erleben Vorwürfe wegen Schlechtleistung

    Mehr IT-Dienstleister erleben Vorwürfe wegen Schlechtleistung

    Gegen zwei Drittel der IT-Dienstleister wurden im vergangenen Jahr seitens ihrer Auftraggeber Vorwürfe wegen angeblicher Schlechtleistung erhoben.

    mehr lesen: Mehr IT-Dienstleister erleben Vorwürfe wegen Schlechtleistung

  • Enbik und Edgecon gründen Service-Büro

    Enbik und Edgecon gründen Service-Büro

    Enbik, ein in Taiwan beheimateter Hersteller für Industrial Edge Computing und IT-Hardware, und Edgecon gründen in Deggendorf ein Logistik- und Service-Büro für den deutschsprachigen Raum.

    mehr lesen: Enbik und Edgecon gründen Service-Büro

  • Wenn KI-Modelle zum Angriffsziel werden

    Wenn KI-Modelle zum Angriffsziel werden

    Zur Münchner Sicherheitskonferenz (13. bis 15. Februar) hat die Google Threat Intelligence Group (GTIG) einen Bericht veröffentlicht, mit dem die Verfasser die Debatte um KI-gestützte Bedrohungen auf eine operative Ebene…

    mehr lesen: Wenn KI-Modelle zum Angriffsziel werden

  • Ein Tag ohne Internet und alles steht still

    Ein Tag ohne Internet und alles steht still

    Laut einer Untersuchung des Bitkom ist die deutsche Wirtschaft schlecht auf hybride Bedrohungen wie Stromausfälle, Sabotage oder durch Ransomware lahmgelegte Fabriken vorbereitet.

    mehr lesen: Ein Tag ohne Internet und alles steht still

  • Heitec übernimmt Artschwager + Kohl

    Heitec übernimmt Artschwager + Kohl

    Artschwager + Kohl Software ist seit Januar 2026 Teil der Heitec-Gruppe.

    mehr lesen: Heitec übernimmt Artschwager + Kohl

  • Lantek expandiert nach Kanada

    Lantek expandiert nach Kanada

    Lantek, Anbieter von Software für die metallverarbeitende Industrie, gibt die Eröffnung einer Niederlassung in Kanada als Teil seiner Wachstumsstrategie in Nordamerika bekannt.

    mehr lesen: Lantek expandiert nach Kanada

  • All for One Group beteiligt sich an BrightFlare

    All for One Group beteiligt sich an BrightFlare

    Die All for One Group, ein IT-, Consulting- und Service-Provider aus Filderstadt, beteiligt sich an dem österreichischen Cybersecurity-Spezialisten BrightFlare.

    mehr lesen: All for One Group beteiligt sich an BrightFlare

  • Humation nimmt humanzentrierte Automation in den Fokus

    Humation nimmt humanzentrierte Automation in den Fokus

    Wie lassen sich Menschen und Maschinen so zusammenbringen, dass beide voneinander profitieren?

    mehr lesen: Humation nimmt humanzentrierte Automation in den Fokus

  • Webinar: Smart Maintenance mit KI

    Webinar: Smart Maintenance mit KI

    Am 20. Mai 2026 um 14.00 Uhr steht im IT&Production -TechTalk das Thema Smart Maintenance mit KI im Mittelpunkt.

    mehr lesen: Webinar: Smart Maintenance mit KI

  • Rethink! IAM beleuchtet Cybersicherheit

    Rethink! IAM beleuchtet Cybersicherheit

    In einer komplexen Welt, in der alle überall und jederzeit verbunden sind, gilt intelligentes und transparentes Identity & Access Management (IAM) als ein wirksames Mittel zum Schutz der Unternehmens- und…

    mehr lesen: Rethink! IAM beleuchtet Cybersicherheit