KI unter menschlicher Kontrolle und Aufsicht

Abbildung 1
Abbildung 1 – Bild: Gramelt, Höfer und Schmid (2024)

Methoden der Erklärbaren KI (XAI) ermöglichen es, nachvollziehbar zu machen, auf welcher Informationsgrundlage ein KI-System zu einer bestimmten Ausgabe gekommen ist. Dadurch kann Vertrauen sinnvoll kalibriert werden. In Kombination mit Methoden des interaktiven maschinellen Lernens können Erklärungen dabei unterstützen, KI-Systeme durch gezielte Rückmeldungen zu verbessern. Interaktive XAI-Systeme liefern damit eine technologische Grundlage für menschliche Kontrolle und Aufsicht von KI-Systemen.

Domänenfachleute und Endnutzende sind Teil des maschinellen Lernprozess. Ihnen werden die Modellvorhersagen und Klassifikationen nachvollziehbar erklärt und sie haben ihrerseits die Möglichkeit, korrigierend in den Lernprozess einzugreifen, etwa auf Modell- oder auf Datensatzebene (Schmid 2024). Auf diese Weise können durch die XAI-Komponente eines KI-Systems fehlerhafte Systemausgaben und Biases aufgedeckt werden. Durch die interaktive Komponente kann das Modell eines KI-Systems oder auch ein nachvollziehbares, regelbasiertes Ersatzmodell (sogenannt Surrogat-Modell), das ein ursprüngliches Black-Box-Modell approximiert, korrigiert und verbessert werden – beispielsweise indem ein Trainingsdatensatz, eine Verlustkurve oder Regelsätze angepasst werden (engl. explain to revise).

Die Potenziale von XAI

Anwendungsnahe Studien zeigen, dass beispielsweise Modelle zur Krebserkennung oder zur Anomalieerkennung in der industriellen Qualitätskontrolle mit interaktiver XAI verbessert werden können (Plattform Lernende System 2023, Gramelt, Höfer & Schmid 2024). Es konnte zudem demonstriert werden, dass durch interaktive XAI die Vorhersage- und Erklärungskraft von KI-Modellen erhöht und damit mehr Vertrauen bzw. begründetes Misstrauen in KI-Systeme aufgebaut werden kann (Teso und Kersting 2019, Gramelt, Höfer & Schmid 2024). Darüber hinaus spielt interaktive XAI unter anderem bei der Kontrolle von Systemen mit höheren Autonomiegraden und bei der Anpassung von KI-Systemen an Domänen und Individuen eine wichtige Rolle.

Nutzende wie Domänenexpertinnen und -experten werden das Verhalten des Modells mit ihrer Intuition oder ihrem Erfahrungswissen abgleichen, sodass Diskrepanzen zwischen dem KI-Modell und den Domänenspezifika erkannt und reduziert werden können (vgl. Bhatt et al. 2020, S.650). Interaktive XAI-Methoden können hier unterstützen, indem sie beispielsweise Domänenexpertinnen und -experten den Abgleich mit dem Erfahrungswissen durch eine Erklärung erleichtern und diese so wiederum präziseres Feedback für die Anpassung des KI-Systems geben können. Ein geeignetes User-Experience-Design kann Nutzende unterstützen, wenn durch Interaktivität im Dialog mit dem KI-System verschiedene Ebenen und Formen der Erläuterung abgerufen werden können (Finzel et al. 2021).

Wo die Herausforderungen liegen

In der praktischen Umsetzung und Anwendung von interaktiver XAI zeigen sich jedoch verschiedene Herausforderungen, die Potenziale für weitere Forschung und Entwicklung liefern. Eine Meta-Studie zeigt etwa, dass aktuell Mensch-KI-Teams in den meisten Fällen eine schlechtere Performanz liefern, als das beste KI-Modell oder der beste Mensch alleine (Vaccaro, Almaatouq, & Malon, 2024). Gründe dafür liegen zum Teil an unzureichender Passung zwischen menschlicher und maschineller Informationsverarbeitung:

  • Eine zielgerichtete Interaktion mit KI-Systemen basiert darauf, dass Menschen verstehen können, warum das System zu einer bestimmten Ausgabe kommt. Die Kommunikation zwischen Menschen findet meist auf der Basis von abstrakten, aber aussagekräftigen Konzepten statt. Wie KI-Systeme dazu befähigt werden können, auf Basis von Konzepten zu kommunizieren, ist Gegenstand der Forschung zu konzept-basierter XAI (Finzel et al., 2025).
  • Wenn Nutzende in der Interaktion korrigierende oder annotierende Informationen an das KI-System weitergeben, kann dies ‚Rauschen‘ durch ungenaues Feedback oder Flüchtigkeitsfehler in den Lernprozess einführen und zu erhöhtem Aufwand und Kosten auf Seiten der Nutzenden führen.
  • Menschliche Urteile sind teilweise durch subjektive Biases gefärbt. Gerade in Grenzbereichen, etwa ob ein Werkstück Ausschuss ist oder nicht, können verschiedene Personen zu unterschiedlichen Einschätzungen kommen. Entsprechend kann interaktives Feedback Inkonsistenzen bei der Modellanpassung erzeugen.
  • Erklärungen sollen prinzipiell eine Grundlage für Vertrauen von Nutzenden in KI-Systeme schaffen. Allerdings können Erklärungen, selbst wenn sie fehlerhaft sind, zu unberechtigtem Übervertrauen oder umgekehrt, wenn sie nicht verständlich sind, zu unberechtigtem Misstrauen gegenüber dem System führen (Schmid, 2024).
Abbildung 2
Abbildung 2 – Bild: Acatech – Dt. Akademie der Technikwissenschaften

Auch bezüglich der XAI-Methodik bestehen aktuell noch offene Fragen. So kann die mangelnde Modelltreue einer Erklärung zu einem Problem in der Interaktion werden – etwa wenn die Erklärung den Nutzenden ungenaue oder falsche Information darüber gibt, welche Information aus einer Eingabe (z.B. einem Bild) ein gelerntes Modell vor allem genutzt hat, um zu seiner Ausgabe zu kommen und dieser ein entsprechendes Feedback an das System gibt. Und während es für die Evaluation von Methoden des maschinellen Lernens standardisierte Metriken und Benchmarks gibt, gibt es aktuell noch keine bewährte Methodik zur Evaluierung von erklärbarer interaktiver XAI.

Ein typischer Anwendungsfall

Ein typischer Anwendungsfall für die Erkennung von Anomalien in der Industrie ist die Qualitätssicherung in der Produktionslinie – im Beispiel geht es um die industrieller Scheiben. Um den Prozess der Erkennung von Defekten zu beschleunigen, ist es hilfreich, Endnutzenden eine Begründung für die Klassifizierungsentscheidung zu geben. Dies kann im Falle von Bildern durch die Hervorhebung der für die Anomalieerkennung verantwortlichen Pixel geschehen (siehe Abbildung 2).

Wie der Ablauf von interaktiver XAI im Sinne von ‚explain to revise‘ aussehen könnte, zeigt sich ebenfalls anhand dieses Beispiels. Zunächst wird nach Abschluss des KI-Trainings das gelernte Klassifizierungsmodell auf neuen Daten eingesetzt. Nutzenden werden Bilder mit hoher Unsicherheit über eine Schnittstelle angezeigt, inklusive der vorhergesagten Klasse (z.B. Defekt/Nicht-Defekt) und einer Erklärung der Vorhersage (Abbildung 2 a und b). Nutzende können dann die Vorhersage und die Erklärung bewerten. Dies ist wichtig, da es hier zu einer richtigen Klassifizierung aus falschen Gründen kommen kann. Dies ist in Abbildung 2 der Fall und gibt Hinweise für mögliche Korrekturen.

Nachdem die Nutzenden die Erklärung und die Vorhersage überprüft und gegebenenfalls korrigiert haben, werden auf Basis der Korrekturen neue Trainingsdaten erzeugt (Abbildung 2 c und b). Danach werden die Bilder mit den Korrekturen dem Trainingsdatensatz hinzugefügt. Unter Verwendung des erweiterten Trainingsdatensatzes kann das Modell neu trainiert oder angepasst werden, und seine Leistung verbessern. Diese Schleife wird so lange wiederholt, bis eine bestimmte Leistung des KI-Systems erreicht wurde. Alternativ zu Erklärungen über Hervorhebungen im Bild können diese in Form von Beispielen gegeben werden, die der aktuellen Eingabe ähnlich sind und die vom Modell zur gleichen (near hit) oder einer anderen (near miss) Klasse zugeordnet werden. Solche beispielbasierten Erklärungen sind hilfreich, um die Entscheidungsgrenzen des gelernten Modells besser nachzuvollziehen (siehe Abbildung 1).

KI unter Aufsicht

AG1 UteSchmid copyright J Schabel 6
Bild: Acatech – Dt. Akademie der Technikwissenschaften

In Zukunft werden Mensch und KI verstärkt zusammenarbeiten. Menschliche Kontrolle und Aufsicht werden damit weiterhin an Bedeutung gewinnen und eine zentrale Anforderung an vertrauenswürdige KI-Systeme darstellen. KI-Systeme, die Prozesse im Sinne eines ‚explain to revise‘ ermöglichen und dabei KI-Modelle inkrementell verbessern, sind ein möglicher Lösungsansatz für diese Anforderung. Künftig werden aber auch neue, interaktive Ansätze zur Mensch-KI-Kommunikation nötig sein, für die neue Formen der bidirektionalen Erklärbarkeit erforscht werden müssen.



  • Ifo Geschäftsklimaindex legt im März zu

    Ifo Geschäftsklimaindex legt im März zu

    Die Stimmung der Unternehmen in Deutschland hat sich im aktuellen Ifo Geschäftsklimaindex aufgehellt. Dieser stieg im März um 1,4 Punkte.

    mehr lesen: Ifo Geschäftsklimaindex legt im März zu

  • Pepperl+Fuchs wird Teil des MVTec-Technologiepartnerprogramms

    Pepperl+Fuchs wird Teil des MVTec-Technologiepartnerprogramms

    MVTec Software und Pepperl+Fuchs stärken ihre technologische Zusammenarbeit im Bereich der industriellen Bildverarbeitung.

    mehr lesen: Pepperl+Fuchs wird Teil des MVTec-Technologiepartnerprogramms

  • Manufacturing-X-Demonstrator von VDMA und T-Systems

    Manufacturing-X-Demonstrator von VDMA und T-Systems

    Der VDMA und T-Systems präsentieren gemeinsam mit der Initiative Umati (universal machine technology interface) auf der diesjährigen Hannover Messe eine erste globale Manufacturing-X-Umsetzung mit offenen Standards für Maschinendaten.

    mehr lesen: Manufacturing-X-Demonstrator von VDMA und T-Systems

  • VDI stellt Führungsspitze neu auf

    VDI stellt Führungsspitze neu auf

    Der VDI stellt seine Führungsspitze in zentralen Bereichen neu auf: Daniel Kölle übernimmt die Leitung des Bereichs Politik und Kommunikation; Thomas Kiefer wird Bereichsleiter Beruf, Bildung und Netzwerke.

    mehr lesen: VDI stellt Führungsspitze neu auf

  • Unsere Podcasts auf der der OWW

    Unsere Podcasts auf der der OWW

    Ab sofort finden sich die Podcast-Formate des TeDo Verlages auch auf der Open Webinar World.

    mehr lesen: Unsere Podcasts auf der der OWW

  • China will 1 Billion Yuan in die Robotik- und Hightech-Industrie investieren

    China will 1 Billion Yuan in die Robotik- und Hightech-Industrie investieren

    Die Staatliche Kommission für Entwicklung und Reform Chinas hat angekündigt, einen öffentlich geförderten Wagniskapitalfonds für Robotik, künstliche Intelligenz und Spitzeninnovationen einzurichten.

    mehr lesen: China will 1 Billion Yuan in die Robotik- und Hightech-Industrie investieren

  • Wenn der Clever-Hans-Effekt zuschlägt

    Wenn der Clever-Hans-Effekt zuschlägt

    KI-Modelle wie GPT, Llama oder Clipdienen dienen oft als Ausgangsbasis für spezialisierte KI-Modelle, die in der Wissenschaft, Industrie und nicht zuletzt in der medizinischen Diagnostik eingesetzt werden.

    mehr lesen: Wenn der Clever-Hans-Effekt zuschlägt

  • AMA-Mitglieder mit verhaltenem Optimismus für 2025

    AMA-Mitglieder mit verhaltenem Optimismus für 2025

    Der AMA Verband für Sensorik und Messtechnik hat seine Mitglieder Anfang des Jahres zur wirtschaftlichen Entwicklung 2024 befragt.

    mehr lesen: AMA-Mitglieder mit verhaltenem Optimismus für 2025

  • BSI als EUCC-Zertifizierungsstelle notifiziert

    BSI als EUCC-Zertifizierungsstelle notifiziert

    Das Bundesamt für Sicherheit in der Informationstechnik (BSI) wurde als alleinige staatliche Zertifizierungsstelle gemäß der Verordnung (EU) 2019/881 (Cybersercurity Act, CSA) bei der Europäischen Kommission (EU-KOM) notifiziert.

    mehr lesen: BSI als EUCC-Zertifizierungsstelle notifiziert

  • Logicalis, Siticom und Orange Networks unter einem Dach

    Logicalis, Siticom und Orange Networks unter einem Dach

    Unter dem Motto ‚One Logicalis‘ firmieren die Logicalis-Tochterunternehmen Siticom und Orange Networks künftig ebenfalls als Logicalis – unter gemeinsamer Führung mit der Logicalis GmbH.

    mehr lesen: Logicalis, Siticom und Orange Networks unter einem Dach

  • Konjunktur-Dämpfer für Intralogistikbranche

    Konjunktur-Dämpfer für Intralogistikbranche

    Im vergangenen Jahr konnten die Hersteller von Fördertechnik und Intralogistik aus Deutschland den konjunkturellen Herausforderungen trotzen.

    mehr lesen: Konjunktur-Dämpfer für Intralogistikbranche

  • Kooperation von Dürr und Grob

    Kooperation von Dürr und Grob

    Dürr und Grob setzen ihre strategische Kooperation im Bereich Produktionstechnologie für Batteriezellen fort. Der dritte Gründungspartner, der Maschinenbauer Manz, ist ausgestiegen.

    mehr lesen: Kooperation von Dürr und Grob