KI unter menschlicher Kontrolle und Aufsicht

Abbildung 1
Abbildung 1 – Bild: Gramelt, Höfer und Schmid (2024)

Methoden der Erklärbaren KI (XAI) ermöglichen es, nachvollziehbar zu machen, auf welcher Informationsgrundlage ein KI-System zu einer bestimmten Ausgabe gekommen ist. Dadurch kann Vertrauen sinnvoll kalibriert werden. In Kombination mit Methoden des interaktiven maschinellen Lernens können Erklärungen dabei unterstützen, KI-Systeme durch gezielte Rückmeldungen zu verbessern. Interaktive XAI-Systeme liefern damit eine technologische Grundlage für menschliche Kontrolle und Aufsicht von KI-Systemen.

Domänenfachleute und Endnutzende sind Teil des maschinellen Lernprozess. Ihnen werden die Modellvorhersagen und Klassifikationen nachvollziehbar erklärt und sie haben ihrerseits die Möglichkeit, korrigierend in den Lernprozess einzugreifen, etwa auf Modell- oder auf Datensatzebene (Schmid 2024). Auf diese Weise können durch die XAI-Komponente eines KI-Systems fehlerhafte Systemausgaben und Biases aufgedeckt werden. Durch die interaktive Komponente kann das Modell eines KI-Systems oder auch ein nachvollziehbares, regelbasiertes Ersatzmodell (sogenannt Surrogat-Modell), das ein ursprüngliches Black-Box-Modell approximiert, korrigiert und verbessert werden – beispielsweise indem ein Trainingsdatensatz, eine Verlustkurve oder Regelsätze angepasst werden (engl. explain to revise).

Die Potenziale von XAI

Anwendungsnahe Studien zeigen, dass beispielsweise Modelle zur Krebserkennung oder zur Anomalieerkennung in der industriellen Qualitätskontrolle mit interaktiver XAI verbessert werden können (Plattform Lernende System 2023, Gramelt, Höfer & Schmid 2024). Es konnte zudem demonstriert werden, dass durch interaktive XAI die Vorhersage- und Erklärungskraft von KI-Modellen erhöht und damit mehr Vertrauen bzw. begründetes Misstrauen in KI-Systeme aufgebaut werden kann (Teso und Kersting 2019, Gramelt, Höfer & Schmid 2024). Darüber hinaus spielt interaktive XAI unter anderem bei der Kontrolle von Systemen mit höheren Autonomiegraden und bei der Anpassung von KI-Systemen an Domänen und Individuen eine wichtige Rolle.

Nutzende wie Domänenexpertinnen und -experten werden das Verhalten des Modells mit ihrer Intuition oder ihrem Erfahrungswissen abgleichen, sodass Diskrepanzen zwischen dem KI-Modell und den Domänenspezifika erkannt und reduziert werden können (vgl. Bhatt et al. 2020, S.650). Interaktive XAI-Methoden können hier unterstützen, indem sie beispielsweise Domänenexpertinnen und -experten den Abgleich mit dem Erfahrungswissen durch eine Erklärung erleichtern und diese so wiederum präziseres Feedback für die Anpassung des KI-Systems geben können. Ein geeignetes User-Experience-Design kann Nutzende unterstützen, wenn durch Interaktivität im Dialog mit dem KI-System verschiedene Ebenen und Formen der Erläuterung abgerufen werden können (Finzel et al. 2021).

Wo die Herausforderungen liegen

In der praktischen Umsetzung und Anwendung von interaktiver XAI zeigen sich jedoch verschiedene Herausforderungen, die Potenziale für weitere Forschung und Entwicklung liefern. Eine Meta-Studie zeigt etwa, dass aktuell Mensch-KI-Teams in den meisten Fällen eine schlechtere Performanz liefern, als das beste KI-Modell oder der beste Mensch alleine (Vaccaro, Almaatouq, & Malon, 2024). Gründe dafür liegen zum Teil an unzureichender Passung zwischen menschlicher und maschineller Informationsverarbeitung:

  • Eine zielgerichtete Interaktion mit KI-Systemen basiert darauf, dass Menschen verstehen können, warum das System zu einer bestimmten Ausgabe kommt. Die Kommunikation zwischen Menschen findet meist auf der Basis von abstrakten, aber aussagekräftigen Konzepten statt. Wie KI-Systeme dazu befähigt werden können, auf Basis von Konzepten zu kommunizieren, ist Gegenstand der Forschung zu konzept-basierter XAI (Finzel et al., 2025).
  • Wenn Nutzende in der Interaktion korrigierende oder annotierende Informationen an das KI-System weitergeben, kann dies ‚Rauschen‘ durch ungenaues Feedback oder Flüchtigkeitsfehler in den Lernprozess einführen und zu erhöhtem Aufwand und Kosten auf Seiten der Nutzenden führen.
  • Menschliche Urteile sind teilweise durch subjektive Biases gefärbt. Gerade in Grenzbereichen, etwa ob ein Werkstück Ausschuss ist oder nicht, können verschiedene Personen zu unterschiedlichen Einschätzungen kommen. Entsprechend kann interaktives Feedback Inkonsistenzen bei der Modellanpassung erzeugen.
  • Erklärungen sollen prinzipiell eine Grundlage für Vertrauen von Nutzenden in KI-Systeme schaffen. Allerdings können Erklärungen, selbst wenn sie fehlerhaft sind, zu unberechtigtem Übervertrauen oder umgekehrt, wenn sie nicht verständlich sind, zu unberechtigtem Misstrauen gegenüber dem System führen (Schmid, 2024).
Abbildung 2
Abbildung 2 – Bild: Acatech – Dt. Akademie der Technikwissenschaften

Auch bezüglich der XAI-Methodik bestehen aktuell noch offene Fragen. So kann die mangelnde Modelltreue einer Erklärung zu einem Problem in der Interaktion werden – etwa wenn die Erklärung den Nutzenden ungenaue oder falsche Information darüber gibt, welche Information aus einer Eingabe (z.B. einem Bild) ein gelerntes Modell vor allem genutzt hat, um zu seiner Ausgabe zu kommen und dieser ein entsprechendes Feedback an das System gibt. Und während es für die Evaluation von Methoden des maschinellen Lernens standardisierte Metriken und Benchmarks gibt, gibt es aktuell noch keine bewährte Methodik zur Evaluierung von erklärbarer interaktiver XAI.

Ein typischer Anwendungsfall

Ein typischer Anwendungsfall für die Erkennung von Anomalien in der Industrie ist die Qualitätssicherung in der Produktionslinie – im Beispiel geht es um die industrieller Scheiben. Um den Prozess der Erkennung von Defekten zu beschleunigen, ist es hilfreich, Endnutzenden eine Begründung für die Klassifizierungsentscheidung zu geben. Dies kann im Falle von Bildern durch die Hervorhebung der für die Anomalieerkennung verantwortlichen Pixel geschehen (siehe Abbildung 2).

Wie der Ablauf von interaktiver XAI im Sinne von ‚explain to revise‘ aussehen könnte, zeigt sich ebenfalls anhand dieses Beispiels. Zunächst wird nach Abschluss des KI-Trainings das gelernte Klassifizierungsmodell auf neuen Daten eingesetzt. Nutzenden werden Bilder mit hoher Unsicherheit über eine Schnittstelle angezeigt, inklusive der vorhergesagten Klasse (z.B. Defekt/Nicht-Defekt) und einer Erklärung der Vorhersage (Abbildung 2 a und b). Nutzende können dann die Vorhersage und die Erklärung bewerten. Dies ist wichtig, da es hier zu einer richtigen Klassifizierung aus falschen Gründen kommen kann. Dies ist in Abbildung 2 der Fall und gibt Hinweise für mögliche Korrekturen.

Nachdem die Nutzenden die Erklärung und die Vorhersage überprüft und gegebenenfalls korrigiert haben, werden auf Basis der Korrekturen neue Trainingsdaten erzeugt (Abbildung 2 c und b). Danach werden die Bilder mit den Korrekturen dem Trainingsdatensatz hinzugefügt. Unter Verwendung des erweiterten Trainingsdatensatzes kann das Modell neu trainiert oder angepasst werden, und seine Leistung verbessern. Diese Schleife wird so lange wiederholt, bis eine bestimmte Leistung des KI-Systems erreicht wurde. Alternativ zu Erklärungen über Hervorhebungen im Bild können diese in Form von Beispielen gegeben werden, die der aktuellen Eingabe ähnlich sind und die vom Modell zur gleichen (near hit) oder einer anderen (near miss) Klasse zugeordnet werden. Solche beispielbasierten Erklärungen sind hilfreich, um die Entscheidungsgrenzen des gelernten Modells besser nachzuvollziehen (siehe Abbildung 1).

KI unter Aufsicht

AG1 UteSchmid copyright J Schabel 6
Bild: Acatech – Dt. Akademie der Technikwissenschaften

In Zukunft werden Mensch und KI verstärkt zusammenarbeiten. Menschliche Kontrolle und Aufsicht werden damit weiterhin an Bedeutung gewinnen und eine zentrale Anforderung an vertrauenswürdige KI-Systeme darstellen. KI-Systeme, die Prozesse im Sinne eines ‚explain to revise‘ ermöglichen und dabei KI-Modelle inkrementell verbessern, sind ein möglicher Lösungsansatz für diese Anforderung. Künftig werden aber auch neue, interaktive Ansätze zur Mensch-KI-Kommunikation nötig sein, für die neue Formen der bidirektionalen Erklärbarkeit erforscht werden müssen.



  • Social Engineering ist oft der Türöffner

    Social Engineering ist oft der Türöffner

    Die aktuelle Social-Engineering-Edition des 2025 Global Incident Response Report von Unit 42 (Palo Alto Networks) zeigt, dass Social Engineering 2025 das häufigste Einfallstor für Cyberangriffe ist.

    mehr lesen: Social Engineering ist oft der Türöffner

  • „Häufig fehlt es noch an klaren Business Cases“

    „Häufig fehlt es noch an klaren Business Cases“

    Boris Otto, Mitglied im Forschungsbeirat Industrie 4.0, Institutsleiter am Fraunhofer-Institut ISST und Professor für Industrielles Informationsmanagement an der Technischen Universität Dortmund, erklärt in einem Interview, wie souveräne Datenräume definiert werden,…

    mehr lesen: „Häufig fehlt es noch an klaren Business Cases“

  • Maschinenbau-Gipfel in Berlin

    Maschinenbau-Gipfel in Berlin

    Am 16. und 17. September findet in Berlin der 15. Deutsche Maschinenbau-Gipfel statt. Zwei Tage voller Inspiration, Innovation und Networking mit dem Who-is-Who des Maschinen- und Anlagenbaus.

    mehr lesen: Maschinenbau-Gipfel in Berlin

  • Critical Manufacturing kauft Convanit

    Critical Manufacturing kauft Convanit

    Critical Manufacturing, ein MES-Anbieter, hat die Übernahme des KI-Spezialisten Convanit bekannt gegeben.

    mehr lesen: Critical Manufacturing kauft Convanit

  • Myfactory übernimmt Griesser EDV

    Myfactory übernimmt Griesser EDV

    Myfactory, Teil des Software-Herstellers Forterro, gibt die Übernahme des langjährigen Partners Griesser EDV mit Sitz in Klagenfurt, Österreich, bekannt.

    mehr lesen: Myfactory übernimmt Griesser EDV

  • SAP will SmartRecruiters übernehmen

    SAP will SmartRecruiters übernehmen

    SAP plant die Übernahme von SmartRecruiters. Wie die Unternehmen nun bekannt gaben, hat der Walldorfer Softwarekonzern eine Vereinbarung zur Übernahme des Spezialisten für Recruiting-Software unterzeichnet.

    mehr lesen: SAP will SmartRecruiters übernehmen

  • EK Robotics stellt Antrag auf vorläufige Eigenverwaltung

    EK Robotics stellt Antrag auf vorläufige Eigenverwaltung

    EK Robotics hat beim zuständigen Amtsgericht Hamburg einen Antrag auf Einleitung eines vorläufigen Insolvenzverfahrens in Eigenverwaltung gestellt.

    mehr lesen: EK Robotics stellt Antrag auf vorläufige Eigenverwaltung

  • Zukunftskongress Logistik – 43. Dortmunder Gespräche

    Zukunftskongress Logistik – 43. Dortmunder Gespräche

    Das Fraunhofer-Institut für Materialfluss und Logistik IML lädt am 9. und 10. September 2025 zum ‚Zukunftskongress Logistik‘.

    mehr lesen: Zukunftskongress Logistik – 43. Dortmunder Gespräche

  • Aucotec feiert 40-jähriges Bestehen

    Aucotec feiert 40-jähriges Bestehen

    Die Aucotec AG feiert ihr 40-jähriges Bestehen. Das Unternehmen mit Sitz in Isernhagen bei Hannover begann mit seinen ersten Produkten Elcad und Ruplan in den 1980er-Jahren und entwickelte später Anwendungen…

    mehr lesen: Aucotec feiert 40-jähriges Bestehen

  • VDMA: Auftragsplus im ersten Halbjahr

    VDMA: Auftragsplus im ersten Halbjahr

    Die Unternehmen im Maschinen- und Anlagenbau verzeichnen ein durchwachsenes erstes Halbjahr.

    mehr lesen: VDMA: Auftragsplus im ersten Halbjahr

  • Vinci Energies übernimmt SP Consulting

    Vinci Energies übernimmt SP Consulting

    Vinci Energies hat am 28. Juli 2025 die SP Consulting GmbH, einen Anbieter von MES/MOM-Software mit Sitz in Ludwigshafen am Rhein, übernommen.

    mehr lesen: Vinci Energies übernimmt SP Consulting

  • Was Mercedes-Benz gegen Produktfälscher tut

    Was Mercedes-Benz gegen Produktfälscher tut

    In Zusammenarbeit mit Zoll-, Gewerbeaufsichts- und Strafverfolgungsbehörden geht Mercedes-Benz weltweit gegen Fälschungen vor.

    mehr lesen: Was Mercedes-Benz gegen Produktfälscher tut