Methoden der Erklärbaren KI (XAI) ermöglichen es, nachvollziehbar zu machen, auf welcher Informationsgrundlage ein KI-System zu einer bestimmten Ausgabe gekommen ist. Dadurch kann Vertrauen sinnvoll kalibriert werden. In Kombination mit Methoden des interaktiven maschinellen Lernens können Erklärungen dabei unterstützen, KI-Systeme durch gezielte Rückmeldungen zu verbessern. Interaktive XAI-Systeme liefern damit eine technologische Grundlage für menschliche Kontrolle und Aufsicht von KI-Systemen.
Domänenfachleute und Endnutzende sind Teil des maschinellen Lernprozess. Ihnen werden die Modellvorhersagen und Klassifikationen nachvollziehbar erklärt und sie haben ihrerseits die Möglichkeit, korrigierend in den Lernprozess einzugreifen, etwa auf Modell- oder auf Datensatzebene (Schmid 2024). Auf diese Weise können durch die XAI-Komponente eines KI-Systems fehlerhafte Systemausgaben und Biases aufgedeckt werden. Durch die interaktive Komponente kann das Modell eines KI-Systems oder auch ein nachvollziehbares, regelbasiertes Ersatzmodell (sogenannt Surrogat-Modell), das ein ursprüngliches Black-Box-Modell approximiert, korrigiert und verbessert werden – beispielsweise indem ein Trainingsdatensatz, eine Verlustkurve oder Regelsätze angepasst werden (engl. explain to revise).
Die Potenziale von XAI
Anwendungsnahe Studien zeigen, dass beispielsweise Modelle zur Krebserkennung oder zur Anomalieerkennung in der industriellen Qualitätskontrolle mit interaktiver XAI verbessert werden können (Plattform Lernende System 2023, Gramelt, Höfer & Schmid 2024). Es konnte zudem demonstriert werden, dass durch interaktive XAI die Vorhersage- und Erklärungskraft von KI-Modellen erhöht und damit mehr Vertrauen bzw. begründetes Misstrauen in KI-Systeme aufgebaut werden kann (Teso und Kersting 2019, Gramelt, Höfer & Schmid 2024). Darüber hinaus spielt interaktive XAI unter anderem bei der Kontrolle von Systemen mit höheren Autonomiegraden und bei der Anpassung von KI-Systemen an Domänen und Individuen eine wichtige Rolle.
Nutzende wie Domänenexpertinnen und -experten werden das Verhalten des Modells mit ihrer Intuition oder ihrem Erfahrungswissen abgleichen, sodass Diskrepanzen zwischen dem KI-Modell und den Domänenspezifika erkannt und reduziert werden können (vgl. Bhatt et al. 2020, S.650). Interaktive XAI-Methoden können hier unterstützen, indem sie beispielsweise Domänenexpertinnen und -experten den Abgleich mit dem Erfahrungswissen durch eine Erklärung erleichtern und diese so wiederum präziseres Feedback für die Anpassung des KI-Systems geben können. Ein geeignetes User-Experience-Design kann Nutzende unterstützen, wenn durch Interaktivität im Dialog mit dem KI-System verschiedene Ebenen und Formen der Erläuterung abgerufen werden können (Finzel et al. 2021). Die Digitalisierungs- und Automatisierungslösungen von Retarus ermöglichen effiziente Abläufe ohne manuellen Aufwand oder Kompromisse bei der Datensouveränität ‣ weiterlesen
Business Process Solutions
Retarus beschleunigt Datenaustausch in der Produktion
Wo die Herausforderungen liegen
In der praktischen Umsetzung und Anwendung von interaktiver XAI zeigen sich jedoch verschiedene Herausforderungen, die Potenziale für weitere Forschung und Entwicklung liefern. Eine Meta-Studie zeigt etwa, dass aktuell Mensch-KI-Teams in den meisten Fällen eine schlechtere Performanz liefern, als das beste KI-Modell oder der beste Mensch alleine (Vaccaro, Almaatouq, & Malon, 2024). Gründe dafür liegen zum Teil an unzureichender Passung zwischen menschlicher und maschineller Informationsverarbeitung:
- Eine zielgerichtete Interaktion mit KI-Systemen basiert darauf, dass Menschen verstehen können, warum das System zu einer bestimmten Ausgabe kommt. Die Kommunikation zwischen Menschen findet meist auf der Basis von abstrakten, aber aussagekräftigen Konzepten statt. Wie KI-Systeme dazu befähigt werden können, auf Basis von Konzepten zu kommunizieren, ist Gegenstand der Forschung zu konzept-basierter XAI (Finzel et al., 2025).
- Wenn Nutzende in der Interaktion korrigierende oder annotierende Informationen an das KI-System weitergeben, kann dies ‚Rauschen‘ durch ungenaues Feedback oder Flüchtigkeitsfehler in den Lernprozess einführen und zu erhöhtem Aufwand und Kosten auf Seiten der Nutzenden führen.
- Menschliche Urteile sind teilweise durch subjektive Biases gefärbt. Gerade in Grenzbereichen, etwa ob ein Werkstück Ausschuss ist oder nicht, können verschiedene Personen zu unterschiedlichen Einschätzungen kommen. Entsprechend kann interaktives Feedback Inkonsistenzen bei der Modellanpassung erzeugen.
- Erklärungen sollen prinzipiell eine Grundlage für Vertrauen von Nutzenden in KI-Systeme schaffen. Allerdings können Erklärungen, selbst wenn sie fehlerhaft sind, zu unberechtigtem Übervertrauen oder umgekehrt, wenn sie nicht verständlich sind, zu unberechtigtem Misstrauen gegenüber dem System führen (Schmid, 2024).
Auch bezüglich der XAI-Methodik bestehen aktuell noch offene Fragen. So kann die mangelnde Modelltreue einer Erklärung zu einem Problem in der Interaktion werden – etwa wenn die Erklärung den Nutzenden ungenaue oder falsche Information darüber gibt, welche Information aus einer Eingabe (z.B. einem Bild) ein gelerntes Modell vor allem genutzt hat, um zu seiner Ausgabe zu kommen und dieser ein entsprechendes Feedback an das System gibt. Und während es für die Evaluation von Methoden des maschinellen Lernens standardisierte Metriken und Benchmarks gibt, gibt es aktuell noch keine bewährte Methodik zur Evaluierung von erklärbarer interaktiver XAI.
Ein typischer Anwendungsfall
Ein typischer Anwendungsfall für die Erkennung von Anomalien in der Industrie ist die Qualitätssicherung in der Produktionslinie – im Beispiel geht es um die industrieller Scheiben. Um den Prozess der Erkennung von Defekten zu beschleunigen, ist es hilfreich, Endnutzenden eine Begründung für die Klassifizierungsentscheidung zu geben. Dies kann im Falle von Bildern durch die Hervorhebung der für die Anomalieerkennung verantwortlichen Pixel geschehen (siehe Abbildung 2).
Wie der Ablauf von interaktiver XAI im Sinne von ‚explain to revise‘ aussehen könnte, zeigt sich ebenfalls anhand dieses Beispiels. Zunächst wird nach Abschluss des KI-Trainings das gelernte Klassifizierungsmodell auf neuen Daten eingesetzt. Nutzenden werden Bilder mit hoher Unsicherheit über eine Schnittstelle angezeigt, inklusive der vorhergesagten Klasse (z.B. Defekt/Nicht-Defekt) und einer Erklärung der Vorhersage (Abbildung 2 a und b). Nutzende können dann die Vorhersage und die Erklärung bewerten. Dies ist wichtig, da es hier zu einer richtigen Klassifizierung aus falschen Gründen kommen kann. Dies ist in Abbildung 2 der Fall und gibt Hinweise für mögliche Korrekturen.
Nachdem die Nutzenden die Erklärung und die Vorhersage überprüft und gegebenenfalls korrigiert haben, werden auf Basis der Korrekturen neue Trainingsdaten erzeugt (Abbildung 2 c und b). Danach werden die Bilder mit den Korrekturen dem Trainingsdatensatz hinzugefügt. Unter Verwendung des erweiterten Trainingsdatensatzes kann das Modell neu trainiert oder angepasst werden, und seine Leistung verbessern. Diese Schleife wird so lange wiederholt, bis eine bestimmte Leistung des KI-Systems erreicht wurde. Alternativ zu Erklärungen über Hervorhebungen im Bild können diese in Form von Beispielen gegeben werden, die der aktuellen Eingabe ähnlich sind und die vom Modell zur gleichen (near hit) oder einer anderen (near miss) Klasse zugeordnet werden. Solche beispielbasierten Erklärungen sind hilfreich, um die Entscheidungsgrenzen des gelernten Modells besser nachzuvollziehen (siehe Abbildung 1).
KI unter Aufsicht
In Zukunft werden Mensch und KI verstärkt zusammenarbeiten. Menschliche Kontrolle und Aufsicht werden damit weiterhin an Bedeutung gewinnen und eine zentrale Anforderung an vertrauenswürdige KI-Systeme darstellen. KI-Systeme, die Prozesse im Sinne eines ‚explain to revise‘ ermöglichen und dabei KI-Modelle inkrementell verbessern, sind ein möglicher Lösungsansatz für diese Anforderung. Künftig werden aber auch neue, interaktive Ansätze zur Mensch-KI-Kommunikation nötig sein, für die neue Formen der bidirektionalen Erklärbarkeit erforscht werden müssen.
