Im Projekt ‚KI-Cockpit‘ hat ein Forschungsteam des Fraunhofer IAO sowie des IAT der Universität Stuttgart gemeinsam mit Partnern aus Wissenschaft und Wirtschaft Anwendungen entwickelt, die Menschen in herausfordernden Situationen bei der Steuerung von KI-Anwendungen unterstützen. DasCockpit soll dafür sorgen, dass Menschen die Entscheidungen der KI nachvollziehen und kontrollieren können. Laut Pressemitteilung können alle Software-Anwendungen des Cockpits sowie Begleitliteratur kostenfrei eingesehen und heruntergeladen werden.
Im Projekt haben die Beteiligten in unterschiedlichen Bereichen die exemplarische Umsetzung der europäischen KI-Verordnung (AI Act) in der betrieblichen Praxis untersucht. Darin ist unter anderem festgelegt, dass KI-Systeme mit hohem Risiko – zum Beispiel bei kritischer Infrastruktur (KRITIS) oder medizinischen Diagnosen – unter menschlicher Aufsicht arbeiten müssen. Außerdem sollen die Systeme für Anwenderinnen und Anwender transparent arbeiten.
Feldstudien in unterschiedlichen Organisationen
Am Projekt waren auch die Caritas, Starwit Technologies sowie Chemistree beteiligt. „Unterschiedlicher könnten die drei Partner nicht sein, aber für alle ist das Cockpit hochrelevant“, sagt Dr. Nektaria Tagalidou, Projektleiterin am Fraunhofer IAO. Die Beteiligten haben anhand von Feldstudien in verschiedenen Beispielsituationen untersucht, wie der Mensch im Arbeitsalltag den Überblick über verschiedene KI-Systeme behalten kann. Laut den Forschenden ist ein gutes Situationsbewusstsein – also das Verständnis für das, was gerade passiert und welche Folgen das haben könnte – ist sehr wichtig, um richtig handeln zu können.
Bei Starwit Technologies geht es darum, eine KI-gestützte Verkehrsleitplanung für Kommunen zu entwickeln. Die KI kann Gefahrensituationen wie Gegenstände auf der Fahrbahn erkennen oder durch geschickte Verkehrslenkung dazu beitragen, Staus zu vermeiden. Im KI-Cockpit soll ein Mensch die Entscheidungen der KI nachvollziehen und kontrollieren können. „Nur dann kann er schnell manuell steuernd eingreifen, wenn ein Fehler passiert“, sagt Tagalidou.
Die Caritas Dortmund sucht nach Möglichkeiten in der Pflege, KI-Systeme einzusetzen, um die Beschäftigten bei der täglichen Arbeit zu unterstützen. Denkbar wären laut den Beteiligten zum Beispiel Systeme, welche die aufgenommene Flüssigkeitsmenge der Bewohnerinnen und Bewohner eines Altenheimes registrieren, oder Algorithmen, welche die Essensbestellungen der Kundinnen und Kunden an deren individuelle Wünsche anpassen. „Auch hier ist Kontrolle besonders wichtig, weil bei Fehlern Menschen zu Schaden kommen können“, sagt Michael Bui, Wissenschaftler im Team ‚Applied Neurocognitive Systems‘, wissenschaftlicher Mitarbeiter am IAT der Universität Stuttgart.
Im Fokus der Forschenden des IAO/IAT stand die allgemeine Gestaltung der KI-Cockpits sowie die Entwicklung von Systemen, die sich an die mentalen Fähigkeiten der Nutzenden anpassen können, um Überforderung oder Unterforderung zu vermeiden. Dies sei besonders wichtig in Bereichen, in denen schnelle und richtige Entscheidungen erforderlich sind, beispielsweise in sicherheitskritischen Situationen. Entstanden ist ein System, dass die aktuellen mentalen Fähigkeiten des Nutzenden analysiert und Informationsflüsse entsprechend anpasst.
Die Software-Anwendungen des KI-Cockpits sowie Begleitliteratur können auf der Projektwebsite eingesehen und heruntergeladen werden. Das Fraunhofer IAO und IAT bieten Unternehmen dazu Beratung an, die auch die Unterstützung bei der Einführung eines individuell anpassbaren KI-Cockpits beinhaltet.
