Damit unterschiedliche Roboter gemeinsam Aufgaben erledigen können, müssen sie Informationen austauschen, deren Bedeutung verstehen und ihr Handeln aufeinander abstimmen. Bisher war es mit großem Aufwand verbunden, die hierfür nötige Interoperabilität herzustellen, etwa durch Standardisierung. Große KI-Modelle eröffnen jedoch neue Möglichkeiten, diese herzustellen. In einem neuen Impulspapier der Plattform Lernende Systeme beschreiben die Verfasser, wie solche KI-Modelle das Zusammenspiel von Robotiksystemen unterstützen können und welche Herausforderungen für einen zuverlässigen und sicheren Einsatz noch zu lösen sind.
Die Autoren betonen, dass Interoperabilität die Grundlage für Kommunikation und Kooperation schafft, aber nicht selbst das gemeinsame Handeln bewirkt. Bislang wird sie vor allem durch Standards für Schnittstellen, Protokolle oder Datenformate hergestellt. Wie weiter erläutert wird, sind solche Lösungen aufwendig und oft wenig flexibel. Als besonders anspruchsvoll beschreiben es die Autoren, ein gemeinsames Verständnis von Informationen und deren Bedeutung für das Handeln herzustellen.
Das Impulspapier unterscheidet vier Ebenen der Interoperabilität: Die technische Ebene verbindet Systeme miteinander, die syntaktische Ebene sorgt für kompatible Datenformate. Die semantische Ebene betrifft die Bedeutung der ausgetauschten Informationen, die pragmatische Ebene das Verständnis für die Folgen von Handlungen in einem bestimmten Kontext. Erst auf dieser letzten Ebene lässt sich das Handeln von Systemen am besten aufeinander abstimmen.
Was große KI-Modelle leisten können
„Große KI-Modelle können in eleganter und effizienter Weise dabei helfen, Interoperabilität zwischen unterschiedlichen Robotiksystemen auf semantischem oder gar auf pragmatischem Niveau zu erreichen“, so Jürgen Beyerer, geschäftsführender Institutsleiter sowie Direktor des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung (IOSB) in Karlsruhe und Inhaber des Lehrstuhls Interaktive Echtzeitsysteme am Karlsruher Institut für Technologie (KIT).
Die Verfasserinnen und Verfasser erläutern, dass neben großen Sprachmodellen dafür auch Modelle infrage kommen, die auf logisches Schlussfolgern (Reasoning) ausgerichtet sind oder Sprache, Sehen und Handeln verbinden. Sie können helfen, Informationen unterschiedlicher Systeme einzuordnen und für die Koordination nutzbar zu machen. Entscheidend seien das Weltwissen, das im Modell repräsentiert sei und mit Art und Umfang der Daten im Modelltraining zusammenhänge, sowie zusätzliche Kontextinformationen, die dem Modell im laufenden Betrieb zur Verfügung gestellt würden.
Verlässliches Weltwissen benötigt
„Roboter können im Verbund komplexe Handlungsstränge oder Missionen abarbeiten, wenn sie in der Lage sind, zuverlässig physisch zu interagieren, Informationen auszutauschen und zu interpretieren. Der Kern der Herausforderung liegt oft in der Autonomie und dem Weltmodell der Systeme. Heutige große generative KI-Modelle können hier Lücken schließen und Roboter koordinieren, durch zukünftige Modelle könnten sich sogar neue Formen von Interoperabilität etablieren“, erläutert Sirko Straube, Forschungsbereichsmanager Emergency Response and Recovery Management am Robotics Innovation Center von DFKI.
Die Autorinnen und Autoren beschreiben zudem die Grenzen gegenwärtiger Modelle. Diesen würden häufig Aktivitätsdaten sowie domänenspezifische Daten fehlen. Die Plattform verweist außerdem darauf, dass die Modelle mitunter fehlerhafte Aussagen erzeugen sowie Ursache und Wirkung nur eingeschränkt verstehen. Zudem gelingt es ihnen noch nicht zuverlässig, Objekte, Positionen oder Handlungen in präzise Angaben für physikalische Modelle zu übersetzen. Dadurch könne die Interoperabilität zeitweise ‚abreißen‘ – mit Risiken für die funktionale und die Prozesssicherheit. Im Impulspapier werden künftig zuverlässigere multimodale KI-Modelle als vielversprechend genannt. Diese können Fakten in Echtzeit überprüfen und mithilfe physikalischer Simulationen und Weltmodellen die Folgen von Handlungen besser abschätzen. Die Autoren betonen jedoch, dass diese Fähigkeiten für den praktischen Einsatz verlässlich verfügbar sein müssen.
„Interoperabilität zwischen Robotern ist ein entscheidender Zukunftsbaustein, der die praktische Nutzung und das Zusammenspiel vielfältiger Robotiksysteme nachhaltig voranbringen wird. Die Forschung entwickelt bereits vielversprechende Projekte und Konzepte – nun gilt es, diese gemeinsam in marktfähige und anwendungsnahe Lösungen zu überführen. Dafür braucht es einen starken Schulterschluss zwischen Anwendern, Robotikherstellern und Forschung, um die Robotik gemeinsam auf das nächste Entwicklungsniveau zu heben“, fasst Johannes Hinckeldeyn, Director of Advanced Corte Technologies bei Kion, zusammen.
Das Impulspapier wurde von Mitgliedern der Arbeitsgruppe ‚Lernfähige Robotiksysteme‘ sowie der Arbeitsgruppe ‚Technologische Wegbereiter und Data Science‘ der Plattform Lernende Systeme verfasst. Es steht zum kostenfreien Download bereit.
www.plattform-lernende-systeme.de
