Die Entwicklung von KI-Modellen für Embedded- und Edge-Plattformen ist herausfordernd: Begrenzte Rechenleistung, strikte Energieanforderungen und hohe Kosten treffen auf den Anspruch, dennoch präzise und robuste Modelle zu betreiben. Daher wird oft auf frei verfügbare KI-Modelle zurückgegriffen, die mit der Zielhardware oft nicht zufriedenstellend funktionieren. Diese dann anzupassen, ist komplex und erfordert Wissen im Hardware- und KI-Design. Mit der Software ‚Neural Architecture Search Engine with Hardware in the Loop‘ (NASE-HiL) zeigt das Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM zusammen mit der Rheinland-Pfälzischen Technischen Universität (RPTU) einen neuen Ansatz, der diese Problematik grundlegend verändern soll. KI-Architekturen werden direkt für die jeweilige Hardware entwickelt. Grundlage dafür ist eine automatisierte neuronale Architektursuche, die auf die Zielplattform ausgerichtet ist. Eine zentraler Innovation soll dabei die Integration agentischer KI sein. Ein Sprachmodell übernimmt die Interaktion mit den Nutzenden, erfasst Anforderungen wie Zielgenauigkeit, Laufzeit oder Energieverbrauch und konfiguriert daraufhin eigenständig den Suchprozess. Das System entscheidet selbst, welche Modellarchitekturen geeignet sind, ruft externe Werkzeuge auf, bewertet Zwischenergebnisse und optimiert iterativ. Entwicklerinnen und Entwickler definieren das ‚Was‘, das System erarbeitet das ‚Wie‘.
Hardwareoptimierte Modelle
Diese Automatisierung kann die Entwicklungszeit von mehreren Monate auf wenige Wochen verkürzen. Gleichzeitig könnte die Modellqualität steigen, da die Suche systematisch und datengetrieben erfolgt, und nicht nur etwa auf Erfahrungswerten beruht. Ein Faktor für die Leistungsfähigkeit des Produktes ist der ‚Hardware in the Loop-Ansatz. Gerade im Embedded-Bereich ist die tatsächliche Performance eines Modells schwer vorherzusagen. Deshalb werden die generierten Modelle auf realer Hardware ausgeführt und vermessen. Die gewonnenen Messdaten fließen zurück in den Optimierungsprozess.
Von Embedded Vision bis Qualitätskontrolle
Die Anwendungsfelder für diesen Ansatz sind vielfältig. Gerade im Bereich ‚Computer Vision‘ verspricht das System positive Effekte, wenn sich die Hardwarekomponenten etwa niedriger dimensionieren lassen, weil es der Grad der Modelloptimierung ermöglicht. Auch in unbemannten Luftfahrtsystemen (Unmanned Aerial Vehicle, UAV), der Robotik und in industriellen Assistenzsystemen ist oft die Effizienz entscheidend. Hier müssen Modelle präzise, leichtgewichtig und energieeffizient sein, da eine Auslagerung der Datenverarbeitung in die Cloud oft nicht möglich ist. Im medizinischen Umfeld, etwa bei bildgebenden Verfahren, spielt neben der Effizienz der Schutz sensibler Daten eine wichtige Rolle. Cloud-Anbindungen sind oft unerwünscht, sodass lokale KI-Systeme bevorzugt werden. Gleichzeitig müssen diese Systeme hohe Anforderungen an ihre Genauigkeit erfüllen.
Die Architektur auf die Plattform zuschneiden
Für diese und andere Anwendungsfälle öffnet eine effektive Modelloptimierung Türen zu preiswerten, robusteren und vor allem skalierbaren Systemen. KI könnte sich dort in Produkte integrieren lassen, wo bislang die wirtschaftlichen Hürden zu hoch waren. Modelloptimierung ist allerdings ein sehr breites und herausforderndes Feld. Diese Technologien transparent und leicht verständlich an Entwicklungsteams weiterzugeben ist der Fokus der Gruppe am Fraunhofer ITWM. Deren Vision: Entwicklerinnen und Entwickler formulieren lediglich die Randbedingungen ihrer Anwendung, während Designassistenzsysteme die Modelle entwickeln.
