Wege, um den Strombedarf von KI mit Hard- und Softwaretechnologien um bis zu 90% zu drosseln, hat ein Forschungskonsortium unter Leitung von Wolfgang Maaß (Deutsches Forschungszentrum für Künstliche Intelligenz DFKI und Universität des Saarlandes) erforscht. Die Ergebnisse stellt das Team am 30. Juli im DFKI am Saarbrücker Campus vor. Das Konsortium hat drei Jahre lang verschiedene Methoden erforscht, neue Technologien entwickelt und erprobt.
Energieverbrauch um bis zu 90% gesenkt
Das Team setzt zum einen auf kleinere, bedarfsgerechtere KI-Modelle, um den Energiehunger der KI zu drosseln. Die Beteiligten erklären, dass KI heute riesige Datenmodelle verwendet und verweisen darauf, dass etwa ein Chatbot für seine Antwort das komplette Datenmodell mit Billionen von Parametern nutzt: Er durchsucht im übertragenen Sinn also eine ganze Bibliothek statt nur die Bücher mit relevantem Inhalt. Die Forscherinnen und Forscher haben deshalb KI-Modelle entwickelt, bei denen unwesentliche Parameter gar nicht erst verarbeitet werden und die dadurch sparsamer sind.
Diese filtern dafür das für den jeweiligen Aufgabenbereich wirklich nötige Wissen aus großen Lehrermodellen heraus und schaffen maßgeschneiderte Schülermodelle, die laut den Forschenden um bis zu 90% kleiner sind. „Wir erzielen gute Ergebnisse damit, die KI-Modelle zu komprimieren, sie also kleiner und effizienter zu gestalten. In unseren Testläufen konnten wir zeigen, dass die Schülermodelle vergleichbare Leistung bringen, aber mit bis zu 89% weniger Energie auskommen“, sagt Sabine Janzen, promovierte Forscherin im Team von Wolfgang Maaß. Die für den konkreten Anwendungsfall zusammengestellten, schlankeren KI-Modelle arbeiten ohne große Infrastruktur. „Dadurch werden leistungsfähige KI-Modelle auch für mittelständische und kleinere Unternehmen zugänglich, was zuvor allein wegen der Größe der Modelle unmöglich war“, so Janzen.
Automatisch zum besten KI-Modell mit 40% weniger Energie
Bei KI-Modellen, die digitale Bilddaten verarbeiten und erzeugen, nutzen die Forscherinnen und Forscher eine andere Methode, die sogenannte ‚Neuronale Architektursuche‘. Wie das Team erklärt, findet dieses Verfahren automatisch die beste Architektur für künstliche neuronale Netze. Die Forschenden konnten zeigen, dass sie die Modelle um knapp 90% verkleinern und den Energieverbrauch um 40% senken können. Zudem wird betont, dass die Modelle nicht nur keine Leistung einbüßen, sondern laut Sabine Janzen auch die Genauigkeit des Modells verbessert wurde.
Das Team hat sich zudem dem maschinellen Lernen mit künstlichen neuronalen Netzen gewidmet, bei dem Lernprozesse ähnlich ablaufen wie im menschlichen Gehirn. Wie betont wird, ist das menschliche Gehirn ein Meister in Sachen Energieeffizienz. Sein künstliches Pendant mit seinen effizienten Algorithmen benötigt jedoch enorm viel Rechenleistung und Strom. Demnach werden künstliche neuronale Netzwerke heute noch aufwändig von Menschen zusammengestellt und so lange angepasst, bis sie gute Ergebnisse liefern. „Wir automatisieren diesen Vorgang mit neuronaler Architektursuche. Dabei testen wir verschiedene Netzstrukturen und optimieren diese weiter, sodass die Modelle leistungsfähig und effizient sind, aber weniger kosten“, erklärt Janzen.
Test in der Schrottsortierung
Das Team testete seine KI-Modelle u.a. in Zusammenarbeit mit der SHS – Stahl-Holding-Saar. Ziel war hier ein KI-Modell, das Stahlschrott automatisch sortiert und anhand von Kameraaufnahmen erkennt, welche Sorte Stahlschrott auf dem Hüttengelände geliefert wird. Mit den herkömmlichen Methoden wäre ein solches Modell gigantisch groß, energieintensiv und nicht praxistauglich. Um den Stahlrecycling-Prozess effektiver zu machen, wurde das visuelle KI-Modell zur Schrottsortierung so komprimiert, dass es kompakt, energieeffizient und laut den Beteiligten zum Teil sogar leistungsfähiger arbeitet. Dafür trainierten sie ihr Modell zunächst mit dem kompletten Datenpaket und sämtlichen Informationen und komprimierten die KI-Modelle anschließend durch Wissensdestillation und automatisch zusammengestellte neuronale Netze.
Handlungsempfehlung nachhaltigere KI
Mit seinen Partnern erarbeitete das Saarbrücker Forschungsteam zudem ein Konzept und Handlungsempfehlungen für energieeffiziente KI, mit denen Rechenzentren und KI-Anwender besser planen und unwirtschaftliche Abläufe erkennen können. Hierfür wurde ein Werkzeug erarbeitet, das zuverlässige Prognosen über den genauen Energieverbrauch und die Kosten der KI-Modelle ermöglicht. „Dieses Tool macht es etwa möglich, Abläufe, die große Rechenleistungen erfordern, dann einzuplanen, wenn der Strompreis günstig ist. Bislang können Entscheidungsträger nur schwer abschätzen, für welche Modelle sie wie viel Energie verbrauchen werden, weshalb es schwierig ist, wirtschaftlich zu planen“, erläutert die Doktorandin Hannah Stein, die an den energiesparenden KI-Methoden forscht.
Neuromorphe Chiptechnologien
Darüber hinaus arbeitet das Forschungskonsortium im Bereich der Hardware an neuromorphen Chiptechnologien. Das sind Mikroprozessoren, die ebenfalls die Funktionsweise des menschlichen Gehirns nachbilden. „Unsere Ergebnisse in diesem Hardware-Bereich deuten darauf hin, dass auch diese Technologie deutlich energieeffizienter arbeitet als die herkömmlichen Chips: In unseren Tests laufen diese bereits bis zu sechsfach effizienter. Aber hier ist weitere Forschung notwendig, dafür brauchen wir noch mehr Zeit“, erklärt Sabine Janzen.
Am 30. Juli stellt das Forschungskonsortium seine Projektergebnisse vor. Interessierte, insbesondere auch Rechenzentrumsbetreiber, Technologieanbieter und Unternehmen sind eingeladen. Anmeldung und Programm: escade-project.de
