KI macht oft noch simple Fehler, die auch durch Training nicht verschwinden. Sie kann zudem weder logisch denken noch verschachtelte Eingaben wirklich ‚verstehen‘. Für Computerlinguistik-Professor Michael Hahn von der Universität des Saarlandes liegt der Fehler im System.
Alle großen Sprachmodelle basieren derzeit auf der sogenannten Transformer-Architektur. Bei dieser hat man sich an der menschlichen Fähigkeit orientiert, auf relevante Informationen zu achten und nicht so wichtige Details zu ignorieren. Dies wird mathematisch berechnet, indem man nur den Daten Aufmerksamkeit schenkt, die für die jeweilige Fragestellung bedeutsam erscheinen. „Dabei ahmen die zugrunde liegenden neuronalen Netzwerke eine weitere menschliche Fähigkeit nach, nämlich in Assoziationen zu denken, also Ideen und Erinnerungen miteinander zu verknüpfen“, sagt Hahn. Die KI sucht dafür in riesigen Datenbeständen nach Mustern und stellt einen Zusammenhang zwischen ihnen her. Durch ständiges Training lernt die Maschine, an der richtigen Stelle den passenden Datensatz zu finden, um ein noch präziseres Ergebnis zu erzielen.
„Genau hier können jedoch gravierende Fehler entstehen, wenn die Assoziation der KI falsch war. Solche fehlerhaften Verknüpfungen können aber auch dadurch verursacht werden, dass neuronale Netzwerke bisher nur eine feste Anzahl von Schichten haben, in denen die Algorithmen berechnet werden. Dies schränkt die Ergebnisse ein“, erklärt Hahn. Gemeinsam mit seinem Team konnte der Informatikforscher bereits mathematisch nachweisen, dass neuronale Netzwerke systematisch Fehler machen. Diese könne man nicht durch noch mehr Training auf großen Datenbeständen oder bessere Prompts, also genauere Anweisungen an die KI, ausmerzen.
Drei Defizite großer Sprachmodelle
Die aktuellen großen Sprachmodelle stoßen also an Grenzen, für die Michael Hahn vor allem drei Defizite verantwortlich macht: „Zum einen sind die Modelle schlecht darin, einen sich ändernden Zustand nachzuvollziehen. Sie machen keine Updates, wenn sich eine Situation verändert hat. Wir haben dies anhand eines simplen Beispiels getestet: Mehrere Personen reichen sich zwei verschiedene Bücher in ihrer Gruppe herum und die KI muss am Ende sagen, wer welches Buch in der Hand hält. Je mehr Umläufe es gab, desto weniger treffsicher war die KI“, erklärt der Professor. Übertragen auf die schon genutzten KI-Assistenten in der Medizin sei diese Schwäche von Sprachmodellen mehr als bedenklich. „In solchen Systemen werden verschiedene Diagnosen, verabreichte Medikamente und Untersuchungen wie etwa Bluttest miteinander verknüpft. Ordnet die KI dabei nicht den chronologischen Ablauf sowie die Ergebnisse der Tests und daraus resultierende Medikation richtig zu, so kann dies für den Patienten gefährlich werden“, nennt Hahn als Beispiel.
Als ähnlich problematisch sei das zweite Defizit aktueller Large Language Models zu bewerten. „Die KI ist bisher nicht in der Lage, logisch zu denken. Dies lässt sich auch am Beispiel der Medizin veranschaulichen: Will die KI das richtige Medikament für eine bestimmtes Krankheitsbild aus einem großen Datenbestand auswählen, muss sie schlussfolgern können, welche Symptome dazu passen. Auch für eine Diagnose muss eine KI-Assistenz die Regeln kennen, nach denen ein Arzt bestimmte Krankheiten erst einmal ausschließt. Ein solches systematisches, auf logischen Regeln basiertes Vorgehen lässt sich über neuronale Netzwerke bisher nicht abbilden“, erklärt Michael Hahn.
Als noch unzuverlässiger bewertet der Computerlinguist die Ergebnisse der KI, wenn es um den von ihm definierten dritten Problembereich geht: „Die großen Sprachmodelle scheitern bisher häufig daran, komplexe und verschachtelte Eingaben sinnvoll zu bearbeiten. Dies wird beispielsweise bei juristischen Fragestellungen sichtbar, wenn beurteilt werden muss, auf welcher Gesetzesgrundlage und in welchem zeitlichen Zusammenhang eine Person eine andere Person oder ein Unternehmen geschädigt hat. Diese oft schon für den Menschen schwer nachvollziehbaren Gedankenketten sind mit Hilfe der neuronalen Netzwerke bisher kaum fehlerfrei zu händeln“, so Michael Hahn.
Hintergründe verstehen und LLMs zuverlässiger machen
In seinem Forschungsprojekt, das er nun im Rahmen des Emmy-Noether-Programms angehen will, wird er sich zunächst auf die theoretischen Grundlagen der Transformer-Architektur konzentrieren. Dabei soll es darum gehen, noch besser den mathematischen Hintergrund zu verstehen, wie neuronale Netzwerke zu ihren Ergebnissen kommen. Hierfür will er auch untersuchen, wie viele Schichten diese Netzwerke aufweisen müssen, damit sie ‚intelligenter‘ agieren können. In einem zweiten Schritt will er dann an hybriden Systemen forschen oder sogar ganz neue Architekturen entwerfen, die besser vorhersagbare Fähigkeiten aufweisen und außerdem zuverlässiger und leistungsstärker funktionieren als derzeitige Large Language Models.
Mit dem Emmy-Noether-Programm fördert die Deutsche Forschungsgemeinschaft (DFG) Nachwuchsforscherinnen und -forscher, deren Promotion maximal vier Jahre zurückliegt und die über internationale Erfahrung verfügen sowie eine Postdoc-Phase durchlaufen haben. In seiner Forschungsgruppe wird er sich gemeinsam mit fünf Doktorandinnen und Doktoranden auf das Forschungsthema ‚Understanding and Overcoming Architectural Limitations in Neural Language Models‘ konzentrieren.
