Eberle: Wir arbeiten mit verschiedenen Modellen, zum Beispiel Llama, Mistral, Gemma, Qwen, Mamba und wir fokussieren uns dabei besonders auf die Interpretierbarkeit und entwickeln Methoden zum besseren Verständnis der zugrundeliegenden Mechanismen von LLMs.
Warum sind mit dem Erfolg/Misserfolg von KI auch Chiphersteller wie Nvidia verknüpft?
Schmitt und Feldhus: Der Erfolg oder Misserfolg von KI ist eng mit Chipherstellern wie NVIDIA verknüpft, weil moderne KI-Modelle enorme Rechenleistung benötigen, die hauptsächlich durch spezialisierte GPUs (Graphics Processing Units) und KI-Beschleuniger bereitgestellt wird. NVIDIA ist führend in diesem Bereich mit leistungsstarken Chips wie der H100- und A100-Serie, die speziell dafür entwickelt wurden, künstliche Intelligenz zu trainieren und ihre Ergebnisse schnell bereitzustellen. Dazu bietet Nvidia mit Cuda auch die passende Software an, die diese Berechnungen effizient ermöglicht. Wenn KI-Technologien florieren, steigt natürlich die Nachfrage nach diesen Chips stark an – Unternehmen, Forschungseinrichtungen und Cloud-Anbieter investieren massiv in GPU-Cluster. Dies treibt den Umsatz und den Aktienkurs von Nvidia in die Höhe.
Umgekehrt würde ein Rückgang der KI-Nachfrage oder technologische Verschiebungen hin zu alternativen Architekturen (wie wir das jetzt mit DeepSeek R1/V3 beobachten können) die Abhängigkeit von Nvidia verringern und deren Geschäft zum Teil negativ beeinflussen. Die doppelte Monopolstellung Nvidias – Hardware und Software – macht es hingegen schwer, die KI-Erfolge von dem Unternehmen zu entkoppeln. Solange auch DeepSeek GPUs von Nvidia beziehungsweise Cuda benutzt, ist Nvidia aus dem KI-Diskurs nicht wegzudenken. Kurz gesagt: Die Hardware-Entwicklung und der Erfolg von KI sind symbiotisch – Fortschritte in KI treiben die Chipindustrie an, während leistungsfähigere Chips neue KI-Modelle ermöglichen.
Wussten alle in der Community schon von der Durchschlagskraft des neuen, chinesischen LLM?
Schmitt und Feldhus: Ja, es war absehbar, dass China verstärkt in die Entwicklung leistungsfähiger LLMs investiert. Die Fortschritte von DeepSeek und anderen chinesischen Modellen kamen nicht aus dem Nichts – bereits in den letzten Jahren gab es enorme Investitionen und strategische Initiativen im KI-Sektor. Daher ist DeepSeek keine große Überraschung, sondern eine natürliche Weiterentwicklung, ressourceneffizientere LLMs zu erstellen. Zudem baut DeepSeek stark auf bestehende Open-Source-Modell-Familien wie LLaMA, Mistral und Qwen auf und erweitert unsere Möglichkeiten, eine breitere Palette an LLMs zu analysieren. Besonders Qwen, ebenfalls ein Produkt chinesischer Forschung, hat für uns schon deutlich gemacht, dass China hier ein entscheidender, nicht zu unterschätzender Player ist. Bemerkenswert an DeepSeek R1 ist, dass sich die Argumentationsfähigkeit deutlich verbessert hat und uns neue Einblicke in die Fähigkeit von LLMs zur Lösung komplexer Aufgaben eröffnet. Das ist vor allem für schwierigere Aufgaben mit einem höheren Komplexitätsniveau, wie die Desinformationserkennung, interessant.
Eberle: DeepSeek ist durchaus bekannt, und dessen Vorgängermodell DeepSeek-V2 war bereits recht erfolgreich, zum Beispiel in der Generierung von Code. Daher bin ich etwas überrascht über die starke Reaktion der Medien und Märkte. DeepSeek-V3 ist klar eine beeindruckende technische Leistung und kann dazu beitragen, Open-Source-Modelle auf eine Stufe mit den Fähigkeiten von proprietären Modellen wie ChatGPT zu bringen. DeepSeek ist dennoch im Zusammenhang mit der erfolgreichen Entwicklung von anderen Open-Source-LLM zu sehen.
Wie ist die Stellung von Europa auf diesem Gebiet?
Schmitt und Feldhus: Aktuell liegt der Fokus innerhalb der EU vor allem auf der Regulierung von KI und es werden nicht genügend Ressourcen gebündelt bereitgestellt, um auch nur entfernt ein Gegengewicht zu den USA oder China bilden zu können. Vor allem, wenn wir die Investitionspläne wie Stargate berücksichtigen, kann die EU aktuell nicht mithalten. Auch werden vielversprechende KI-Startups oft von US-Unternehmen übernommen und/oder verlagern ihren Hauptsitz in die USA. Regulierungen und Steuern beeinflussen die Innovationskraft von NLP-Unternehmen (Natural Language Processing) erheblich innerhalb der EU.
