Retrieval Augmented Generation als Unterstützung für LLMs

Die Qualität der Antworten von Chatbots, die auf großen Sprachmodellen basieren, hängt von den Trainingsdaten ab: Grundlage sind meist eine Fülle öffentlich zugänglicher Dokumente. Die Verlässlichkeit der Antworten sollten Nutzerinnen und Nutzer kritisch prüfen.
Die Qualität der Antworten von Chatbots, die auf großen Sprachmodellen basieren, hängt von den Trainingsdaten ab: Grundlage sind meist eine Fülle öffentlich zugänglicher Dokumente. Die Verlässlichkeit der Antworten sollten Nutzerinnen und Nutzer kritisch prüfen. – Bild: © Galeanu Mihai/istock.com

Large Language Models (LLM) bzw. große Sprachmodelle liefern in Chatbots auf alltägliche Anfragen häufig gute bis sehr gute Ergebnisse, die oft für eine erste Orientierung mehr als ausreichend sind. Forschende am Fraunhofer IWU geben allerdings zu bedenken, dass Trainingsdatensätze unvollständig oder veraltet sowie einige Informationen unscharf oder gar falsch sein können. Sie raten daher zu einer Überprüfung der erhaltenen Auskünfte. So sollte man sich etwa bei Rechtsfragen nicht ‚blind‘ auf einen Chatbot verlassen. Und was, wenn von den Angaben die Sicherheit von Menschen abhängen kann? Doch wieder selbst eingehend relevante Dokumente studieren?

Retrieval Augmented Generation

Mit Retrieval Augmented Generation (RAG) wollen Forschende am Fraunhofer IWU hier Abhilfe schaffen und zusätzliche Leitplanken für Sprachmodelle schaffen. Das LLM durchleuchtet dann in erster Linie maßgebliche Texte bzw. Textstellen. Das Sprachmodell wird dabei nicht neu trainiert, sondern selektiv erweitert.

Betrieb auch auf Standard-PCs

Als Sprachmodell verwenden die Forschenden LLaMA (Large Language Model Meta AI). Dieses sei groß bzw. leistungsfähig genug und überfordere dennoch nicht Rechenleistung und Grafikkarte eines hochwertigen Standard-PCs. Die Anwendung kann somit auf einem lokalen Rechner betrieben werden und Unternehmen behalten die Hoheit über ihre Daten. Bei weniger sensiblen Daten ist auch der Betrieb in der Cloud möglich.

Wie funktioniert RAG?

Zunächst müssen die ins LLM zu importierenden Daten auf den reinen Text reduziert werden (Cleaning). Sobald dieser in kleinere Abschnitte (Chunks; auffindbare Bausteine) segmentiert ist, folgt der Aufbau eines Suchsystems (Retrieval System), das die Chunks effizient durchsuchen kann. Die Chunks werden nach relevanten Passagen gegliedert und in einer Vektordatenbank abgelegt, also in mathematische Vektoren umgewandelt, die ihre Bedeutung repräsentieren. Auch die Prompts werden in Vektoren umgewandelt. So wird das Modell in die Lage versetzt, nach den in der Anfrage enthaltenen Wörtern zu suchen und gleichzeitig den Prompt tatsächlich zu ‚verstehen‘ (semantische Suche). Das Modell kann jetzt die zu einer Nutzeranfrage passenden Chunks kürzen, neu strukturieren, die wichtigsten Informationen herausfiltern und zu einem verständlichen Zusammenhang kombinieren. Liegt eine konkrete Suchanfrage vor, stehen ausgewählte Chunks zur Verfügung, auf deren Grundlage das Modell faktenbasierte Antworten geben kann. Das Modell nutzt den zusätzlichen Kontext der Chunks und muss nicht neu trainiert werden.

Seiten: 1 2



  • Accenture übernimmt Salt Solutions

    Accenture übernimmt Salt Solutions

    Der SAP-Partner und MES-Integrator Salt Solutions wird Teil von Accenture. Wie die Unternehmensberatung bekannt gab, ist die Vereinbarung bereits unterschrieben.

    mehr lesen: Accenture übernimmt Salt Solutions

  • Vertrauenswürdige Prozessoren aus Deutschland

    Vertrauenswürdige Prozessoren aus Deutschland

    Im Projekt Scale4Edge arbeiten 22 Akteure aus Wissenschaft und Wirtschaft an besonders vertrauenswürdiger Computerhardware. Entstehen soll ein skalierbares Edge-Computing-Ökosystem rund um die Risc-V-Architektur etwa für Industrieanwendungen, Heimautomation und selbstfahrende Autos.

    mehr lesen: Vertrauenswürdige Prozessoren aus Deutschland

  • Innovationsranking im produzierenden Mittelstand

    Innovationsranking im produzierenden Mittelstand

    Innovation gehört zu den drei wichtigsten Digitalisierungszielen im Mittelstand, gleich nach Mitarbeiterproduktivität und Prozessmodernisierung. Das ist das Ergebnis einer Untersuchung, die im Auftrag des ERP-Anbieters Proalpha entstand. Doch wo ist…

    mehr lesen: Innovationsranking im produzierenden Mittelstand

  • Arbeitsmarktbarometer dreht ins Plus

    Arbeitsmarktbarometer dreht ins Plus

    Das IAB-Arbeitsmarktbarometer ist im September 2020 um 1,7 Punkte auf 100,1 Punkte gestiegen. Erstmals seit Beginn der Corona-Krise liegt der Frühindikator des Instituts für Arbeitsmarkt- und Berufsforschung (IAB) damit nicht…

    mehr lesen: Arbeitsmarktbarometer dreht ins Plus

  • Ergänztes IT-Sicherheitskonzept für Profinet

    Ergänztes IT-Sicherheitskonzept für Profinet

    Parallel mit den ersten Profinet-Spezifikationen veröffentlichte PI ein umfassendes Security-Konzept, das in mehreren Schritten weiter detailliert und angepasst wurde.

    mehr lesen: Ergänztes IT-Sicherheitskonzept für Profinet

  • GIS und EAM fusionieren zu Rodias

    GIS und EAM fusionieren zu Rodias

    Innerhalb der Robur-Gruppe haben sich die Firmen GIS und EAM zusammengetan. Beide Firmen bringen langjährige Erfahrungen rund um die Instandhaltung, Wartung und das Anlagenmanagement in den Zusammenschluss ein. Als Rodias…

    mehr lesen: GIS und EAM fusionieren zu Rodias

  • Integrierte OT-Sicherheit

    Integrierte OT-Sicherheit

    Rhebo und Barracuda adressieren mit einer kombinierten Lösung vollumfängliche Cybersicherheit für industrielle Netzwerke und IIoT-Geräte.

    mehr lesen: Integrierte OT-Sicherheit

  • Credential Stuffing in der Medienbranche

    Credential Stuffing in der Medienbranche

    Angriffe auf Medienunternehmen durch Kontoübernahmen stiegen bereits zwischen 2018 und 2019 deutlich an. Im Zuge der diesjährigen Pandemie vervierfachten sich schädliche Anmeldeversuche sogar.

    mehr lesen: Credential Stuffing in der Medienbranche

  • Startups stellen Lösungen vor

    Startups stellen Lösungen vor

    Zehn IT-Sicherheitsanbieter haben Chance, als das beste Security-Startup der DACH-Region ausgezeichnet zu werden. Nachdem sie im Fachjuryentscheid überzeugen konnten, heißt es jetzt, im Speed-Pitch das Publikum zu gewinnen.

    mehr lesen: Startups stellen Lösungen vor

  • Hindernisse für den KI-Einsatz überwinden

    Hindernisse für den KI-Einsatz überwinden

    Trotz zahlreicher Innovationsmöglichkeiten zögern viele Unternehmen und Behörden noch bei der Nutzung von künstlicher Intelligenz (KI) im Bereich Cybersicherheit.

    mehr lesen: Hindernisse für den KI-Einsatz überwinden

  • Schutz von Remote-Mitarbeitern

    Schutz von Remote-Mitarbeitern

    Um die Verwaltung der Cybersicherheit einfacher und zugänglicher zu gestalten, stellt SonicWall die Zero-Touch-fähigen Multi-Gbit TZ-Firewalls mit SD-Branch-Funktionen vor. Die neuen Firewalls TZ570 und TZ670 sind die ersten Desktop-Firewalls, die…

    mehr lesen: Schutz von Remote-Mitarbeitern

  • Sicherheit vor Malware und Hackern

    Sicherheit vor Malware und Hackern

    Fernwirkanlagen und Scada-Systeme nutzen das Internet und sind damit potenziellen Angriffen von Hackern und Schadsoftware ausgesetzt. Auf der Seite der Datenbank kann auch das Unternehmen ConiuGo nur die bekannten Konzepte…

    mehr lesen: Sicherheit vor Malware und Hackern