Wie funktioniert RAG in der Praxis?
Stellen wir uns ein Unternehmen mit Hunderten von Dokumenten vor, die Produktinformationen, Preise, interne Abläufe und Richtlinien für den Kundensupport enthalten. Mitarbeitende müssen darin schnell konkrete Antworten finden. Die manuelle Suche durch all diese Dokumente kann jedoch zeitaufwendig sein.
RAG verbindet zwei Komponenten: ein System, das relevante Informationen abruft, und ein Sprachmodell, das daraus eine verständliche Antwort formuliert.
Wenn ein Nutzer eine Frage stellt, sucht das System zunächst nach passenden Abschnitten in den verfügbaren Dokumenten. Diese Informationen werden zusammen mit der ursprünglichen Frage an die KI übergeben. Das Modell nutzt diesen Kontext, um eine Antwort in natürlicher Sprache zu formulieren.
Der Prozess lässt sich in drei grundlegende Schritte unterteilen: Informationen abrufen, Kontext bereitstellen und eine Antwort generieren.
Daten vorbereiten: Die KI muss wissen, wo sie suchen soll
Bevor ein RAG-System Fragen beantworten kann, benötigt es Zugriff auf relevante Informationen. Dazu können PDF-Dokumente, Handbücher, interne Wikis, Produktkataloge oder Inhalte aus Unternehmensdatenbanken gehören.
Es reicht jedoch nicht aus, einfach alle Dateien an einem Ort hochzuladen. Die Dokumente müssen so aufbereitet werden, dass das System effizient darin suchen kann.
Ein üblicher Schritt ist die Aufteilung der Texte in kleinere Abschnitte, sogenannte Chunks. Stellen Sie sich ein umfangreiches Handbuch vor, das in einzelne Abschnitte unterteilt ist. Wenn ein Nutzer nach Rückgabebedingungen fragt, muss das System den entsprechenden Abschnitt finden und nicht das gesamte Handbuch abrufen.
Dabei kommen häufig auch Embeddings zum Einsatz – numerische Repräsentationen von Texten, die Aspekte ihrer Bedeutung erfassen. Dadurch kann das System Inhalte anhand semantischer Ähnlichkeit finden, anstatt sich ausschließlich auf exakt übereinstimmende Wörter zu verlassen.
Diese Repräsentationen können in einer Vektordatenbank oder einem anderen Suchindex gespeichert werden. Stellt ein Nutzer eine Frage, durchsucht das System den Index nach relevanten Inhalten und wählt die Abschnitte aus, die am besten zur Anfrage passen.
Von der Frage zur Antwort
Kehren wir zur Frage nach den Rückgabebedingungen zurück.
Ein Nutzer fragt: „Wie lange kann ich eine Bestellung zurückgeben?“ Das System sucht in den verfügbaren Dokumenten nach den passenden Informationen und stellt sie dem Sprachmodell zur Verfügung.
Die KI muss ihre Antwort nun nicht ausschließlich auf Grundlage ihres allgemeinen Wissens formulieren. Sie verfügt über konkrete Informationen, auf die sie sich stützen kann.
Das ist der entscheidende Vorteil von RAG: Das Modell muss nicht jede benötigte Information bereits in seinen Trainingsdaten gespeichert haben. Es kann die relevanten Informationen genau dann erhalten, wenn es sie braucht.
Ändert ein Unternehmen seine Rückgabebedingungen, kann es die entsprechenden Quellen aktualisieren und dafür sorgen, dass die Änderungen auch im Suchsystem berücksichtigt werden. Das gesamte Sprachmodell muss also nicht bei jeder Änderung der Dokumentation neu trainiert werden.
Allerdings erscheinen Aktualisierungen nicht unbedingt sofort. Das hängt davon ab, wie das System konfiguriert ist und wie schnell neue oder geänderte Daten verarbeitet werden können.
Warum RAG nicht bedeutet, dass die KI keine Fehler mehr macht
Eigene Daten können die Qualität der Antworten verbessern, garantieren aber keine korrekten Ergebnisse.
Stellen wir uns vor, ein Dokument enthält die richtige Antwort, das Suchsystem findet jedoch den falschen Abschnitt. Das Sprachmodell arbeitet dann mit unvollständigen oder irrelevanten Informationen. Die endgültige Antwort kann dadurch ungenau sein, obwohl die benötigten Informationen im System vorhanden sind.
Probleme können auch durch qualitativ schlechte oder veraltete Quellen, eine ungeeignete Aufteilung der Dokumente oder Fragen entstehen, die sich mit den verfügbaren Daten überhaupt nicht beantworten lassen.
Deshalb ist es wichtig, nicht nur zu testen, wie gut die KI Antworten formuliert, sondern auch, ob das System die richtigen Informationen findet und ob die endgültige Antwort tatsächlich mit den Quellen übereinstimmt.
In manchen Fällen hilft eine Kombination aus klassischer Stichwortsuche und Vektorsuche. So kann das System beispielsweise besser mit exakten Produktnamen, Kennungen und Fragen umgehen, die in natürlicher Sprache formuliert sind.
Ebenso wichtig ist es festzulegen, was passiert, wenn das System nicht genügend relevante Informationen findet. Anstatt eine Antwort zu erfinden, sollte es darauf hinweisen können, dass die verfügbaren Quellen nicht ausreichen.
Wo ist RAG besonders sinnvoll?
RAG eignet sich besonders dann, wenn eine KI mit Informationen arbeiten soll, die unternehmensspezifisch sind, sich im Laufe der Zeit ändern oder nicht zum allgemeinen Wissen des Modells gehören.
Mögliche Anwendungsfälle sind ein interner Assistent, der Mitarbeitenden bei Fragen zu Unternehmensprozessen hilft, ein Chatbot für den Kundensupport, der Fragen zu Produkten beantwortet, oder ein Tool zur Suche in umfangreicher technischer Dokumentation.
Bei der Entwicklung muss auch die Sicherheit berücksichtigt werden. Hat das System Zugriff auf interne Dokumente, muss es die Zugriffsrechte der Nutzer beachten. Mitarbeitende dürfen keine Informationen aus Dokumenten erhalten, für die sie keine Berechtigung haben – nur weil das Suchsystem diese als relevant eingestuft hat.
RAG ist außerdem keine universelle Lösung für jedes KI-Problem. Wenn eine Anwendung das Verhalten eines Modells verändern oder ihm einen bestimmten Schreibstil vermitteln soll, kann ein anderer Ansatz besser geeignet sein. RAG konzentriert sich in erster Linie darauf, dem Modell beim Generieren von Antworten relevante Informationen aus externen Quellen bereitzustellen.
Bei RAG kommt es auf mehr an als auf die Wahl des KI-Modells
Bei der Entwicklung einer KI-Anwendung wird häufig viel Aufmerksamkeit auf die Auswahl des Sprachmodells gelegt. Bei RAG ist jedoch genauso wichtig, was passiert, bevor die eigentliche Antwort generiert wird.
Die Qualität der Quelldaten, ihre Aufbereitung, die Suchmethode, die Aktualität der Informationen und die Zugriffsrechte beeinflussen, ob das Ergebnis nützlich ist. Selbst ein leistungsfähiges Modell kann nur begrenzt helfen, wenn es den falschen Kontext erhält.
RAG verbindet die Fähigkeit der KI, verständlich zu kommunizieren, mit den Informationen, die Ihr Unternehmen tatsächlich benötigt. Das bedeutet nicht, dass das Modell automatisch alles versteht oder keine Fehler mehr macht. Es bedeutet, dass es sich bei der Beantwortung von Fragen nicht ausschließlich auf sein gelerntes Wissen verlassen muss, sondern auch konkrete, relevante Quellen nutzen kann.
So kann aus einem allgemeinen KI-Chatbot ein wirklich hilfreiches Werkzeug für den Arbeitsalltag werden.