Was ist RAG? Erklärt für Schweizer Unternehmen

RAG ist die Methode, mit der ein Sprachmodell nicht mehr aus dem Gedächtnis antwortet, sondern aus Ihren Dokumenten. Für Schweizer Organisationen ist das der Punkt, an dem eine KI-Antwort überprüfbar wird — und an dem sich entscheidet, wo Ihre Daten während dieses Vorgangs liegen.

Diese Seite erklärt, was RAG ist, wie es funktioniert, was es zusammen mit Tool-Integration leisten kann und wo Ihre Daten dabei bleiben. Wenn Sie es lieber ausprobieren als nachlesen: Der Agent oben auf dieser Seite arbeitet selbst mit RAG.

Was ist RAG?

RAG steht für Retrieval-Augmented Generation. Es ist ein Verfahren, das ein Sprachmodell mit einer durchsuchbaren Wissensquelle kombiniert: Vor jeder Antwort sucht das System zuerst die passenden Stellen in Ihren freigegebenen Dokumenten und formuliert die Antwort dann auf dieser Grundlage.

Der Begriff stammt aus einer Forschungsarbeit von Patrick Lewis und Kolleg:innen aus dem Jahr 2020, die RAG-Modelle als Systeme beschreibt, die vortrainiertes parametrisches und nicht-parametrisches Gedächtnis für die Sprachgenerierung verbinden. Übersetzt: Das Sprachmodell liefert die Sprachfähigkeit, die angebundene Wissensbasis liefert den Inhalt. Beides bleibt getrennt.

Der praktische Unterschied ist erheblich. Ohne RAG antwortet ein Modell aus dem, was es beim Training gesehen hat — Ihre Tarife, Ihre Fristen, Ihre internen Abläufe waren dort nicht dabei. Mit RAG antwortet es aus dem, was Sie freigegeben haben, und die Quelle lässt sich benennen.

RAG läuft in drei Schritten ab: Die Anfrage wird in eine durchsuchbare Form übersetzt, die semantische Suche findet die inhaltlich passenden Abschnitte, und erst danach formuliert das Sprachmodell die Antwort aus genau diesen Abschnitten. Das Modell selbst wird dabei nicht verändert und lernt nichts dazu.

Entscheidend ist der mittlere Schritt. Eine semantische Suche findet nicht nur wörtliche Treffer, sondern erkennt, dass „Kündigungsfrist“ und „Vertrag vorzeitig beenden“ dasselbe meinen. Ohne diesen Schritt findet das System die richtige Passage nicht, und die beste KI antwortet dann zuverlässig falsch.

Weil das Wissen ausserhalb des Modells liegt, ändern Sie eine Antwort, indem Sie das Dokument ändern. Ein neues Merkblatt, eine korrigierte Frist, eine zurückgezogene Weisung — die KI antwortet ab dem nächsten Abruf danach. Neu trainiert werden muss dafür nichts.

Wie funktioniert RAG in der Praxis?

Was ist ein LLM, und warum reicht es allein nicht?

Ein LLM (Large Language Model) ist ein Sprachmodell, das aus sehr grossen Textmengen gelernt hat, wie Sprache funktioniert. Es beherrscht Formulierung und Struktur ausgezeichnet, hat aber keinen Zugriff auf Ihr Unternehmenswissen und keinen Begriff davon, was in Ihrem Haus gerade gilt.

Genau daraus entsteht das Problem, das viele Organisationen von KI im Kundenkontakt abhält: Ein Modell ohne Wissensanbindung formuliert eine falsche Auskunft genauso überzeugend wie eine richtige. RAG löst das nicht vollständig, aber es verlagert die Antwort auf eine Grundlage, die Sie kontrollieren und die sich benennen lässt.

Was kann eine KI mit RAG und Tool-Integration konkret tun?

Mit RAG allein kann eine KI Auskunft geben, mit Tool-Integration kann sie zusätzlich handeln. Tool-Integration bedeutet, dass ein Sprachmodell über definierte Schnittstellen Aktionen in anderen Systemen auslöst — es beantwortet die Frage nicht nur, es erledigt den Vorgang.

In der Praxis heisst das: Die KI ruft den Stand einer Bestellung im ERP ab, trägt eine Adressänderung im CRM nach, verschickt eine Bestätigung oder setzt einen Termin im Kalender. Welche Aktionen erlaubt sind und wann stattdessen nachgefragt werden muss, legen Sie im Workflow fest — die Anbindung an Ihre Kernsysteme entscheidet darüber, was überhaupt möglich ist.

Bleiben meine Daten bei RAG in der Schweiz?

Das hängt davon ab, wo die Wissensbasis und wo das Sprachmodell betrieben werden — und diese beiden Fragen sind getrennt zu beantworten. Bei aiaibot wird Ihre Wissensbasis je nach Anforderung auf Servern in der Schweiz gehostet, und es findet keine Datenübermittlung in die USA statt.

Der Vorteil der RAG-Architektur liegt hier in der Trennung selbst: Weil Ihr Wissen nicht ins Modell einfliesst, sondern nur zur Laufzeit abgefragt wird, bleibt es ein abgegrenzter, löschbarer Bestand. Sie können festlegen, welche Dokumente überhaupt freigegeben sind, wer welche Antworten erhält, und Sie können Daten in definierten Zyklen wieder löschen. Bei einem nachtrainierten Modell geht das nicht mehr — dort ist das Wissen Teil des Modells geworden.

Was ist der Unterschied zwischen RAG und einem KI-Agenten?

RAG beschafft Wissen, ein KI-Agent führt Handlungen aus. Ein System mit RAG kann Ihnen sagen, wie der Ablauf für eine Adressänderung ist; ein KI-Agent trägt die neue Adresse im angebundenen System ein und bestätigt sie.

Mehr zu KI-Agenten

In der Praxis bauen die beiden aufeinander auf. Ohne verlässliche Wissensgrundlage handelt ein Agent auf dünner Basis, und ohne Handlungsfähigkeit bleibt auch die beste Auskunft eine Auskunft. Deshalb ist RAG bei uns kein separates Produkt, sondern die Grundlage, auf der KI-Chatbot, E-Mail-Automatisierung, Prozessautomatisierung und KI-Agenten aufsetzen. Wie das technisch zusammenspielt, steht auf der Seite zur KI-Technologie von aiaibot.

Mehr zur KI-Technologie

FAQs

Häufig gestellte Fragen

Wo stösst RAG an Grenzen?

RAG behebt keine Probleme, die in den Daten selbst liegen. Sind Ihre Dokumente widersprüchlich, veraltet oder unvollständig, gibt das System diese Mängel zuverlässig weiter — nur schneller und in gutem Deutsch.

Drei Grenzen sind in Projekten regelmässig relevant. Erstens: Was nicht dokumentiert ist, kann nicht gefunden werden — Wissen, das nur in Köpfen existiert, muss zuerst aufgeschrieben werden. Zweitens: Berechtigungen müssen sauber geführt sein, sonst beantwortet das System Fragen, die eine Person gar nicht stellen dürfte. Drittens: Bei Fragen, die mehrere Quellen gegeneinander abwägen, bleibt eine menschliche Prüfung nötig.

Das ist kein Argument gegen RAG. Es ist das Argument dafür, mit einem klar abgegrenzten Bereich zu beginnen, in dem die Dokumentenlage gut ist, statt die gesamte Wissensbasis auf einmal anzubinden.

Wie führt man RAG in einem Unternehmen ein?

Man beginnt mit einem Anwendungsfall, der häufig vorkommt und dessen Dokumentenlage bereits sauber ist — nicht mit dem schwierigsten Fall. Der Handlungsrahmen wird definiert, die Antworten bleiben von Anfang an nachvollziehbar, und der Umfang wächst erst, wenn die Qualität stimmt.

Rascher Start, aber ohne unrealistische Zeitversprechen: Wie lange die Einführung dauert, hängt vor allem davon ab, in welchem Zustand Ihre Dokumente sind — und das lässt sich seriös erst beurteilen, wenn man sie gesehen hat.

Kann RAG Halluzinationen verhindern?

Verhindern nicht, aber deutlich eingrenzen. Weil das System seine Antwort aus freigegebenen Dokumenten bildet statt aus dem Trainingswissen, lässt sich jede Aussage auf eine Quelle zurückführen — und was nicht in den Dokumenten steht, kann als Lücke behandelt statt frei ergänzt werden.

Entscheidend ist, was passiert, wenn nichts Passendes gefunden wird. Ein sauber eingerichtetes System sagt dann, dass es die Antwort nicht kennt, und übergibt an einen Menschen. Diese Regel legen Sie selbst fest.

Ist RAG DSGVO-konform?

RAG ist eine Architektur, keine Konformitätszusage — konform wird eine Lösung erst durch den Betrieb: wo die Daten liegen, wer Zugriff hat, wie lange sie aufbewahrt werden. Der Vorteil von RAG ist, dass Ihr Wissen ein abgegrenzter Bestand bleibt und damit prüfbar, einschränkbar und löschbar ist.

Bei aiaibot ist die KI-Plattform DSGVO-konform und die Wissensbasis wird je nach Anforderung auf Servern in der Schweiz gehostet. Es findet keine Datenübermittlung in die USA statt, und Daten werden in definierten Zyklen automatisch gelöscht.

Was ist RAG – und wie greift KI auf Ihr Wissen zu, ohne dass Daten die Schweiz verlassen?