RAG System einfach erklärt: Eine KI, die Ihre Firmendokumente kennt
Veröffentlicht am
Was ist ein RAG System in einfachen Worten?
RAG steht für Retrieval Augmented Generation. Retrieval heißt Wiederfinden, Generation heißt Erzeugen von Text. Ein RAG System kombiniert beides: Zuerst sucht es die passenden Stellen in Ihren Dokumenten, dann formuliert ein Sprachmodell auf dieser Grundlage die Antwort.
Ein Vergleich hilft. Stellen Sie sich eine Mitarbeiterin vor, die jede Frage zuerst im Ordner nachschlägt und erst dann antwortet, mit dem Hinweis, auf welcher Seite sie es gefunden hat. Genau so arbeitet ein RAG System, nur sehr viel schneller. Ein Sprachmodell ohne diese Suche antwortet aus dem, was es beim Training gelernt hat. Das kann allgemein richtig sein, über Ihre Preise, Verträge oder Abläufe weiß es nichts.
Das Verfahren ist kein eigenes Produkt, sondern eine Bauart. Wie RAG im Glossar knapp erklärt wird, können Sie dort nachlesen. Hier geht es darum, was das im Betrieb bedeutet.
Wie funktioniert es Schritt für Schritt?
Ein RAG System arbeitet in zwei Phasen. Die erste läuft einmal im Voraus und bei jeder Änderung der Unterlagen, die zweite bei jeder Frage.
Vorbereitung der Dokumente:
- Sammeln: Die Dokumente werden aus den Quellen eingelesen, etwa aus Ablage, Postfach oder Wissensdatenbank.
- Aufbereiten: Der Text wird aus PDF, Word oder Mail herausgelöst. Bei Scans erkennt eine Texterkennung die Schrift. Wo das schlecht gelingt, leidet später die Antwort.
- Zerteilen: Lange Dokumente werden in Abschnitte geteilt, die jeweils ein Thema behandeln.
- Indexieren: Jeder Abschnitt erhält einen Zahlenwert, der seine Bedeutung abbildet. Das ermöglicht eine Suche nach Sinn statt nach Wörtern. Wer nach "Kündigungsfrist" fragt, findet auch eine Stelle, in der von "Laufzeit und Beendigung" die Rede ist.
Beantwortung einer Frage:
- Suchen: Das System sucht die Abschnitte, die zur Frage passen.
- Antworten: Diese Abschnitte werden zusammen mit der Frage an das Sprachmodell übergeben. Es formuliert eine Antwort, die auf diesen Abschnitten beruht.
- Belegen: Die Antwort nennt die Fundstelle, etwa Dokument und Abschnitt. Sie prüfen mit einem Klick, ob das Modell richtig gelesen hat.
Wichtig ist: Das Sprachmodell wird dabei nicht mit Ihren Daten trainiert und verändert sich nicht. Es bekommt die Textstellen nur für die Dauer der Frage zu sehen. Das ist auch der Grund, warum neue Dokumente schnell verfügbar sind. Sie werden indexiert. Schon beim nächsten Mal findet die Suche sie.
Wofür eignet sich ein RAG System im Betrieb?
Ein RAG System lohnt sich überall dort, wo viele Unterlagen vorliegen und Beschäftigte regelmäßig darin suchen. Typische Einsatzfelder sind die folgenden.
- Handbücher und Arbeitsanweisungen: Die Frage "Wie wird dieses Gerät gewartet?" liefert den Abschnitt aus dem passenden Handbuch statt einer Suche durch mehrere PDFs.
- Angebote und Leistungsbeschreibungen: Der Vertrieb findet frühere Formulierungen und Leistungsumfänge schneller.
- Verträge: Fragen nach Fristen, Laufzeiten oder Klauseln werden mit Fundstelle beantwortet. Die rechtliche Bewertung bleibt bei Fachleuten.
- Anfragen: Der Kundenservice erhält zu einer Anfrage passende Textbausteine und Informationen als Vorschlag.
- Einarbeitung: Neue Beschäftigte stellen Fragen an die Unterlagen, statt Kolleginnen und Kollegen zu unterbrechen.
Der Nutzen steigt mit der Menge der Unterlagen und der Häufigkeit der Fragen. Bei zehn Dokumenten genügt meist die normale Suche im Ordner. Wo Hunderte Dokumente und mehrere Beschäftigte zusammenkommen, wird die Suche nach Bedeutung spürbar besser. Wie sich das in ein größeres Bild einordnet, zeigt der Beitrag KI im Betrieb: Was heute verlässlich funktioniert.
Was ist der Unterschied zu einem Chat-Assistenten ohne eigene Daten?
Viele kennen Chat-Assistenten, die allgemeine Fragen beantworten. Sie arbeiten mit dem Wissen, das im Modell steckt. Für Fragen zu Ihrem Betrieb fehlt ihnen die Grundlage. Antworten sie trotzdem, geschieht das aus Vermutung. Diese kann daneben liegen.
Die folgende Tabelle vergleicht drei Wege. Die Einstufung ist eine allgemeine Beschreibung der Bauart und keine Bewertung eines bestimmten Produkts.
| Kriterium | Suche im Ordner | Chat-Assistent ohne eigene Daten | RAG System |
|---|---|---|---|
| Aktualität | Aktuell, soweit der Ordner gepflegt ist | Stand des Trainings, nichts aus Ihrem Betrieb | Aktuell nach der letzten Aufbereitung |
| Quellenbezug | Sie sehen das Dokument selbst | Meist keine belegbare Quelle | Fundstelle gehört zur Antwort |
| Suche nach Bedeutung | Nur nach Wörtern | Ja, aber ohne Ihre Unterlagen | Ja, auf Ihren Unterlagen |
| Datenschutz | Daten bleiben im eigenen System | Eingaben gehen an den Anbieter | Hängt vom Aufbau ab, siehe unten |
| Aufwand | Gering | Gering | Aufbau und Pflege nötig |
Der entscheidende Unterschied liegt in der Quelle. Ein RAG System antwortet aus Ihren Dokumenten und zeigt, woher es etwas hat. Das macht Antworten überprüfbar. Darin liegt sein Wert im Betrieb.
Wo liegen die Grenzen?
Ein RAG System ist kein Orakel. Es hat drei typische Schwachstellen.
Datenqualität: Das System kann nur finden, was in lesbarer Form vorliegt. Schlechte Scans, Tabellen in Bildern oder widersprüchliche Dokumente führen zu schlechten Antworten. Ein Teil der Arbeit besteht deshalb darin, die Unterlagen aufzuräumen.
Veraltete Dokumente: Liegen im Ordner drei Fassungen derselben Preisliste, findet die Suche möglicherweise die falsche. Das System kennt den Unterschied zwischen gültig und überholt nur, wenn Sie ihn kennzeichnen. Legen Sie fest, wer Dokumente pflegt und wann Altes entfernt wird.
Rechte: Nicht jede Person darf jedes Dokument lesen. Ein System, das alle Unterlagen in einen gemeinsamen Index legt, würde jedem alles zeigen. Die Rechteverwaltung muss deshalb beim Aufbau mitgedacht werden: Die Suche liefert nur Treffer aus Dokumenten, die die fragende Person sehen darf.
Hinzu kommt eine grundsätzliche Grenze. Auch mit Quellen kann das Sprachmodell eine Stelle falsch auslegen oder zwei Stellen unzulässig verbinden. Das System verringert Fehler, aber es schließt sie nicht aus. Für Aussagen mit Folgen, etwa zu Fristen oder Preisen, bleibt der Blick ins Dokument Pflicht. Ein RAG System ist ein Suchwerkzeug mit Sprachausgabe, kein Ersatz für Fachwissen.
Wie steht es um Datenschutz und Hosting?
Enthalten Ihre Dokumente personenbezogene Daten, etwa in Verträgen, Bewerbungen oder Kundenkorrespondenz, gilt das Datenschutzrecht. Stand 13.10.2026 ergibt sich daraus für ein RAG System im Kern Folgendes.
Verarbeitet ein Dienstleister Daten in Ihrem Auftrag, braucht es einen Vertrag oder ein anderes Rechtsinstrument. Das ist der Auftragsverarbeitungsvertrag nach Artikel 28 Absatz 3 der Datenschutz-Grundverordnung. Der Auftragsverarbeiter verarbeitet die Daten nur auf dokumentierte Weisung, auch bei Übermittlungen in Drittländer. Außerdem dürfen Sie nach Artikel 28 Absatz 1 nur mit Auftragsverarbeitern arbeiten, die hinreichende Garantien bieten. Mehr zum AVV steht im Glossar.
Wichtig ist, den Datenfluss zu kennen. Die Textstellen, die die Suche findet, gehen zusammen mit der Frage an das Sprachmodell. Läuft das Modell bei einem Anbieter, werden diese Stellen dort verarbeitet. Ihr Index kann auf einem eigenen Server liegen. Für die Antwort verlässt der Text ihn trotzdem, sofern das Modell nicht ebenfalls bei Ihnen läuft. Das ist keine Schwäche des Verfahrens, aber ein Punkt, den der Vertrag und die Wahl des Modells klären müssen.
Wird Text in ein Land außerhalb der EU übermittelt, gilt nach Artikel 45 Absatz 1: Ohne besondere Genehmigung ist das zulässig, wenn die EU-Kommission ein angemessenes Schutzniveau beschlossen hat. Für Empfänger in den USA, die nach dem EU-US Data Privacy Framework zertifiziert sind, gilt der Beschluss der Kommission vom 10.07.2023. Prüfen Sie deshalb vor dem Einsatz, ob der Anbieter zertifiziert ist. Das Gericht der EU hat eine Klage dagegen am 03.09.2025 abgewiesen. Die Kommission beobachtet den Beschluss laufend. Ob ein Server in der EU rechtlich vorgeschrieben ist, lässt sich so pauschal nicht sagen, es kommt auf den Einzelfall an.
Bei Konfektor Systeme gelten dafür folgende Zusagen: Der Auftragsverarbeitungsvertrag wird je Projekt geschlossen. Vor Diensten außerhalb der EU stimmen wir uns mit Ihnen ab. Jedes KI-Vorhaben wird zu Beginn schriftlich nach der KI-Verordnung eingeordnet. Dieser Beitrag ersetzt keine Rechtsberatung. Stand: 13.10.2026. Weitere Hintergründe finden Sie im Beitrag KI und Datenschutz.
Rechenbeispiel: Suchzeit pro Woche gegen laufende Kosten
Das folgende Rechenbeispiel zeigt die Methode. Alle Werte sind Annahmen. Es ist weder ein Kundenfall noch ein Preis von Konfektor Systeme.
Angenommen, in einem Beispielbetrieb suchen zehn Beschäftigte jeweils fünfmal pro Woche in Unterlagen, etwa nach einer Klausel, einer Spezifikation oder einem früheren Angebot. Eine Suche dauert im Schnitt 10 Minuten. Das System verkürzt sie nach Annahme auf 3 Minuten. Eine Arbeitsstunde kostet intern 45 Euro. Die laufenden Kosten für Sprachmodell und Server ziehen Sie davon ab. Ein Monat hat in der Rechnung 4,3 Wochen.
| Schritt | Rechnung | Ergebnis |
|---|---|---|
| Suchvorgänge je Woche | 10 Beschäftigte × 5 Suchen | 50 Suchen |
| Zeit heute | 50 × 10 Minuten | 500 Minuten, rund 8,3 Stunden je Woche |
| Zeit mit System (Annahme) | 50 × 3 Minuten | 150 Minuten, 2,5 Stunden je Woche |
| Ersparnis je Woche | 8,3 Stunden − 2,5 Stunden | rund 5,8 Stunden |
| Ersparnis je Monat | 5,8 Stunden × 4,3 Wochen | rund 25 Stunden |
| Wert je Monat | 25 Stunden × 45 Euro | rund 1.125 Euro |
| Laufende Kosten | Ihre Kosten für Sprachmodell und Server | davon abziehen |
Der Saldo berücksichtigt weder den einmaligen Aufbau noch die Pflege der Dokumente. Rechnen Sie beides getrennt hinzu. Prüfen Sie außerdem, ob die Annahme von 3 Minuten tatsächlich stimmt. Messen Sie dazu vor dem Start eine Woche lang, wie oft und wie lange Ihre Beschäftigten suchen. Ohne diese Messung bleibt das Ergebnis eine Hoffnung.
Wenn Sie wissen möchten, ob sich ein RAG System für Ihre Unterlagen eignet, schauen wir im Kennenlerngespräch gemeinsam auf Menge, Zustand und Rechte Ihrer Dokumente. Einen Überblick über das Angebot finden Sie unter KI auf Ihren eigenen Daten.
Häufige Fragen
Was bedeutet RAG?
RAG steht für Retrieval Augmented Generation. Auf Deutsch lässt sich das als durch Suche ergänzte Textgenerierung übersetzen. Das System sucht zu einer Frage passende Stellen in Ihren Dokumenten und lässt ein Sprachmodell daraus eine Antwort formulieren.
Muss ich die KI mit meinen Daten trainieren?
Nein, das Sprachmodell wird nicht verändert. Ihre Dokumente werden aufbereitet und bei jeder Frage durchsucht, die gefundenen Textstellen gehen zusammen mit der Frage an das Modell. Neue oder geänderte Dokumente stehen deshalb nach der nächsten Aufbereitung zur Verfügung, ohne dass etwas neu trainiert werden muss.
Wo liegen meine Dokumente?
Das hängt vom Aufbau ab. Die Dokumente und der Suchindex können auf einem Server Ihrer Wahl liegen. Zusätzlich gehen die gefundenen Textstellen an das Sprachmodell. Läuft es bei einem Anbieter, werden diese Daten dort verarbeitet. Bei Konfektor Systeme gilt: Der Auftragsverarbeitungsvertrag wird je Projekt geschlossen, vor Diensten außerhalb der EU stimmen wir uns mit Ihnen ab.
Kann die KI falsche Antworten geben?
Ja, falsche Antworten sind möglich. Ein RAG System verringert das Risiko, weil die Antwort auf Ihren Unterlagen beruht, es schließt es aber nicht aus. Falsche Antworten entstehen, wenn die Suche die falsche Stelle findet, wenn Dokumente veraltet sind oder wenn das Modell eine Stelle falsch auslegt. Deshalb gehört die Quellenangabe zur Antwort, damit Sie nachprüfen können.
Was kostet ein RAG System?
Das hängt von Menge und Zustand der Dokumente, von den Rechten und vom Betrieb ab. Welcher Aufwand nötig ist, zeigt die Vermessung, danach gibt es einen Festpreis. Dazu kommen laufende Kosten für das Sprachmodell, die von der Nutzungsmenge abhängen.
Quellen
Wie geht es für Ihren Betrieb weiter?
Im Kennenlerngespräch besprechen wir, welche Tätigkeit bei Ihnen am meisten Zeit kostet und welcher Weg dafür in Frage kommt.
Mehr zu diesem Thema: KI-Assistenten
