Was ist ein RAG-System?
Ein RAG-System (Retrieval-Augmented Generation) ist ein KI-System, das vor der Antwort passende Abschnitte aus einer eigenen Wissensbasis sucht und die Antwort ausschließlich auf dieser Grundlage formuliert. Statt aus dem Trainingswissen zu antworten, schlägt das System also erst nach – wie ein Mensch, der ins Handbuch schaut. Das macht Antworten aktuell und belegbar: Jede Aussage lässt sich auf ein konkretes Dokument zurückführen.
Wie ein RAG-System funktioniert
1. Aufbereitung: Eure Dokumente werden in sinnvolle Abschnitte zerlegt und in Zahlenvektoren (Embeddings) umgerechnet, die ihre Bedeutung abbilden. Diese Vektoren landen in einer Vektordatenbank.
2. Retrieval: Kommt eine Frage, wird auch sie in einen Vektor umgerechnet. Das System sucht die inhaltlich ähnlichsten Abschnitte – semantisch, nicht nach Stichwort. Eine Frage nach „Urlaubsanspruch“ findet so auch einen Abschnitt über „Erholungsurlaub“.
3. Generation: Die gefundenen Abschnitte werden dem Sprachmodell zusammen mit der Frage übergeben, mit der Anweisung, ausschließlich daraus zu antworten. Das Ergebnis ist eine formulierte Antwort samt Verweis auf die Fundstellen.
Der entscheidende Unterschied zu einem reinen Chatbot: Das Modell muss nichts „wissen“. Neue Dokumente sind sofort verfügbar, ohne dass das Modell neu trainiert werden muss – und veraltete Inhalte verschwinden, sobald man sie entfernt.
Warum RAG für Unternehmenswissen sinnvoll ist
Jede Antwort verweist auf die Quelle – nachprüfbar statt Blackbox.
Neue Dokumente werden indexiert und sind sofort nutzbar, ohne Re-Training.
Das Modell antwortet aus vorgelegten Belegstellen statt aus vagem Trainingswissen.
Interne Handbücher, Richtlinien und Verträge werden durchsuchbar – Inhalte, die kein öffentliches Modell kennt.
Die Inhalte bleiben in eurer Wissensbasis; sie müssen nicht in ein Modell eintrainiert werden.
In Kombination mit einem Berechtigungskonzept werden nur Quellen herangezogen, die die fragende Person sehen darf.
Ein RAG-System kann nur so gut sein wie seine Quellen: Sind die zugrunde liegenden Dokumente fehlerhaft, veraltet oder widersprüchlich, gibt das System diese Fehler entsprechend wieder. Es prüft Inhalte nicht auf sachliche Richtigkeit. Deshalb bleibt die Quellenangabe wichtig – und die fachliche Prüfung der Antworten Aufgabe der Nutzenden. Auch RAG macht KI nicht unfehlbar, aber es macht sie nachvollziehbar.
Häufige Fragen
Was ist der Unterschied zwischen RAG und Feintuning?
Beim Feintuning wird ein Modell mit zusätzlichen Daten weitertrainiert – aufwendig, und neue Inhalte erfordern erneutes Training. RAG lässt das Modell unverändert und stellt Wissen zur Laufzeit bereit. Für sich häufig änderndes Unternehmenswissen ist RAG deshalb meist die passendere Wahl.
Braucht RAG eine Vektordatenbank?
In der Praxis fast immer: Sie ermöglicht die semantische Suche, also das Finden nach Bedeutung statt nach exaktem Stichwort. Manche Systeme kombinieren sie zusätzlich mit klassischer Volltextsuche, um Genauigkeit und Trefferquote zu erhöhen.
Verhindert RAG Halluzinationen vollständig?
Nein, aber es reduziert sie deutlich, weil das Modell aus konkreten Belegstellen antwortet statt aus dem Gedächtnis. Restrisiko bleibt – etwa wenn Quellen widersprüchlich sind. Die Quellenangabe macht solche Fälle jedoch überprüfbar.
Wie kommen unsere Dokumente in das System?
Sie werden hochgeladen und automatisch aufbereitet und indexiert. Bei KOSMO sind neue Inhalte unmittelbar danach verfügbar – ohne Re-Training und ohne dass die Wissensbasis neu aufgebaut werden muss.
Wie das bei KOSMO aussieht
Theorie ist das eine – in 30 Minuten zeigen wir live, wie KOSMO das in eurer Organisation umsetzt. Mit euren eigenen Inhalten.
