Ein allgemeines Sprachmodell weiß viel über die Welt, aber nichts über Ihre Preise, Verträge oder internen Regeln. Retrieval-Augmented Generation, kurz RAG, schließt diese Lücke, ohne ein neues Modell zu trainieren.
So funktioniert es
RAG fügt vor der Antwort einen Suchschritt ein. Ihre Dokumente - Wissensdatenbank-Artikel, Richtlinien, Produktbeschreibungen, frühere Antworten an Kunden - werden in kleine Abschnitte zerlegt und nach Bedeutung indexiert. Kommt eine Frage, findet das System die passendsten Abschnitte und übergibt sie zusammen mit der Frage an das Modell. Das Modell formuliert die Antwort auf Basis dieses Materials, idealerweise mit Verweisen auf die genutzten Quellen.
Wann RAG die richtige Wahl ist
RAG eignet sich, wenn Informationen sich häufig ändern und genau bleiben müssen: Produktkataloge, Support-Wissen, interne Abläufe, juristische oder technische Dokumentation. Um den Assistenten zu aktualisieren, genügt es, die Dokumente zu aktualisieren - ein erneutes Training ist nicht nötig. Zudem ist er besser kontrollierbar: Man sieht, welche Abschnitte verwendet wurden, und kann die Antwort daran prüfen.
Was häufig schiefgeht
Die meisten Probleme liegen in den Daten, nicht im Modell. Veraltete oder widersprüchliche Dokumente erzeugen widersprüchliche Antworten. Riesige unstrukturierte Dateien werden schlecht zerlegt, und die Suche liefert irrelevante Stücke. Zugriffsrechte werden oft vergessen: Ein Assistent für Kunden darf keine internen Dokumente sehen. Und ohne einen Satz Testfragen mit bekannten richtigen Antworten kann niemand sagen, ob eine Änderung das System verbessert oder verschlechtert hat.
Wie man beginnt
Wählen Sie einen klar umrissenen Bereich, zum Beispiel die Antworten auf die hundert häufigsten Kundenfragen. Bringen Sie die Dokumente dazu in Ordnung, legen Sie fest, wer was sehen darf, bereiten Sie zwanzig bis dreißig Testfragen vor und messen Sie, wie oft der Assistent richtig antwortet und die richtige Quelle nennt. Erst danach auf neue Themen ausweiten.
Kurz gesagt
RAG macht aus einem allgemeinen Modell einen Assistenten, der auf Grundlage Ihrer Dokumente spricht. Seine Qualität hängt weit mehr von sauberen Daten, sorgfältigen Zugriffsregeln und regelmäßigen Tests ab als von der Wahl des Modells.