Warum das in Ihrer Woche auftaucht
Jemand fragt den Bot nach der Retourenpolicy. Ohne RAG erfindet er einen selbstsicheren Absatz. Mit RAG zieht er den aktuellen PDF-Chunk, antwortet aus diesem Text und kann die Quelle zeigen. Das ist der Unterschied zwischen Demo und etwas, das Support anfasst.
Klartext
Eine Query embeddet oder durchsucht Ihr Corpus. Top-Chunks hängen am Prompt. Das Modell soll aus diesem Kontext antworten.
RAG ist kein magisches Gedächtnis. Veraltete Indizes, schlechtes Chunking und fehlende Access Controls produzieren selbstsichere falsche Antworten.
Berechtigungen müssen zur Retrieval-Zeit enforced werden. Sonst kann ein User die Datei eines anderen Kunden abrufen.
Zitate oder Source-Links lassen Menschen verifizieren. Quelle verstecken heißt, den Failure Mode zu verstecken.
Starten Sie mit schmalem Corpus (eine Produktlinie, ein Policy-Set). Erweitern nach bestandenen Evals.
Fakten zum Behalten
- Muster
- Retrieve → Kontext stuffen → generieren
- Typische Stores
- Vector Index, Keyword/Hybrid Search, Document Stores
- Scheitert wenn
- Veraltetes Corpus, schlechtes Chunking, fehlende ACL-Filter
- Paart mit
- Human-in-the-loop, Guardrails, Eval-Sets
- Nicht dasselbe wie
- Fine-Tuning der Modellgewichte auf Ihren Docs
Nicht dasselbe wie
- Fine-TuningFine-Tuning ändert Modellgewichte. RAG hält das Modell fix und tauscht frischen retrieved Context, meist besser für sich häufig änderndes Firmenwissen.
- Ein Chatbot mit langem System-PromptPrompts helfen Verhalten. Sie ersetzen kein Retrieval aktueller Dokumente.
- Modell auf dem öffentlichen Web trainierenRAG geht um Ihr Corpus zur Query-Zeit, nicht um allgemeines Pretraining.
Wo es wehtut
RAG tut weh, wenn eine Demo auf fünf PDFs funktioniert und dann am echten SharePoint-Chaos scheitert, oder wenn Retrieval die falschen Kundendaten zurückgibt, weil Berechtigungen ignoriert wurden.
Vertrauen bricht in einer schlechten Antwort zusammen, und das Team deaktiviert den Bot statt Retrieval zu fixen.
Was zu prüfen ist
- Welches Corpus ist indexiert, und wie oft refresht es?
- Werden Dokumentenberechtigungen zur Retrieval-Zeit enforced?
- Zitieren oder verlinken Antworten die retrieved Source zur menschlichen Prüfung?
- Was passiert, wenn Retrieval nichts Nützliches zurückgibt?
- Welche Eval-Fragen beweisen, dass der Bot sicher erweitert werden kann?
Häufige Fragen
Was ist RAG?
Retrieval-Augmented Generation ruft zur Query-Zeit relevante Dokumente ab und liefert sie als Kontext, damit ein Modell grounded Antworten generiert.
Wie unterscheidet sich RAG von Fine-Tuning?
Fine-Tuning ändert Modellgewichte. RAG hält das Modell fix und tauscht frischen retrieved Context, meist besser für sich häufig änderndes Firmenwissen.
Brauchen wir trotz RAG Guardrails?
Ja. Retrieval kann das falsche Doc liefern. Guardrails und menschliche Review zählen weiter bei High-Impact-Antworten.
Was sollten Sie bei einem RAG-System zuerst prüfen?
Corpus-Qualität, Refresh-Kadenz, Permission-Filter, Chunking-Strategie und ob Antworten Sources für menschliche Verifikation exposen.
Reicht RAG für EU AI Act?
RAG hilft bei faktischer Grounding. Rechtliche Pflichten können trotzdem Transparenz, Oversight und Risikoklassifikation je Use Case verlangen.