RAG erklärt: Warum KI rät und wie du ihr die richtigen Infos gibst

Warum KI lieber rät

Andrej Karpathy, Mitgründer von OpenAI, hat gesagt, dass Kontext-Engineering so ziemlich die wichtigste Fähigkeit im Umgang mit KI ist. Im Original (X, 25. Juni 2025) nennt er es „the delicate art and science of filling the context window with just the right information for the next step“. Auf Deutsch: die Kunst, der KI im richtigen Moment genau die richtigen Infos hinzulegen.

Um zu verstehen, warum das so wichtig ist, musst du wissen, wie ein Sprachmodell arbeitet. Fachwort: LLM, kurz für Large Language Model. Ein LLM schreibt Wort für Wort. Bei jedem Schritt rechnet es aus, welches Wort als nächstes am wahrscheinlichsten passt. Es schlägt dabei nichts nach. Alles, was es „weiß“, steckt in Mustern aus dem Training.

Fragst du: „Wo sitzt bei uns der IT-Support?“, rechnet das Modell trotzdem. Vielleicht kommt „im 3. Stock“ mit 62 % raus und „im Keller“ mit 21 %. Die Antwort klingt sicher, ist aber geraten. LLMs geben dir trotzdem eine Antwort, weil sie so gebaut sind, dass sie immer die wahrscheinlichste Antwort geben.

OpenAI hat selbst rausgefunden, dass KI lieber rät, als zuzugeben, dass sie etwas nicht weiß. Im Paper „Why Language Models Hallucinate“ (September 2025) vergleichen die Forscher Sprachmodelle mit Schülern in einer schweren Prüfung: Wer rät, hat eine Chance auf Punkte. Wer das Feld leer lässt, bekommt sicher null. Modelle werden ähnlich bewertet, also lernen sie zu raten. Diese selbstbewussten Falschantworten heißen Halluzinationen.

Das Beispiel mit Julius

Stell dir das so vor. Julius weiß ziemlich viel über die Welt und kann dir zum Beispiel sagen, wie groß der Tiergarten ist. Aber wenn du ihn fragst, wo in deiner Firma der IT-Support sitzt, hat er natürlich keine Ahnung.

Der Unterschied zur KI: Julius tut nicht so, als wüsste er es. Er sagt einfach „keine Ahnung“. Das LLM dagegen rät.

Außer du gibst ihm eure Firmendokumente. Dann kann auch Julius darin suchen, die richtige Stelle finden und dir korrekt antworten, statt zu raten. Genau das macht deine KI auch: Sie holt sich erst den passenden Kontext und generiert dann die Antwort.

RAG: Retrieval-Augmented Generation

Dieses Prinzip hat einen Namen: RAG, kurz für Retrieval-Augmented Generation. Retrieval heißt suchen, Generation heißt antworten. Das Wort in der Mitte, Augmented, heißt „angereichert“: Deine Frage wird mit den gefundenen Textstellen angereichert, bevor die KI antwortet.

Und genau das ist Kontext-Engineering: Nicht der perfekte Prompt entscheidet, sondern welche Infos die KI hat, bevor sie antwortet.

Was im Hintergrund passiert

Programmieren musst du das nicht. Wenn du die fünf Schritte kennst, verstehst du aber, warum RAG manchmal danebenliegt und wie du das verhinderst.

1. Zerlegen. Deine Dokumente werden in kleine Abschnitte geschnitten, meist ein paar Absätze lang. Fachwort: Chunks.
2. Einsortieren. Jeder Abschnitt bekommt eine Art Bedeutungs-Fingerabdruck, eine lange Zahlenreihe, die beschreibt, worum es darin geht. Fachwort: Embedding. Abschnitte mit ähnlichem Inhalt bekommen ähnliche Fingerabdrücke, auch wenn andere Wörter drinstehen. „Kündigungsfrist“ und „wie lange vorher muss ich kündigen“ landen nah beieinander.
3. Suchen. Deine Frage bekommt ebenfalls einen Fingerabdruck. Das System sucht die Abschnitte mit dem ähnlichsten Fingerabdruck und nimmt die besten paar.
4. Anreichern. Diese Abschnitte gehen zusammen mit deiner Frage an das Sprachmodell. Sinngemäß: „Hier sind fünf Textstellen. Beantworte damit die Frage.“
5. Antworten. Erst jetzt schreibt das LLM. Weil die richtige Stelle direkt vor ihm liegt, ist die wahrscheinlichste Antwort jetzt auch die richtige.

Merk dir vor allem Schritt 3. Bei großen Datenmengen liest die KI nicht alles, sondern das, was die Suche findet. Erwischt die Suche die falsche Stelle, antwortet die KI sauber formuliert auf Basis der falschen Stelle.

So nutzt du RAG selbst

In ChatGPT, Claude und NotebookLM ist RAG schon eingebaut. Du lädst Dokumente hoch, das Suchen übernimmt das Tool. Für deine eigenen Unterlagen ist RAG fast immer der richtige Weg. Fine-Tuning brauchst du als normaler Nutzer praktisch nie.

Die vier Wege bauen aufeinander auf. Fang mit Weg 1 an, um das Prinzip in Aktion zu sehen. Für alles, was du öfter brauchst, nimm Weg 2 oder 3. Für Recherche mit vielen Quellen und klickbaren Belegen ist Weg 4 am stärksten.

Der Gegencheck nach jeder wichtigen Antwort

Prüf deine letzte Antwort. Welche Aussagen stehen in meinen Dateien, und welche hast du ergänzt oder geschlussfolgert?
Mach zwei Listen:
1. Aus den Dateien (mit Dateiname und wörtlichem Zitat)
2. Ergänzt oder geschlussfolgert

Kontext-Engineering: so fütterst du die Suche richtig

Wie gut RAG funktioniert, entscheidet sich beim Hochladen, nicht beim Fragen. Fünf Regeln:

1. Klare Dateinamen. „Mietvertrag_Wohnung_2024.pdf“ statt „Scan_0034.pdf“. Anthropic empfiehlt das ausdrücklich, weil gut benannte Dateien leichter gefunden werden.
2. Ein Thema pro Projekt. Urlaubsplanung und Rezepte im selben Projekt machen die Suche ungenauer.
3. Echter Text statt Foto. Ein abfotografiertes Dokument ohne Textebene ist für die Suche schwer lesbar. Test: Kannst du im PDF ein Wort markieren und kopieren? Dann ist Text drin.
4. Alte Versionen raus. Liegen der Vertrag von 2023 und der von 2024 nebeneinander, erwischt die Suche vielleicht den alten. Lösch, was nicht mehr gilt.
5. Konkret fragen. „Wie lang ist die Kündigungsfrist im Mietvertrag?“ findet die Stelle. „Was steht da so drin?“ gibt der Suche nichts in die Hand.

Zum Weiterschauen

Diese Videos erklären die Grundlagen am besten. Sie sind auf Englisch. Über das Zahnrad in YouTube kannst du automatisch übersetzte deutsche Untertitel einschalten. Das letzte Video ist auf Deutsch.