RAG-Tools passend zu Dokumenten und Fehlerrisiko auswählen

Zuerst klären: Soll das System suchen oder eine Antwort formulieren?

Bevor du Tools vergleichst, solltest du genau festlegen, was das System leisten soll. Eine Stichwortsuche findet wörtliche Übereinstimmungen. Eine semantische Suche versucht, Textstellen mit ähnlicher Bedeutung zu finden. Ein System zur Retrieval-Augmented Generation (RAG) fügt die abgerufenen Ergebnisse dem Kontext eines Sprachmodells hinzu, das daraus eine Antwort formuliert. Das sind unterschiedliche Fähigkeiten, auch wenn ein Produkt sie kombinieren kann.

Eine herkömmliche Suche kann ausreichen, wenn die Nutzer wissen, nach welchem Begriff, Titel oder Kennzeichen sie suchen müssen und anschließend das Originaldokument öffnen wollen. Eine semantische Suche hilft, wenn Anfrage und Dokument unterschiedliche Wörter für einen ähnlichen Sachverhalt verwenden. RAG ist sinnvoll, wenn Informationen aus mehreren Textstellen zu einer Antwort im Gesprächsstil zusammengeführt werden sollen – mit Möglichkeiten, die Quellen nachzuprüfen. RAG macht die abgerufenen Informationen jedoch nicht automatisch wahr. Auch eine gut formulierte Antwort ist kein Beleg.

Kriterium 1: Die Dokumentform bestimmt die Aufbereitung

Das Dateiformat ist kein nebensächliches Detail der Datenaufnahme. Es beeinflusst, welcher Text und welche Struktur in der Suche verfügbar sind. Einfacher Fließtext lässt sich meist leichter indexieren als ein gescanntes PDF, eine Tabelle mit verbundenen Zellen oder ein Bericht, in dem Überschriften, Fußnoten und Tabellen zusammengehören. Bei abfotografierten oder gescannten Seiten kann OCR erforderlich sein. Für Tabellen, Spalten und Überschriften braucht es eine Extraktion, die die Beziehungen zwischen den Daten erhält.

Auch das Chunking – die Aufteilung von Dokumenten in durchsuchbare Abschnitte – muss die Struktur des Inhalts berücksichtigen. Wird eine Tabelle mitten in einer Zeile geteilt oder eine Zahl von ihrer Überschrift getrennt, kann ein Abschnitt relevant wirken und dennoch mehrdeutig sein. Bei längeren Texten lohnt es sich, Grenzen anhand von Abschnitten oder Sinneinheiten zu testen, Metadaten zu bewahren und echte indexierte Beispiele zu prüfen. Eine universell optimale Chunk-Größe gibt es nicht: Sie hängt von den Fragen, den Inhalten und dem Modell ab, das den Kontext erhält.

Kriterium 2: Aktualität, Zugriffsrechte und Nachvollziehbarkeit

Wenn sich Dokumente häufig ändern, gehört die Aktualisierung des Index zum Systementwurf. Die Datenaufnahme braucht Regeln, um neue und geänderte Dokumente zu erkennen, aktuelle Versionen zu übernehmen und Inhalte zu entfernen, die nicht länger in den Ergebnissen erscheinen sollen. Miss, wie lange es in deinem Datenfluss dauert, bis eine Änderung über Suchanfragen sichtbar wird. Eine zugesagte Aktualisierung ist noch kein Test.

Bei sensiblen Anfragen sollte eine überprüfbare Verbindung zwischen jeder Antwort und ihren Quellen bestehen: etwa Dokumentkennung, Version oder Datum, Abschnitt oder Seite und verwendeter Textausschnitt – soweit der Bestand diese Angaben hergibt. Außerdem sollte das System rekonstruieren lassen, welche Inhalte bei einer Anfrage abgerufen wurden, und Berechtigungen prüfen, bevor Inhalte das Modell erreichen. Ein sichtbarer Quellenverweis erleichtert die Kontrolle, belegt aber für sich genommen weder die Aussage noch, dass die Quelle maßgeblich ist.

Die KI-Verordnung der Europäischen Union stuft nicht jedes RAG-System als Hochrisiko-System ein und legt keine einheitlichen Zitieranforderungen für jedes Tool fest. Die Einstufung hängt vom vorgesehenen Einsatz und den anwendbaren Bedingungen ab. Ist das System Teil eines regulierten Anwendungsfalls oder beeinflusst es sensible Entscheidungen, müssen die maßgeblichen Pflichten mit fachkundiger Unterstützung ermittelt werden. Protokollierung, Aufsicht und Zugriffskontrollen sind entsprechend auszulegen. Die hier verfügbaren Quellen reichen nicht aus, um sämtliche rechtlichen Anforderungen für alle Branchen oder Systeme darzustellen.

Kriterium 3: Suchqualität, Latenz und Kosten

Keine einzelne Kennzahl validiert ein vollständiges RAG-System. Beim Information Retrieval misst Recall, ob die erwarteten relevanten Textstellen gefunden wurden; Präzision misst, welcher Anteil der abgerufenen Ergebnisse relevant ist. MRR bewertet die Position des ersten relevanten Treffers; NDCG berücksichtigt Qualität und Reihenfolge mehrerer Ergebnisse. Diese Kennzahlen eignen sich dazu, Suchverfahren anhand eines Satzes von Anfragen mit erwarteten Antworten oder Textstellen zu vergleichen. Sie beweisen jedoch nicht, dass eine erzeugte Antwort wahr, vollständig oder rechtlich korrekt ist.

Bewerte getrennt, ob die Antwort dem Kontext treu bleibt, ob sie alle nötigen Informationen abdeckt und ob ihre Quellenangaben stimmen. Lege Beispiele fest, bei denen die richtige Reaktion Enthaltung ist – etwa wenn Dokumente fehlen, Quellen einander widersprechen oder die Berechtigungen nicht ausreichen. Automatische Metriken können die Prüfung vieler Durchläufe unterstützen. Bei repräsentativen Anfragen, insbesondere bei folgenreichen Fehlern, sollten sie jedoch durch menschliche Bewertungen ergänzt werden.

Miss die End-to-End-Latenz und schlüssle sie auf: Suche, Re-Ranking – also die erneute Sortierung der Kandidaten nach ihrem Nutzen –, Modellaufrufe und weitere Schritte. Zusätzliche Suchschritte können Zeit und Kosten erhöhen. Sie sollten nur hinzukommen, wenn nachweisbar ist, dass sie die Qualität für die konkrete Aufgabe verbessern. Die Kosten pro Anfrage hängen außerdem von der Länge des Kontexts, der Zahl der Aufrufe, dem verarbeiteten Volumen und der Infrastruktur ab. Die verfügbaren Quellen nennen keine universellen Grenzen für Dokumentgröße oder Tabellenkomplexität kommerzieller Tools: Solche Grenzen hängen von Produkt, Konfiguration und Zeitpunkt ab.

Drei Szenarien und was sich zuerst testen lässt

Unstrukturierte Dokumente: Stelle die korrekte Extraktion in den Vordergrund, bevor du Modelle vergleichst. Teste OCR bei gescannten Seiten, Parsing, das Tabellen erhält, und Chunking, das Abschnitte respektiert. Enthalten die Anfragen neben Konzepten auch Namen, Codes oder genaue Verweise, vergleiche lexikalische und semantische Suche – einschließlich einer hybriden Kombination. Re-Ranking kann helfen, wenn die erste Kandidatenmenge relevante Textstellen enthält, diese aber falsch sortiert. Es behebt keine Extraktion, bei der Informationen verloren gegangen sind.

Häufige Aktualisierungen: Definiere Aktualitätsziele und prüfe den gesamten Ablauf von Aktualisierung, Ersetzung und Löschung. Bewahre Daten und Versionen als durchsuchbare Metadaten. Hängt eine Antwort von mehreren Quellen ab oder muss die Anfrage zerlegt werden, kann ein iterativer Ansatz helfen, führt aber zusätzliche Schritte ein. Beginne mit standardmäßiger Suche, wenn eine Abfrage in einem Index genügt. Vergleiche danach den Nutzen mit dem Anstieg von Latenz und Kosten.

Rechtliche oder wissenschaftliche Nachvollziehbarkeit: Verlange auffindbare Quellen, für spätere Prüfungen nützliche Protokolle, Zugriffskontrollen und Regeln für Enthaltung. Die Generierung ersetzt weder die fachliche Auslegung noch die Prüfung, ob ein Dokument maßgeblich oder aktuell ist. Kontrolliere bei Aussagen mit großer Tragweite Quellenangaben und Originalkontext. Dokumentiere Korrekturen und bewerte, ob das System lediglich Belege auffinden sollte, statt Schlussfolgerungen zu formulieren.

Grenzen: Relevanz ist nicht dasselbe wie Wahrheit

Ein Suchsystem ordnet Kandidaten anhand von Übereinstimmungs- oder Relevanzsignalen. Es bestätigt nicht, dass ein Dokument korrekt, offiziell, aktuell oder anwendbar ist. Eine Antwort kann eine passende Textstelle zitieren und dennoch verallgemeinern, eine Bedingung auslassen, Versionen vermischen oder eine Tabelle falsch interpretieren. Ebenso kann das System die entscheidende Quelle übersehen und eine flüssige Antwort auf unvollständiger Grundlage erzeugen. Eine sichtbare Quellenangabe ist deshalb keine automatische Faktenprüfung.

Schutzmaßnahmen sollten zum jeweiligen Risiko passen: Berechtigungen bereits bei der Suche durchsetzen, Herkunft und Version speichern, Aussagen mit Textstellen abgleichen, Konflikte erkennen, Fragen ohne ausreichende Antwortgrundlage testen und Enthaltung ermöglichen. Bei Anwendungsfällen mit hohen Auswirkungen gehören menschliche Prüfung und klar definierte Zuständigkeiten dazu. Auch nach der Einführung sollte die Aufsicht echte Anfragen und Fehler stichprobenartig einbeziehen; eine anfängliche Evaluation allein reicht nicht.

RAG entscheidet außerdem nicht, welche Quellen maßgeblich sind, und löst Widersprüche zwischen Dokumenten nicht selbstständig auf. Dafür braucht es Regeln zur Datenverwaltung – etwa nach Status, Datum oder verantwortlicher Stelle – und bei sensiblen Fällen menschliches Urteilsvermögen. Reicht eine Dokumentensuche ohne Generierung aus, ist sie möglicherweise einfacher und leichter zu prüfen. Das passende Tool ist dasjenige, das die Aufgabe innerhalb messbarer Grenzen löst – nicht das mit den meisten Komponenten.

Praktische Kriterien für die Entscheidung

Beschreibe zunächst echte Anfragen und die Folgen einer falschen Antwort. Geht es darum, Dokumente zu finden, teste zuerst eine Stichwort- oder semantische Suche. Müssen Textstellen zusammengefasst werden, vergleiche RAG mit einer Suchbaseline und bewerte Suche und Generierung getrennt. Sind Dokumente maschinell schwer lesbar, löse zuerst OCR oder Parsing. Ein generatives Modell kann nicht zuverlässig rekonstruieren, was nie in seinen Kontext gelangt ist.

Bitte Anbieter um Tests mit deinem eigenen Bestand oder einer repräsentativen Stichprobe und prüfe konkrete Grenzen in der aktuellen Produktdokumentation für die geplante Vertragskonfiguration. Kontrolliere unterstützte Formate, maximale Größen, Tabellenverarbeitung, Aktualisierungen, Berechtigungen, Export von Protokollen und Kosten bei der erwarteten Suchlast. Übertrage keine Zahl aus einer einzelnen Konfiguration oder einem Anbieter auf alle Systeme.

Die Entscheidung kann schrittweise erfolgen: erst eine einfache Suche, dann eine hybride Suche, wenn exakte und semantische Begriffe zusammen vorkommen; anschließend Re-Ranking, sofern es die Ergebnisreihenfolge verbessert; und RAG, wenn die Zusammenfassung messbaren Nutzen bringt. Iterative Suche sollte erst hinzukommen, wenn die Anfragen tatsächlich mehrere Schritte erfordern. Lege vor dem Einsatz Abnahmekriterien, Datenverantwortliche, Prüfregeln und ein Verfahren zur Rücknahme oder Korrektur problematischer Antworten fest.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.