RAG mit Belegen: Was antworten, was zitieren und wann sich enthalten?

Ein abgerufener Textabschnitt beweist noch keine Antwort

Bei einem Retrieval-Augmented-Generation-System, kurz RAG, hängt das Ergebnis nicht allein davon ab, ob die Suche Dokumente findet, die zur Anfrage passen. Entscheidend ist auch, ob die endgültige Antwort diese Dokumente korrekt verwendet. Ein Textabschnitt kann dasselbe Thema behandeln, ohne die Frage zu beantworten. Mehrere relevante Passagen können einen wichtigen Teil der Frage offenlassen. Und eine Quellenangabe kann echt sein, ohne die Aussage zu stützen, neben der sie steht.

Die zentrale Designfrage sollte deshalb nicht nur lauten: „Hat das System Dokumente gefunden?“, sondern: „Welche Aussagen lassen sich mit den abgerufenen Belegen tatsächlich treffen?“ Diese kleine Verschiebung verändert, wie Antworten gestaltet, Systeme getestet und Fehler untersucht werden. Ziel ist nicht, für jede Anfrage unbedingt eine Antwort zu erzwingen. Das System soll antworten, wenn die Passagen ausreichen, und eine kontrollierte Alternative wählen, wenn sie es nicht tun.

Dieser Leitfaden konzentriert sich auf diese abschließende Entscheidung. Er behandelt weder Pflege und Versionierung des Korpus noch die Migration von Embeddings oder die Bewertung von Webrecherche-Agenten. Ebenso wenig behauptet er, eine automatische Punktzahl könne bestätigen, dass eine Antwort wahr ist. Stattdessen schlägt er eine praktische Methode vor, um die Beziehung zwischen Anfrage, Belegen und Aussagen zu untersuchen und Situationen aufzudecken, in denen diese Beziehung nicht trägt.

Legen Sie vor der Bewertung einen Belegvertrag fest

Ein Belegvertrag beschreibt, welche Anforderungen eine Antwort erfüllen muss, um in einem bestimmten Produkt als akzeptabel zu gelten. Er ist weder ein Versprechen absoluter Genauigkeit noch eine allgemeine Anweisung wie „Nutze die Quellen“. Er sollte klarstellen, welche Quellen das System verwenden darf, was als ausreichende Unterstützung gilt, welche Referenzen zurückgegeben werden müssen und wie das System vorgeht, wenn die Belege nicht ausreichen.

Beginnen Sie damit, die erwarteten Fragetypen zu klassifizieren. Eine Frage zu einem Datum, einem internen Verfahren, einem Vergleich oder einer Empfehlung kann jeweils andere Belege erfordern. Für eine einfache Sachfrage reicht möglicherweise eine direkte und einschlägige Passage. Für einen Vergleich können Angaben zu beiden verglichenen Elementen erforderlich sein. Bei einer zusammengesetzten Frage muss jeder Teil belegt oder ausdrücklich als ungeklärt gekennzeichnet werden. Das ist eine Produktentscheidung: Die verfügbaren Quellen geben keinen allgemeingültigen Schwellenwert für ausreichende Belege vor.

Legen Sie auch fest, welche Quellen zulässig sind. Bei einem internen Assistenten könnten Antworten beispielsweise auf freigegebene Dokumente im Arbeitsbereich beschränkt sein. Bei einem Produkt mit öffentlich zugänglicher Dokumentation könnte eine ausgewählte Menge von Veröffentlichungen zulässig sein. Vermischen Sie nicht kommentarlos eine zulässige Quelle mit einer Quelle, die das Produkt nicht verwenden sollte. Widersprechen sich zwei zulässige Quellen, muss festgelegt sein, ob das System den Konflikt offenlegt, eine genehmigte Vorrangregel anwendet oder sich enthält. Es darf nicht einfach eine Lösung erfinden.

Definieren Sie schließlich, welche Angaben eine Person benötigt, um eine Referenz zu prüfen: eine stabile Dokumentkennung und eine auffindbare Fundstelle, etwa einen Abschnitt oder ein Textfragment. Die konkrete technische Umsetzung hängt vom System ab. Wichtig ist, dass die Referenz nicht bloß ein dekoratives Etikett ist und eine Person den zitierten Inhalt überprüfen kann, ohne raten zu müssen, wo er steht.

Trennen Sie Aussagen und Referenzen voneinander

Eine Antwort kann mehrere Aussagen verbinden: eine Tatsache, eine Bedingung, ein Datum und eine Schlussfolgerung. Wenn alle Aussagen am Ende eine gemeinsame Referenzliste erhalten, ist schwer zu erkennen, welche Quelle welche Aussage stützt. Gestalten Sie die Ausgabe so, dass eine Person überprüfbare Aussagen und die ihnen zugeordneten Passagen getrennt untersuchen kann.

Ein einheitliches Darstellungsformat ist nicht nötig. Möglich sind Text mit Referenzen direkt bei den jeweiligen Aussagen, eine strukturierte Liste mit Aussagen und Quellen oder eine kurze Antwort mit überprüfbaren Textauszügen. Welches Format Sie auch wählen: Die Verbindung zwischen Aussage und Beleg muss erhalten bleiben. Vermeiden Sie es, unterschiedliche Tatsachenbehauptungen unter einem einzigen Zitat zusammenzufassen, wenn die Passage nur einen Teil davon stützt.

Der Unterschied zwischen einer korrekten Referenz und einer Antwort, die den Belegen treu bleibt, ist wichtig. Ein Dokument kann relevant und authentisch sein, während die Antwort ihm etwas zuschreibt, das darin nicht steht, oder sich auf Wissen außerhalb der Passage stützt. Eine Forschungsarbeit zu Zuschreibungen in RAG behandelt genau den Unterschied zwischen der Korrektheit eines Zitats und der treuen Verwendung von Belegen, einschließlich des Problems, Zitate erst nach dem Formulieren der Antwort hinzuzufügen. Praktisch bedeutet das: Bei der Prüfung muss die Aussage mit dem Text verglichen werden. Es reicht nicht, zu bestätigen, dass das Dokument existiert.

Bei längeren Antworten sollten Sie den Text in prüfbare Einheiten aufteilen. Halten Sie für jede Tatsachenaussage fest, ob sie direkt gestützt, teilweise gestützt, widersprüchlich oder nicht ausreichend belegt ist. Das ist eine Designempfehlung und keine Garantie dafür, dass das Modell immer richtig klassifiziert. Der Vorteil dieser Trennung besteht darin, dass Fehler sichtbar werden und sich anhand konkreter Beispiele beheben lassen.

Bewerten Sie Abruf, Beleglage und Entscheidung getrennt

Eine sinnvolle Bewertung reduziert den gesamten Ablauf nicht auf eine einzige Gesamtnote. Wenn die Antwort fehlschlägt, sollte sich unterscheiden lassen, ob die erforderliche Passage nicht abgerufen wurde, ob sie zwar gefunden, aber falsch interpretiert wurde, ob die Referenz nicht überprüfbar ist oder ob das System sich hätte enthalten müssen. Die Dokumentation zu RAG-Evaluatoren von Microsoft beschreibt getrennte Dimensionen zur Untersuchung des Abrufs sowie von Antwortmerkmalen wie Fundierung, Relevanz und Vollständigkeit. Auch ein als RAGAS veröffentlichtes Bewertungsframework trennt Dimensionen wie Kontextrelevanz, Antworttreue und Antwortrelevanz.

Für einen ersten Testsatz müssen Sie nicht gleich mit einer großen Testbatterie beginnen. Sammeln Sie Fragen, die die tatsächliche Nutzung abbilden. Formulieren Sie für jede Frage eine erwartete Antwort im Hinblick auf die Belege: Welcher Teil sollte beantwortet werden können, welche Passage wäre ausreichend, und welche Ausgabe ist angemessen, wenn diese Passage fehlt? Eine Person sollte das Referenzmaterial und die Kriterien überprüfen. Andernfalls kann der Testsatz eine falsche Auslegung sehr präzise messen.

Erfassen Sie die Ergebnisse für jeden Schritt. Notieren Sie für jede Frage, welche Dokumente und Passagen abgerufen wurden, welche Aussagen das System formuliert hat, welche Referenzen es angefügt hat und welche Antwortentscheidung es traf. Unterscheiden Sie mindestens zwischen unzureichendem Abruf, irrelevanter Passage, teilweiser Beleglage, unbelegter Aussage, nicht auffindbarem Zitat, nicht offengelegtem Widerspruch und unangemessener Enthaltung. Diese Kategorien sind als Diagnosevorschlag gedacht. Passen Sie ihre Bezeichnungen an Ihr Produkt an, behalten Sie aber die Möglichkeit bei, den Fehlerpunkt zu lokalisieren.

Interpretieren Sie eine aggregierte Punktzahl nicht als Wahrheitszertifikat. Eine gute Relevanzbewertung belegt nicht, dass jede Aussage gestützt ist. Eine gut fundierte Antwort kann unvollständig sein, und eine überprüfbare Referenz beweist nicht, dass die Schlussfolgerung korrekt ist. Automatische Messungen helfen dabei, Muster zu erkennen und Prüfungen zu priorisieren. Grenzfälle und Fehler mit großen Auswirkungen sollten je nach Produktgefahr von Menschen untersucht werden.

Nehmen Sie schwierige Fälle auf, nicht nur Fragen mit Antwort

Ein Testsatz, der ausschließlich aus Fragen besteht, deren Antworten wörtlich in einem Dokument stehen, prüft nicht, ob das System weiß, wann es aufhören muss. Nehmen Sie bewusst Anfragen auf, die im Korpus unbeantwortet bleiben, mehrdeutige Anfragen, nur teilweise beantwortbare Fragen sowie Passagen, die zwar dieselben Begriffe wie die Frage enthalten, aber die angefragte Information nicht liefern. Solche Fälle zeigen, ob das Modell thematische Ähnlichkeit mit einem Beleg verwechselt.

Prüfen Sie bei fehlenden Antworten, ob das System die Grenzen des verfügbaren Materials erkennt, ohne zu behaupten, die betreffende Tatsache existiere außerhalb des Korpus nicht. „In den verfügbaren Dokumenten finde ich keine ausreichenden Belege“ ist etwas anderes als „Das gibt es nicht“. Legen Sie bei Mehrdeutigkeit fest, ob eine Rückfrage eine wichtige Unterscheidung klären würde, etwa einen Zeitraum, eine Region oder eine Definition. Bei einer Teilantwort sollte das System die belegten Informationen beibehalten und ausdrücklich eingrenzen, was ungeklärt bleibt.

Widersprüchliche Belege verdienen einen eigenen Test. Rufen Sie zwei zulässige Dokumente ab, die Unvereinbares behaupten, und beobachten Sie, ob die Antwort eine Version als unumstößlich darstellt, beide unvereinbar zusammenführt oder den Widerspruch offenlegt. Gibt es eine genehmigte Regel für Aktualität oder Vorrang, prüfen Sie, ob das System sie nur dann anwendet, wenn die Belege dies erlauben. Gibt es keine solche Regel, ist es vorsichtiger, den Konflikt zu beschreiben oder sich zu enthalten.

Testen Sie außerdem Ablenkungsdokumente: Sie erwähnen dieselben Entitäten oder Konzepte, beantworten die Frage aber nicht. Es reicht nicht zu prüfen, ob das System etwas thematisch Verwandtes abgerufen hat. Prüfen Sie, ob die Aussagen tatsächlich aus diesem Inhalt folgen. Mit diesen Fällen soll das System nicht dafür bestraft werden, dass es nicht rät. Sie sollen zeigen, ob es einen thematischen Hinweis von einem ausreichenden Beleg unterscheiden kann.

Prüfen Sie jedes Zitat anhand der konkreten Aussage

Die Zitatprüfung lässt sich in eine kurze Abfolge gliedern. Prüfen Sie zuerst, ob die Referenz auf eine zulässige Quelle verweist und ob das Dokument in der Umgebung, in der das System eingesetzt wird, tatsächlich existiert. Kontrollieren Sie zweitens, ob die Fundstelle die Passage auffindbar macht. Vergleichen Sie drittens den Wortlaut der Passage mit der konkreten Aussage: Stützt sie diese direkt, liefert sie nur Kontext, widerspricht sie ihr oder behandelt sie den betreffenden Punkt gar nicht? Prüfen Sie zuletzt, ob die Antwort Bedingungen, Kausalität oder eine Reichweite ergänzt, die in der Quelle nicht enthalten sind.

Diese Prüfung muss sich auf die konkrete Stelle beziehen. Dass ein Dokument im Allgemeinen zuverlässig ist, heißt nicht, dass es jede ihm zugeschriebene Aussage belegt. Ebenso kann eine Antwort plausibel klingen und eine passende Referenz enthalten, ohne dass die zitierte Passage ihre Schlussfolgerung tatsächlich trägt. Stützt die Quelle nur einen Teil, ändern Sie die Formulierung, damit sie diese Grenze widerspiegelt, oder entfernen Sie die übrige Aussage.

Testen Sie auch fehlerhafte Referenzen: nicht vorhandene Kennungen, zu allgemeine Fundstellen, doppelte Ausschnitte und Zitate, die der falschen Aussage zugeordnet sind. Wenn die Oberfläche Referenzen am Ende eines Absatzes anzeigt, sollte eine Person eindeutig feststellen können, für welche Sätze sie gelten. Ein technisch funktionierender Link ersetzt diese semantische Zuordnung nicht.

Halten Sie bei einem Fehler die genaue Anfrage, Passage und Antwort fest. „Das Zitat ist falsch“ reicht nicht aus, um das System zu verbessern. Geben Sie an, ob die Quelle nicht existiert, die Passage nicht auffindbar ist, der Inhalt die Aussage nicht stützt oder die Antwort mehr behauptet, als sich daraus schließen lässt. Diese Genauigkeit erleichtert die Entscheidung, ob der Abruf, die Antwortformulierung oder die Regeln für Quellenangaben angepasst werden müssen.

Entscheiden Sie zwischen Antworten, Teilantworten, Rückfragen und Enthaltung

Die Ausgabe muss nicht binär sein. Eine praktische Richtlinie unterscheidet vier Möglichkeiten: antworten, wenn die Passagen die Frage stützen; teilweise antworten, wenn ein Teil geklärt, ein anderer aber offen ist; nachfragen, wenn mehrere plausible Auslegungen zu unterschiedlichen Antworten führen würden; und sich enthalten, wenn ausreichende Belege fehlen oder sich ein Konflikt mit den verfügbaren Regeln nicht lösen lässt.

Definieren Sie diese Optionen anhand von Beispielen und beobachtbaren Kriterien. Vermeiden Sie vage Anweisungen wie „Antworte vorsichtig“: Sie sagen dem System nicht, was es bei einem fehlenden Datum, einem Widerspruch oder einer mehrdeutigen Frage tun soll. Eine hilfreiche Enthaltung sollte die Grenze knapp erklären und, wenn möglich, mitteilen, welche Informationen eine Fortsetzung erlauben würden. Sie sollte keine Begründung dafür erfinden, warum sie nicht geantwortet hat.

Bewerten Sie Fehler auch in beide Richtungen. Eine unbelegte Antwort ist ein Fehler, aber eine unnötige Enthaltung kann dem Nutzer Informationen vorenthalten, die verfügbar waren. Der Testsatz muss deshalb sowohl Fälle enthalten, in denen eine Enthaltung angemessen ist, als auch solche, in denen die Belege für eine Antwort ausreichen. Die Dokumentation zu Microsofts Evaluatoren nennt Enthaltung als eine der bewertbaren Dimensionen generativer Systeme. Hier wird dieses Prinzip auf die Antwortentscheidung angewendet, ohne den Umfang auf Webrecherche-Agenten auszuweiten.

Teilantworten erfordern besondere Sorgfalt: Stellen Sie einen bestätigten Teil nicht so dar, als beantworte er die gesamte Frage. Fragt eine Person nach einer Dauer und einer Ausnahme, nennen Sie die belegte Dauer und erklären Sie, dass die Passage nicht angibt, wer die Ausnahme genehmigt. Verändert der offene Teil die Bedeutung wesentlich, fragen Sie nach, bevor Sie eine Schlussfolgerung ziehen, die in die Irre führen könnte.

Analysieren Sie Fehler, bevor Sie das System ändern

Wenn ein Test fehlschlägt, sollten Sie nicht sofort mit einer längeren Anweisung gegensteuern. Bestimmen Sie zuerst, in welchem Schritt das Problem auftrat. Ist das erforderliche Dokument nicht erschienen, kann der Fehler beim Abruf liegen. Ist die Passage vorhanden, stützt aber die Antwort nicht, können Interpretation, Formulierung oder die Regel, die eine Antwort zulässt, fehlerhaft sein. Führt die Referenz nicht zum Textausschnitt, liegt ein Problem bei der Rückverfolgbarkeit vor. Reichen die Belege nicht aus und antwortet das System trotzdem, ist die Regel für Enthaltungen gescheitert.

Führen Sie ein Protokoll fehlgeschlagener Beispiele mit Fehlerkategorie, Auswirkung und vorgenommener Änderung. Ändern Sie nach Möglichkeit jeweils nur eine Komponente und führen Sie anschließend sowohl den fehlerhaften Fall als auch Beispiele erneut aus, die zuvor bestanden hatten. Eine Änderung, die fehlende Antworten verbessert, kann unnötige Enthaltungen verstärken. Eine Änderung, die die sprachliche Flüssigkeit erhöht, kann Grenzen verschleiern. Regressionstests helfen, solche Zielkonflikte aufzudecken.

Weisen Sie Kennzahlen getrennt nach Prozessschritt aus. Sie können beispielsweise festhalten, bei wie vielen Anfragen nach Prüfung relevante Passagen abgerufen wurden, wie viele Aussagen ausreichend gestützt sind, wie viele Referenzen sich überprüfen lassen und wie sich die Richtlinie bei unzureichenden Belegen verhält. Fassen Sie nicht alles in einer Zahl zusammen, die Unterschiede verdeckt. Keine dieser Messungen beweist für sich genommen, dass das System korrekt ist. Sie helfen dabei, festzustellen, was überprüft werden muss, und Änderungen anhand desselben Testsatzes zu vergleichen.

Berücksichtigen Sie bei der Fehlerprüfung die Auswirkungen auf den vorgesehenen Einsatz. Eine unbelegte Aussage zu einem internen Verfahren kann andere Folgen haben als ein Fehler bei einer Frage mit geringem Risiko. Umfang der menschlichen Prüfung, Größe des Testsatzes und Abnahmekriterien sollten an Risiko und Produktkontext angepasst werden. Diese Kalibrierung ist eine Entscheidung des verantwortlichen Teams und kein allgemeiner Schwellenwert, der sich aus einer Kennzahl ableiten lässt.

Abnahmeliste vor der Einführung

Prüfen Sie vor dem Einsatz eines RAG-Systems, ob das Team die Abnahmefragen klar beantworten kann. Es genügt nicht, dass einige Vorführungen plausible Antworten liefern. Das Verhalten muss anhand beantwortbarer und unbeantwortbarer Anfragen geprüft werden. Außerdem muss sich die Qualität des Abrufs von der Unterstützung einzelner Aussagen unterscheiden lassen, und die Antwortentscheidung muss mit der verfügbaren Beleglage übereinstimmen.

Die Prüfung sollte Fälle enthalten, die bei Vorführungen oft fehlen: widersprüchliche Quellen, eine unvollständige Frage, ein ähnliches, aber unzureichendes Dokument und eine Anfrage, deren Antwort nur teilweise dokumentiert ist. Prüfen Sie außerdem, ob das Format es ermöglicht, die Quelle einzusehen und der zugehörigen Aussage zuzuordnen. Ist eine solche Prüfung nicht möglich, fehlt dem Team eine ausreichende Grundlage für die Behauptung, Quellenangaben machten die Ausgabe überprüfbar.

Zitate helfen bei der Prüfung, sind aber keine Garantie für Wahrheit oder Korrektheit. Ein Zitat kann auf das richtige Dokument verweisen und den Satz trotzdem nicht stützen. Eine Passage kann eine Aussage belegen, ohne die ganze Frage zu beantworten. Und eine automatische Bewertung kann Nuancen vereinfachen. Das operative Kriterium ist enger und überprüfbar: Jede wichtige Tatsachenbehauptung muss Belege haben; wenn die Belege nicht ausreichen, müssen ihre Grenzen kenntlich gemacht werden; und die Fehler im Prozess müssen getrennt gemessen werden.

Ein System ist besser auf den Einsatz vorbereitet, wenn das Team überprüfte Beispiele für alle vier Entscheidungen vorlegen kann – antworten, teilweise antworten, nachfragen und sich enthalten –, für jede Aussage die stützenden Belege benennen und den Umgang mit Widersprüchen erklären kann. Ist das noch nicht möglich, besteht der nächste Schritt nicht darin, dem Text weitere Zitate hinzuzufügen. Verbessert werden müssen der Belegvertrag, der Testsatz oder die Rückverfolgbarkeit der Belege.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.