RAG com evidências: como decidir o que responder, o que citar e quando se abster

Recuperar um trecho não comprova uma resposta

Em um sistema de geração aumentada por recuperação, ou RAG, o resultado não depende apenas de o mecanismo de busca encontrar documentos relacionados à consulta. Também depende de a resposta final usar esses documentos corretamente. Um trecho pode tratar do mesmo assunto sem responder à pergunta; vários trechos pertinentes podem deixar uma parte importante sem solução; e uma referência pode ser real, mas não sustentar a afirmação que acompanha.

Por isso, a pergunta de projeto não deveria ser apenas “o sistema encontrou documentos?”, mas “que afirmações as evidências recuperadas permitem fazer?”. A mudança parece pequena, mas altera a forma de construir as respostas, testar o sistema e investigar falhas. O objetivo não é forçar uma resposta para cada consulta: é fazer com que o sistema responda quando os trechos forem suficientes e escolha uma saída controlada quando não forem.

Este guia se concentra nessa decisão final. Não aborda a manutenção ou o versionamento do corpus, a migração de embeddings nem a avaliação de agentes de pesquisa na web. Tampouco propõe que uma pontuação automática certifique que uma resposta é verdadeira. A proposta é um método operacional para inspecionar a relação entre consulta, evidências e afirmações, e identificar situações em que essa relação se rompe.

Defina um contrato de evidências antes de avaliar

Um contrato de evidências descreve o que uma resposta precisa cumprir para ser considerada aceitável em determinado produto. Não é uma promessa de exatidão absoluta nem uma instrução genérica como “use as fontes”. Deve deixar claro quais fontes o sistema pode usar, o que conta como sustentação suficiente, quais referências deve fornecer e o que fazer quando as evidências não forem suficientes.

Comece classificando as perguntas que você espera receber. Uma pergunta sobre uma data, um procedimento interno, uma comparação ou uma recomendação pode exigir tipos diferentes de sustentação. Para uma pergunta factual simples, talvez baste um trecho direto e aplicável. Uma comparação pode exigir dados sobre os dois elementos. Em uma pergunta composta, cada parte deve estar sustentada ou ser identificada como não resolvida. Essa é uma decisão de produto: as fontes fornecidas não definem um limiar universal de suficiência.

Especifique também quais fontes são admissíveis. Por exemplo, em um assistente interno, você pode limitar as respostas a documentos autorizados do espaço de trabalho; em um produto com documentação pública, pode permitir um conjunto selecionado de publicações. Não misture sem explicação uma fonte admissível com outra que o produto não deveria usar. Se duas fontes admissíveis discordarem, defina se o sistema deve expor o conflito, aplicar uma regra de precedência aprovada ou se abster. Não permita que invente uma solução para o desacordo.

Por fim, defina quais informações uma pessoa precisa para revisar uma referência: uma identificação estável do documento e uma localização que possa ser encontrada, como uma seção ou um trecho. A forma técnica específica dependerá do sistema. O importante é que a referência não seja apenas um rótulo decorativo e que uma pessoa possa verificar o conteúdo citado sem precisar adivinhar onde ele está.

Separe as afirmações das referências

Uma resposta pode combinar várias afirmações: um fato, uma condição, uma data e uma conclusão. Se todas vierem acompanhadas de uma única lista de referências no final, será difícil saber qual fonte sustenta cada uma. Vale projetar a saída de modo que uma pessoa possa inspecionar separadamente as afirmações verificáveis e os trechos que o sistema associa a elas.

Não é necessário impor um único formato visual. A resposta pode ser apresentada como texto, com referências junto de cada afirmação; como uma lista estruturada de afirmações e fontes; ou como uma resposta breve acompanhada de trechos que possam ser inspecionados. Qualquer que seja o formato, ele deve preservar a relação entre a afirmação e sua sustentação. Evite agrupar sob uma única citação frases que contenham fatos distintos quando o trecho sustenta apenas parte deles.

A diferença entre uma referência correta e uma resposta fiel às evidências é importante. Um documento pode ser pertinente e autêntico, mas a resposta ainda pode atribuir a ele algo que não diz ou se apoiar em conhecimento que não está no trecho. Um estudo sobre atribuições em RAG trata justamente da diferença entre a correção da citação e a fidelidade no uso das evidências, incluindo o problema de acrescentar citações depois de redigir a resposta. Na prática, a revisão deve confrontar a afirmação com o texto, em vez de apenas verificar se o documento existe.

Em respostas longas, considere dividi-las em unidades que possam ser revisadas. Para cada unidade factual, registre se há sustentação direta, parcial, contraditória ou se faltam evidências suficientes. Essa é uma recomendação de projeto, não uma garantia de que o modelo sempre fará a classificação corretamente. O valor dessa separação está em tornar as falhas visíveis e permitir corrigi-las com exemplos concretos.

Teste a recuperação, a sustentação e a decisão separadamente

Uma avaliação útil não reduz todo o processo a uma nota geral. Se a resposta falhar, é preciso distinguir se o trecho necessário não foi recuperado, se foi recuperado mas interpretado incorretamente, se a referência não pode ser inspecionada ou se o sistema deveria ter se abstido. A documentação da Microsoft sobre avaliadores de RAG descreve dimensões distintas para examinar a recuperação e aspectos da resposta, como fundamentação, relevância e completude. Uma estrutura de avaliação de RAG publicada como RAGAS também separa dimensões como relevância do contexto, fidelidade da resposta e relevância da resposta.

Para um conjunto inicial, não é necessário começar com uma bateria enorme de testes. Reúna perguntas representativas do uso real e prepare, para cada uma, uma resposta esperada em termos de evidências: que parte deveria ser respondida, qual trecho seria suficiente e qual saída seria adequada se esse trecho não aparecesse. Uma pessoa deve revisar o material de referência e os critérios; caso contrário, o conjunto pode medir com precisão uma interpretação equivocada.

Registre os resultados por etapa. Para cada pergunta, anote quais documentos e trechos foram recuperados, quais afirmações o sistema produziu, quais referências anexou e qual decisão tomou. Diferencie, no mínimo, recuperação insuficiente, trecho irrelevante, evidências parciais, afirmação sem sustentação, citação impossível de localizar, contradição não comunicada e abstenção inadequada. Essas categorias são uma proposta de diagnóstico: adapte os nomes ao seu produto, mas mantenha a possibilidade de identificar onde ocorreu a falha.

Não interprete uma pontuação agregada como um certificado de veracidade. Um bom resultado em relevância não demonstra que todas as afirmações estejam sustentadas; uma resposta bem fundamentada pode estar incompleta; e uma referência verificável não prova que a conclusão esteja correta. As medidas automáticas ajudam a detectar padrões e priorizar revisões, mas casos-limite e erros de alto impacto exigem inspeção humana, de acordo com o risco do produto.

Inclua casos difíceis, não apenas perguntas respondíveis

Um conjunto de testes formado apenas por perguntas cuja resposta aparece literalmente em um documento não verifica se o sistema sabe parar. Inclua deliberadamente consultas sem resposta no corpus, consultas ambíguas, perguntas que só podem ser respondidas em parte e trechos que compartilham vocabulário com a consulta, mas não fornecem a informação solicitada. Esses casos revelam se o modelo confunde semelhança temática com prova.

Quando não houver resposta, verifique se o sistema reconhece os limites do material disponível sem afirmar que o fato não existe no mundo. “Não encontrei sustentação suficiente nos documentos disponíveis” é diferente de “isso não existe”. Para a ambiguidade, decida se um pedido de esclarecimento resolve uma diferença importante, como período, região ou definição. Para uma resposta parcial, preserve o que está sustentado e delimite explicitamente o que não está.

Evidências contraditórias merecem um teste específico. Recupere dois documentos admissíveis que afirmem coisas incompatíveis e observe se a resposta apresenta uma versão como indiscutível, combina ambas de forma incoerente ou aponta a discrepância. Se houver uma regra aprovada para determinar atualidade ou prioridade, verifique se o sistema a aplica somente quando as evidências permitem. Se não houver, a saída prudente é descrever o conflito ou se abster de resolvê-lo.

Teste também documentos que funcionem como distratores: eles mencionam as mesmas entidades ou conceitos, mas não respondem à pergunta. Não basta verificar se o sistema recuperou algo relacionado; confira se as afirmações realmente decorrem desse conteúdo. O objetivo desses casos não é penalizar o sistema por não adivinhar, mas verificar se ele diferencia uma pista temática de uma sustentação suficiente.

Confira cada citação em relação à afirmação específica

A revisão de citações pode ser organizada como uma sequência breve. Primeiro, verifique se a referência aponta para uma fonte admissível e se o documento existe no ambiente em que será usado. Segundo, confira se a localização permite encontrar o trecho. Terceiro, compare o texto do trecho com a afirmação exata: ele a sustenta diretamente, fornece apenas contexto, contradiz a afirmação ou não trata daquele ponto? Por último, verifique se a resposta acrescentou condições, causalidade ou abrangência que não aparecem na fonte.

Essa revisão precisa ser específica. O fato de um documento ser confiável em geral não significa que sustente qualquer afirmação atribuída a ele. Da mesma forma, uma resposta pode parecer razoável e ter uma referência pertinente sem que o trecho citado implique sua conclusão. Quando a fonte sustentar apenas uma parte, ajuste a redação para refletir esse limite ou remova a afirmação restante.

Teste também referências defeituosas: identificadores inexistentes, localizações genéricas demais, trechos duplicados e citações associadas à afirmação errada. Se a interface exibir referências no final de um parágrafo, uma pessoa deve conseguir determinar com clareza quais frases elas cobrem. Um link que funciona tecnicamente não substitui essa relação semântica.

Ao registrar uma falha, preserve a consulta, o trecho e a resposta exatos. “A citação está errada” não é suficiente para melhorar o sistema: indique se a fonte não existe, se o trecho não pode ser encontrado, se o conteúdo não sustenta a afirmação ou se a resposta exagera o que é possível concluir. Essa precisão ajuda a decidir se é preciso ajustar a recuperação, a composição da resposta ou as regras de atribuição.

Escolha entre responder, responder parcialmente, pedir esclarecimentos ou se abster

A saída não precisa ser binária. Uma política prática distingue quatro possibilidades: responder quando os trechos sustentam o que foi solicitado; responder parcialmente quando uma parte está resolvida e outra não; pedir esclarecimentos quando diferentes interpretações razoáveis levariam a respostas distintas; e se abster quando não houver evidências suficientes ou quando o conflito não puder ser resolvido pelas regras disponíveis.

Defina essas opções com exemplos e critérios observáveis. Evite instruções vagas como “responda com cautela”: elas não dizem o que o sistema deve fazer diante de uma data ausente, uma contradição ou uma pergunta ambígua. Uma abstenção útil deve explicar o limite de forma específica e, se possível, dizer que informação permitiria continuar. Não deve inventar uma explicação para justificar por que não respondeu.

Avalie também os erros nas duas direções. Uma resposta sem sustentação é uma falha, mas uma abstenção desnecessária pode impedir que o usuário obtenha informações disponíveis. Por isso, o conjunto de testes deve incluir tanto casos em que a abstenção é adequada quanto casos em que há evidências suficientes para responder. A documentação da Microsoft sobre avaliação inclui a abstenção entre as dimensões que podem ser avaliadas em sistemas generativos; aqui, o princípio é aplicado à decisão de resposta, sem ampliar o escopo para agentes de pesquisa na web.

Respostas parciais exigem cuidado especial: não apresente uma parte confirmada de forma que pareça resolver a consulta inteira. Se a pessoa perguntou sobre uma duração e uma exceção, responda sobre a duração com a devida sustentação e informe que o trecho não identifica quem autoriza a exceção. Se a parte pendente alterar substancialmente o sentido, peça esclarecimentos antes de apresentar uma conclusão que possa induzir a erro.

Analise as falhas antes de alterar o sistema

Quando um teste falhar, evite corrigi-lo imediatamente com uma instrução mais longa. Primeiro, determine em que etapa o problema ocorreu. Se o documento necessário não apareceu, a falha pode estar na recuperação. Se o trecho apareceu, mas não sustenta a resposta, pode haver um problema de interpretação, composição ou na regra que autoriza responder. Se a referência não levar ao trecho, o problema está na rastreabilidade. Se as evidências forem insuficientes e o sistema responder como se bastassem, a decisão de se abster falhou.

Mantenha um registro de exemplos que falharam, com a categoria, o impacto e a alteração aplicada. Sempre que possível, mude um componente por vez e execute novamente tanto o caso que falhou quanto exemplos que já passavam. Uma alteração que melhora respostas para perguntas sem resposta pode aumentar abstenções desnecessárias; outra que torna as respostas mais fluentes pode ocultar limites. A revisão de regressão ajuda a detectar essas compensações.

Separe os indicadores por etapa. Você pode informar quantas consultas recuperam trechos considerados relevantes na revisão, quantas afirmações têm sustentação suficiente, quantas referências podem ser inspecionadas e como a política se comporta diante de evidências insuficientes. Não combine tudo em um único número que esconda as diferenças. Nenhuma dessas medidas, por si só, demonstra que o sistema está correto; elas ajudam a identificar o que deve ser revisado e a comparar alterações usando o mesmo conjunto de testes.

Revise os erros conforme o efeito que podem ter no uso previsto. Uma afirmação sem sustentação sobre um procedimento interno pode ter consequências diferentes de um erro em uma pergunta de baixo impacto. O nível de revisão humana, o tamanho do conjunto de testes e os critérios de aceitação devem ser ajustados ao risco e ao contexto do produto. Essa calibração é uma decisão da equipe responsável, não um limiar universal derivado de uma métrica.

Lista de aceitação antes da implantação

Antes de colocar um sistema RAG em uso, verifique se a equipe consegue responder com clareza às perguntas de aceitação. Não basta que algumas demonstrações produzam respostas plausíveis. É preciso testar o comportamento com consultas respondíveis e não respondíveis, distinguir a qualidade da recuperação da sustentação das afirmações e garantir que a decisão de resposta corresponda às evidências disponíveis.

A revisão deve incluir casos que costumam ficar de fora de uma demonstração: conflito entre fontes, pergunta incompleta, recuperação de um documento parecido, mas insuficiente, e consulta cuja resposta está documentada apenas em parte. Confira também se o formato permite inspecionar a fonte e relacioná-la à afirmação correspondente. Se essa revisão não puder ser feita, a equipe não dispõe de base suficiente para afirmar que as citações tornam a saída auditável.

As citações são um recurso de inspeção, não uma garantia de verdade nem de correção. Uma citação pode apontar para o documento certo e não sustentar a frase; um trecho pode sustentar uma afirmação sem resolver tudo o que foi perguntado; e uma avaliação automática pode simplificar nuances. O critério operacional é mais limitado e verificável: exigir sustentação para cada afirmação factual importante, descrever os limites quando a sustentação for insuficiente e medir separadamente onde o processo falha.

O sistema estará mais bem preparado quando a equipe puder mostrar exemplos revisados de suas quatro decisões — responder, responder parcialmente, pedir esclarecimentos e se abster —, identificar quais evidências sustentam cada afirmação e explicar como as contradições foram tratadas. Se ainda não puder fazer isso, o próximo passo não é acrescentar mais citações ao texto: é melhorar o contrato, o conjunto de testes ou a rastreabilidade das evidências.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.