Como verificar afirmações de IA: protocolo para decidir o que manter, corrigir ou retirar

Uma resposta convincente ainda não é uma resposta fundamentada

Uma resposta de IA pode parecer precisa e, ainda assim, conter uma data errada, exagerar o que uma fonte diz ou atribuir um dado a um documento que não o sustenta. Para revisar esse tipo de resposta com rigor, convém separar três perguntas: a afirmação é verdadeira? A fonte citada existe e é pertinente? E a passagem citada sustenta exatamente o que está sendo afirmado? São verificações relacionadas, mas não equivalentes.

Uma citação pode ser autêntica e levar a uma fonte respeitável sem demonstrar a afirmação específica. O documento pode tratar de outro período, população, lugar ou indicador. Também pode apresentar uma conclusão com ressalvas que a resposta de IA omite. Por isso, conferir se o link abre é apenas o começo: é preciso localizar a passagem e compará-la com a afirmação completa.

A IA pode ajudar a encontrar fontes candidatas, separar ideias e resumir documentos extensos. A decisão editorial, porém, deve se apoiar na fonte subjacente e na leitura da passagem relevante, não na confiança do modelo nem no resumo que ele produz. As diretrizes europeias sobre IA confiável incluem transparência, rastreabilidade, supervisão humana e auditabilidade como princípios gerais; não estabelecem um método específico para validar citações. Este guia propõe um protocolo operacional próprio, não uma norma certificada.

Delimite o que será verificado e quanto esforço isso merece

Comece dividindo a resposta em afirmações que possam ser avaliadas separadamente. “A proposta é atraente” expressa uma avaliação; “o plano inclui cinco contas” é verificável. Datas, quantidades, nomes, requisitos, atribuições, citações, relações causais e descrições de funcionalidades costumam ser verificáveis. Uma frase composta pode conter vários elementos: “O estudo de 2024 entrevistou 2.000 pessoas e demonstra que o programa aumentou a produtividade” exige verificar separadamente a data, o tamanho da amostra e a conclusão causal.

Não é necessário dedicar o mesmo tempo a tudo. Priorize o que sustenta a conclusão, o que poderia causar danos se fosse falso e o que é específico ou sujeito a mudanças. Um número usado para justificar uma decisão, uma interpretação jurídica ou um dado sensível sobre pessoas merece uma verificação mais rigorosa do que uma informação secundária de contexto. Essa priorização é uma regra prática de trabalho, não uma escala validada pelas fontes disponíveis.

Antes de pesquisar, defina que evidência resolveria a dúvida: qual documento teria autoridade direta, que passagem deveria constar dele e quais condições — data, território, população, versão ou definição — poderiam alterar o resultado. Estabelecer esse critério evita buscar apenas uma confirmação e facilita perceber quando uma fonte não é suficiente.

Protocolo para cada afirmação: da fonte à conclusão

Copie a afirmação exatamente como aparece e atribua-lhe um identificador. Em seguida, procure a fonte que tem acesso direto ao dado: o relatório original, uma base de dados oficial, o texto normativo aplicável, a documentação do produto ou o registro primário pertinente. Uma página que cita um estudo pode ajudar na busca, mas não substitui automaticamente o estudo. Se a fonte original não estiver disponível, registre essa limitação em vez de presumir que o conteúdo foi verificado.

Abra o documento e localize a seção, tabela ou passagem exata. Confira se o conteúdo sustenta toda a afirmação ou apenas uma parte. Verifique condições, definições, exceções e escopo: uma associação não demonstra necessariamente causalidade; um resultado de um subgrupo não descreve automaticamente toda a população; um dado de determinado ano não deve ser apresentado como atual sem confirmação. Preserve contexto suficiente para que outra pessoa possa repetir a leitura.

Registre também a data da consulta e os dados que podem mudar. Se duas páginas remetem à mesma pesquisa original, não as conte como confirmações independentes: são duas rotas para a mesma evidência. Se houver divergência entre fontes, identifique se ela decorre da data, do método, da definição ou da população. Se as evidências disponíveis não permitirem resolver a divergência, preserve a incerteza ou evite usar a afirmação como base para uma decisão.

Classifique o resultado sem transformar dúvida em falsidade

Uma escala útil para o trabalho editorial distingue entre respaldo direto, respaldo parcial, contradição, fonte insuficiente e afirmação não verificável. “Respaldo direto” significa que a evidência consultada sustenta a afirmação dentro do escopo e das condições corretas. “Parcial” indica que sustenta apenas uma parte ou que a redação omite uma ressalva importante. “Contradita” exige evidências que contrariem a afirmação nas condições pertinentes; não significa apenas que a pessoa revisora não encontrou confirmação.

“Fonte insuficiente” descreve um problema nas evidências disponíveis: por exemplo, uma página que menciona o assunto, mas não apresenta dados que sustentem a conclusão. “Não verificável” pode ser adequado quando a proposição é vaga demais, não define um período ou não há uma maneira razoável de conferi-la. Nenhuma dessas categorias demonstra automaticamente que o conteúdo seja falso. Mantenha separado o estado das evidências do julgamento sobre a verdade.

A decisão deve corresponder ao resultado. Mantenha uma afirmação com respaldo direto; corrija ou restrinja uma afirmação com respaldo parcial; elimine ou apresente com cautela uma afirmação contradita; procure outra fonte ou explique a limitação quando a fonte for insuficiente; e evite apresentar como fato aquilo que não pode ser verificado. Em usos de alto impacto, encaminhe a revisão a uma pessoa com competência pertinente.

Modelo de auditoria para que outra pessoa possa repetir a revisão

Uma revisão é reproduzível se outra pessoa consegue encontrar a afirmação, recuperar a fonte e entender por que a decisão foi tomada. Guarde a redação literal e a versão corrigida para não perder o histórico das alterações. Anote o título ou identificador da fonte, sua localização interna — por exemplo, seção ou tabela —, a data de publicação ou atualização, quando disponível, e a data da consulta.

Inclua a passagem pertinente ou uma indicação precisa de onde encontrá-la, além da avaliação do respaldo e das limitações observadas. Não basta guardar uma lista de links: se o link levar a uma página extensa, outra pessoa precisa saber qual parte foi utilizada e como foi interpretada. Em conteúdo sensível, registre quem revisou e quem aprovou o uso, de acordo com o procedimento da equipe.

A rastreabilidade ajuda a revisar alterações e corrigir erros, mas não garante que a interpretação inicial esteja correta. Se uma fonte mudar, uma versão anterior deixar de estar disponível ou a avaliação depender de uma tradução, registre essa circunstância e evite apresentar o registro como certeza absoluta.

Teste o protocolo com casos conhecidos e considere suas limitações

Antes de usar o processo em decisões reais, aplique-o a um conjunto pequeno de respostas cujas fontes e problemas a equipe já conheça. Inclua citações inexistentes, citações autênticas que não sustentam a conclusão, afirmações parcialmente corretas, dados desatualizados e casos sem evidências suficientes. O objetivo não é demonstrar que o modelo é confiável de modo geral, mas verificar se o procedimento detecta falhas específicas e deixa um registro compreensível.

Conte separadamente os erros de respaldo — quando a fonte existe, mas não sustenta o que lhe foi atribuído —, as citações defeituosas, as correções e as abstenções. Verifique também se pessoas diferentes chegam a classificações comparáveis quando usam as mesmas instruções e documentos. Uma proporção de acertos em um conjunto pequeno ajuda a melhorar o processo, mas não permite prometer qualidade geral do modelo nem transferir resultados para outros temas, idiomas ou níveis de risco.

Há limitações que um modelo de auditoria não elimina. Algumas fontes são inacessíveis ou incompletas; afirmações compostas exigem várias verificações; fontes podem divergir por causa de definições ou datas; e uma pessoa revisora pode confiar demais em uma citação sem lê-la. As orientações educacionais do CIAEM recomendam confrontar informações e verificar a existência e a correspondência das referências, mas não fornecem, por si só, uma validação técnica do protocolo aqui proposto. Se as evidências não resolverem a questão, a resposta responsável é indicar o que falta, solicitar uma revisão ou abster-se.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.