Alucinação em IA: o que significa e como reconhecer uma resposta sem respaldo

Definição: uma saída sem respaldo

Em inteligência artificial, uma alucinação é uma saída que apresenta informações incorretas, inventadas ou sem respaldo na evidência disponível para a tarefa. A definição é operacional: descreve a relação entre o que o sistema produz, o que lhe foi pedido e as fontes ou os dados que deveria utilizar. Não implica que o sistema tenha uma experiência consciente, perceba algo inexistente ou decida enganar quem o consulta.

A expressão é usada com variações na investigação. Alguns trabalhos se concentram na falta de fidelidade a uma fonte ou a um contexto fornecido; outros, em afirmações falsas ou não verificáveis. Por isso, convém especificar qual critério está sendo aplicado. Uma resposta pode contradizer um documento, não ter respaldo nas fontes disponíveis ou ser factualmente falsa. São problemas relacionados, mas não idênticos.

A distinção entre «falso» e «sem respaldo» é importante. Se uma resposta afirma que um contrato contém uma cláusula que não aparece no documento, essa atribuição não tem respaldo e pode ser verificada comparando-a com o texto. Por outro lado, se a resposta apresenta uma afirmação para a qual não foram fornecidas fontes, talvez não seja possível decidir apenas com base no contexto se ela é falsa: pode ser verdadeira, falsa ou indeterminada. A falta de evidência suficiente não prova automaticamente o contrário.

Neste guia, «alucinação» designa uma afirmação apresentada como confiável quando não se sustenta segundo o critério e a evidência pertinentes. Esse critério pode ser a correspondência com um texto, a validade de um cálculo, a existência de uma função em uma biblioteca ou a concordância com fontes autorizadas. A avaliação deve indicar o que foi verificado, em vez de simplesmente classificar uma resposta inteira como verdadeira ou falsa.

Como pode surgir e que parte do sistema pode falhar

Um sistema generativo produz uma resposta com base na entrada, no contexto e nos padrões que aprendeu. A saída pode parecer coerente mesmo quando inclui detalhes que não decorrem desses elementos. Uma pergunta ambígua, informações insuficientes ou uma instrução que pressupõe algo falso podem dificultar uma resposta fundamentada. Esses fatores não explicam todos os casos por si só e não permitem inferir uma causa específica apenas a partir do texto final.

Em um sistema com recuperação de informações, ou RAG, documentos ou trechos são pesquisados e incorporados ao contexto do modelo. A cadeia pode falhar em mais de um ponto: a busca pode não encontrar a fonte pertinente, recuperar material inadequado ou apresentar trechos enviesados; depois, o modelo pode interpretar incorretamente o material recuperado, acrescentar afirmações que não aparecem nele ou atribuir uma ideia à fonte errada. Portanto, um erro na resposta não prova, por si só, que o modelo gerador foi a única causa.

Também pode haver ferramentas externas: uma calculadora, uma busca, um banco de dados ou um programa executado. O resultado pode estar incorreto porque a ferramenta devolveu dados inadequados, foi usada de forma errada, o sistema leu incorretamente o resultado ou a resposta final descreveu algo que a ferramenta não confirmou. Avaliar o resultado exige examinar o percurso completo, quando essa informação está disponível.

Em tarefas multimodais, entram também imagens, áudio ou outros formatos. Uma descrição pode atribuir a uma imagem um detalhe que não é discernível, transcrever uma palavra incorretamente ou tratar uma interpretação como se fosse um dado observado. A avaliação deve se apoiar na entrada correspondente e distinguir o que realmente aparece daquilo que o sistema infere.

Distinções que evitam diagnósticos imprecisos

Uma falsidade factual é uma afirmação que contradiz fatos verificáveis. Uma afirmação sem respaldo é aquela para a qual não foi estabelecida evidência suficiente no material pertinente. Ela pode ser falsa, mas também pode ser verdadeira e simplesmente não estar demonstrada no contexto examinado. Para identificar uma contradição, é necessária uma referência adequada; para apontar falta de respaldo, basta mostrar que a fonte ou o documento que deveria sustentar a afirmação não a contém, desde que esse seja o critério da tarefa.

Uma inferência inválida dá um passo que não decorre das premissas, mesmo que cada premissa esteja correta. Um erro de atribuição associa uma frase, uma conclusão ou um dado a uma fonte que não lhe dá respaldo. Uma citação inexistente é um caso especialmente verificável: é possível procurar o trecho, conferir onde deveria estar e verificar se ele diz aquilo que lhe é atribuído. O fato de uma citação ter uma aparência convincente não prova que seja autêntica ou pertinente.

Viés descreve padrões sistemáticos que podem produzir resultados desiguais ou favorecer determinadas representações. Não é sinônimo de alucinação: uma resposta pode ser enviesada sem inventar um fato específico, e uma afirmação inventada não demonstra, por si só, um padrão de viés. A aleatoriedade, por sua vez, refere-se à variação das saídas. O fato de duas respostas serem diferentes não basta para concluir que uma delas alucina; é preciso avaliar o conteúdo e a evidência.

Desinformação costuma envolver a disseminação de informações falsas ou enganosas e, em alguns usos, uma intenção de enganar. Chamar uma saída de um modelo de «alucinação» não prova intenção. O termo descreve o resultado observado, não um propósito humano do sistema. Da mesma forma, uma divergência entre fontes não demonstra automaticamente que uma resposta foi inventada: pode refletir definições distintas, datas diferentes ou uma controvérsia real.

Uma falha de recuperação também não é idêntica a uma alucinação de geração. Se o sistema encontra documentos irrelevantes e responde fielmente a esses documentos, o problema pode estar na recuperação ou no corpus, embora a resposta seja inadequada para a pergunta. Se o modelo acrescenta dados ausentes, há também um problema de respaldo ou fidelidade. Em situações reais, as duas falhas podem se combinar.

Três exemplos práticos

Os casos a seguir são ilustrações hipotéticas, não incidentes documentados nem recomendações profissionais. Nos três, o essencial é comparar uma afirmação específica com a evidência adequada para a tarefa.

blocks

Exemplo em saúde: uma contraindicação que não aparece na fonte

Suponha que alguém consulte um resumo de informações farmacológicas e o sistema afirme que um medicamento é contraindicado quando usado junto com outro. A palavra «contraindicado» pode ter consequências importantes: não basta que a frase pareça médica ou contenha o nome correto de um fármaco. A verificação precisaria identificar o produto e a fonte aplicável, localizar a advertência exata e avaliar se o alcance da afirmação corresponde ao texto.

Se o material consultado não mencionar essa contraindicação, é possível dizer que a afirmação não tem respaldo nesse material. Para concluir que ela é falsa, seria necessário consultar evidências clínicas pertinentes e atualizadas, não deduzir isso do silêncio de um trecho isolado. O exemplo tampouco deve ser transformado em orientação ao paciente: diante de uma possível interação ou contraindicação real, deve-se recorrer a um profissional de saúde ou a informações autorizadas.

A avaliação pode decompor a resposta: os medicamentos foram identificados corretamente? Uma advertência foi atribuída a uma fonte específica? Essa fonte contém a advertência? A formulação exagera uma precaução ou apresenta uma possibilidade como proibição absoluta? Um benchmark médico pode ajudar a comparar sistemas em tarefas definidas, mas o resultado em um conjunto de testes não resolve a correção de uma resposta específica nem substitui uma revisão proporcional ao risco.

Exemplo em contratos: atribuir uma cláusula inexistente

Imagine uma ferramenta que resume um contrato e afirma que existe uma cláusula de renovação automática com um prazo específico. A forma mais direta de avaliar essa afirmação é procurar no documento o texto que a sustentaria e examinar as seções pertinentes. Se a cláusula não aparecer, o sistema não deve apresentá-la como parte do contrato. Uma conclusão adequada pode ser «não foi encontrada no documento fornecido», formulação mais precisa do que afirmar que ela não existe em nenhum outro anexo ou versão.

Também pode haver uma interpretação discutível sem que uma cláusula tenha sido inventada. Por exemplo, uma frase ambígua pode permitir mais de uma leitura jurídica. Nesse caso, é preciso diferenciar o texto literal, a interpretação do sistema e qualquer conclusão jurídica. Citar o número de uma seção tampouco prova que ela exista ou sustente o resumo: a referência e seu contexto precisam ser verificados.

O exemplo mostra por que o alcance da fonte importa. Se apenas uma página foi fornecida, a ausência de uma cláusula nessa página não permite afirmar que ela esteja ausente do contrato inteiro. Se o documento completo foi fornecido, ainda pode haver anexos ou documentos externos não incluídos. Uma avaliação rigorosa informa qual material foi examinado e evita transformar uma busca incompleta em uma conclusão universal.

Exemplo em programação: explicar uma função inexistente

Suponha que um assistente descreva uma função de uma biblioteca e forneça uma chamada que parece razoável, mas a função não existe na versão usada pelo projeto. A plausibilidade do nome e dos argumentos não basta para considerá-la válida. É possível consultar a documentação da versão pertinente, inspecionar o código disponível ou executar um teste mínimo em um ambiente controlado.

A versão e o contexto são essenciais. Uma função pode existir em uma versão mais recente, em uma extensão ou em outro módulo. Por isso, constatar que ela não aparece na documentação de uma versão específica permite delimitar a afirmação, mas não prova que nunca tenha existido. Também é necessário diferenciar uma explicação falsa sobre uma API de um erro de ambiente, uma dependência ausente ou uma configuração incorreta.

Se a resposta atribuir o método a uma documentação específica, a citação pode ser verificada separadamente. Se não mencionar nenhuma fonte, ainda é possível testar o código, mas o resultado de um teste cobre apenas as condições ensaiadas. Um trecho que funciona em um caso não garante que seja correto, seguro ou compatível com todos os projetos.

Como avaliar uma possível alucinação

Não existe uma única verificação que resolva todos os tipos de tarefa. A avaliação começa pela decomposição da resposta em afirmações verificáveis. Uma resposta extensa pode combinar dados corretos, inferências razoáveis, detalhes sem respaldo e citações incorretas. Avaliá-la como um bloco dificulta identificar o que precisa ser corrigido e que evidência está faltando.

Em seguida, define-se o padrão de respaldo: a resposta deveria se limitar a um documento? Deveria responder com informações atualizadas, executar um cálculo, descrever uma imagem ou resumir resultados recuperados? Cada propósito requer um teste diferente. Para uma pergunta sobre documentos, comparar trechos pode ser apropriado; para código, um teste executável fornece evidência sobre o comportamento ensaiado; para fatos atuais, pode ser necessário consultar fontes atualizadas e autorizadas.

Em sistemas RAG, é útil verificar se cada afirmação encontra apoio nos trechos recuperados e se esses trechos são pertinentes e suficientes. Um verificador de procedência pode ajudar a associar afirmações a trechos, mas essa associação não demonstra, por si só, que o trecho seja verdadeiro, atual ou proveniente da fonte mais adequada. Também não resolve necessariamente afirmações implícitas, raciocínios complexos ou informações ausentes do corpus.

Citações e referências devem ser validadas como elementos concretos: é preciso verificar se existem, se pertencem à fonte indicada e se sustentam a afirmação com o alcance que lhes é atribuído. Uma citação autêntica pode ser irrelevante, estar desatualizada ou ter sido interpretada fora de contexto. Por outro lado, uma afirmação pode estar correta embora a citação que a acompanha tenha sido atribuída incorretamente; são falhas distintas.

A revisão humana é especialmente importante quando um erro pode afetar a saúde, os direitos, as finanças, a segurança ou decisões difíceis de reverter. A intensidade da revisão deve ser proporcional ao impacto e à possibilidade de verificar o resultado. Para uma tarefa de baixo risco, um teste direto pode bastar; para uma decisão de alto impacto, a resposta automatizada não deve ser tratada como verificação independente.

Mitigações: úteis, mas não garantias

A recuperação de fontes pode melhorar a disponibilidade de evidências para responder e facilitar a comparação das afirmações. No entanto, recuperar informações não garante que a fonte correta tenha sido encontrada nem que o modelo a utilize com fidelidade. Os documentos podem estar incompletos, ser irrelevantes ou divergir; o sistema pode selecionar incorretamente, interpretar de forma defeituosa ou acrescentar conteúdo que não aparece neles.

Pedir ao modelo que diga que não sabe ou que se abstenha quando não tiver confiança pode reduzir algumas respostas especulativas, mas não transforma a abstenção em um detector infalível. O sistema pode se abster quando há evidência ou responder com segurança quando ela não existe. A instrução é uma medida de comportamento, não uma prova independente de verdade.

Verificadores automáticos podem apontar inconsistências, revisar citações ou comparar uma resposta com um conjunto de fontes. Seus resultados dependem da tarefa, dos dados e do método. Um verificador pode deixar passar um erro sutil, compartilhar limitações com o gerador ou aceitar uma fonte inadequada. Avaliações e benchmarks permitem medir comportamentos em condições definidas; não certificam todas as respostas futuras em outros contextos.

Uma publicação de pesquisa de um fornecedor de modelos propõe que determinados incentivos de treinamento e avaliação podem favorecer respostas por adivinhação em vez do reconhecimento da incerteza. Trata-se de uma hipótese explicativa apresentada por esse fornecedor, não de uma explicação universal nem de um consenso independente demonstrado para cada caso. Convém distinguir uma proposta sobre causas possíveis da evidência concreta que permite avaliar uma saída específica.

Conceitos relacionados e critérios práticos

A alucinação está relacionada a outros conceitos do glossário, mas não os substitui. A ficha sobre grounding trata de como uma resposta se apoia em informações ou em um contexto identificável; o conceito de RAG descreve uma arquitetura que recupera material para incorporá-lo à geração. Nenhum dos dois nomes implica que as afirmações sejam necessariamente corretas.

Incerteza diz respeito aos limites do que se pode determinar ou ao grau de confiança com que uma conclusão é sustentada. Expressá-la com clareza pode ajudar, mas uma frase de dúvida não garante que a resposta esteja bem calibrada. Fact-checking é o processo de confrontar afirmações com evidências; pode revelar erros, embora sua qualidade dependa da seleção das fontes e da pergunta avaliada. A página de alucinação no índice do glossário permite encontrar essas entradas relacionadas e distinguir seus enfoques.

Como critério prático, antes de aceitar uma resposta, pergunte: qual afirmação específica preciso usar? Que fonte ou teste poderia confirmá-la? A fonte é pertinente ao caso e à data? A citação realmente sustenta o que está sendo afirmado? Que partes continuam indeterminadas? Se não for possível responder a essas perguntas, é mais preciso dizer que a resposta não foi verificada do que atribuir-lhe um rótulo conclusivo.

Para documentar uma revisão, registre a afirmação, o material examinado, o método de verificação e o resultado. Use categorias delimitadas: respaldada pela fonte examinada, contradita por ela, sem respaldo nesse material ou impossível de avaliar com a evidência disponível. Acrescente o alcance: por exemplo, «no documento fornecido» ou «na versão testada». Essa formulação permite corrigir erros sem afirmar mais do que a revisão demonstra.

A regra final é simples: fluência, segurança no tom, riqueza de detalhes e uma citação com aparência formal não equivalem a evidência. A confiança razoável vem de uma verificação adequada à tarefa, com fontes pertinentes e limites explícitos.

Conceitos relacionados