Contaminação de benchmarks de IA: o que os métodos detectam e o que não conseguem provar

A pergunta central: o que significa dizer que um benchmark está contaminado?

Dizer que um benchmark de inteligência artificial está contaminado pode descrever situações diferentes. Uma questão de avaliação pode aparecer literalmente nos dados usados para treinar um modelo; pode reaparecer com mudanças de formato; ou o modelo pode ter aprendido, durante o treinamento, padrões muito semelhantes aos exigidos pelo teste. Essas possibilidades não têm a mesma força probatória nem implicam automaticamente o mesmo efeito sobre uma pontuação.

Convém separar três afirmações. A primeira é que existe uma sobreposição entre o material de avaliação e algum conjunto de dados relevante. A segunda é que o modelo foi exposto a esse material antes de ser avaliado. A terceira, mais exigente, é que essa exposição causou uma melhora no resultado. Um detector pode oferecer indícios para as primeiras perguntas; demonstrar a terceira costuma exigir a comparação de resultados em condições que permitam isolar o efeito.

Essa distinção é importante para interpretar qualquer alerta. Uma correspondência textual pode indicar uma possível exposição, mas, por si só, não revela quando o texto foi incorporado, se o modelo o aprendeu ou quanto isso influenciou a resposta. Por outro lado, não encontrar uma correspondência exata tampouco descarta a existência de paráfrases, dados derivados ou familiaridade com o tipo de tarefa.

O escopo deste artigo se limita aos trabalhos verificados listados ao final. Esses estudos permitem explicar vários métodos e seus pressupostos, mas não bastam para confirmar os números agregados, a quantidade de estudos ou a data de cobertura atribuídos a uma revisão sistemática mencionada na proposta editorial. Portanto, não são apresentados aqui como fatos verificados nem um corpus de 55 estudos nem um intervalo geral de inflação de 6% a 40%.

Uma distinção operacional entre quatro formas de contaminação

Para examinar uma acusação específica, é útil classificar o que está sobreposto. Essa classificação é um quadro analítico prático, não uma atribuição de uma taxonomia comum a todos os estudos aqui analisados. Além disso, as categorias podem se combinar: uma tarefa pode ter circulado literalmente e, ao mesmo tempo, representar um padrão de problema muito comum nos dados de treinamento.

A correspondência exata é o caso mais visível: uma pergunta, uma resposta de referência ou uma solução aparece sem alterações substanciais no material de treinamento. Uma busca textual pode detectar correspondências, mas sua interpretação depende dos corpora que foi possível inspecionar, de sua cobertura e das transformações aplicadas aos dados. A ausência de uma correspondência em um corpus incompleto não prova que não houve exposição.

A transformação superficial inclui mudanças de formato, pontuação, ordem ou redação que preservam boa parte do conteúdo. Uma comparação literal pode não identificá-las. A busca por trechos, a normalização textual ou outros procedimentos de recuperação podem revelar candidatos, embora também gerem falsos positivos: expressões comuns ou modelos de uma tarefa podem aparecer em muitos documentos sem que haja uma cópia do item avaliado.

A equivalência semântica é mais difícil de estabelecer. Dois enunciados podem pedir o mesmo raciocínio com palavras diferentes, sem compartilhar longas sequências de texto. A semelhança semântica serve para sugerir possíveis pares, mas não demonstra que o modelo tenha visto um deles nem que essa exposição explique sua resposta. A decisão de que dois exemplos são equivalentes também pode depender de anotações e critérios humanos.

A exposição ao tipo de tarefa é uma afirmação diferente da cópia de exemplos. Um modelo pode ter recebido muitos problemas, perguntas ou trechos de código do mesmo formato geral, sem que se identifique uma instância específica do benchmark em seus dados. Essa familiaridade pode facilitar a resposta, mas medi-la exige definir o que conta como exposição e separar esse efeito das capacidades gerais adquiridas durante o treinamento.

Cinco famílias de métodos e seus requisitos

Não existe um detector que, sozinho, responda a todas as perguntas. Os métodos observam sinais diferentes e dependem de níveis distintos de acesso. A tabela a seguir organiza cinco abordagens úteis para analisar estudos sobre contaminação; é um guia comparativo, não uma escala universal de confiabilidade. Em particular, um sinal mais direto de correspondência não oferece necessariamente uma estimativa melhor do efeito causal sobre a pontuação.

O que os estudos disponíveis permitem afirmar

A pesquisa publicada na NAACL em 2024 apresenta métodos de recuperação em corpora e um protocolo chamado Testset Slot Guessing para investigar a contaminação de benchmarks, inclusive em cenários com modelos abertos e proprietários. Esses métodos ampliam as opções para além da busca por cópias literais, mas o tipo de evidência que produzem continua dependendo de como as consultas são definidas, de quais corpora estão disponíveis e do acesso permitido pelo modelo.

Uma revisão e avaliação publicada em Findings of NAACL em 2025 examina os pressupostos dos detectores e avalia métodos de inferência de pertencimento. Seu resultado mais relevante para uma leitura crítica é que alguns testes tiveram desempenho próximo ao acaso em corpora usados para pré-treinamento. Isso não significa que toda inferência de pertencimento seja inútil; alerta, sim, que chamar um método de “detector” não basta para considerar conclusiva sua classificação.

O ConStat propõe uma detecção baseada em desempenho, comparando resultados em benchmarks principais e de referência sob pressupostos definidos. A comparação pode ajudar a estimar se o comportamento observado é compatível com contaminação, mas não transforma automaticamente uma diferença em prova causal. Para avaliá-la, é preciso examinar quais referências foram escolhidas, por que são comparáveis e que explicações alternativas poderiam produzir a mesma diferença.

Um estudo controlado sobre tradução automática altera deliberadamente a exposição aos dados de avaliação para medir mudanças no desempenho dos modelos. O trabalho relata que os efeitos variam conforme a contaminação afete a entrada, a saída ou ambas. Esse desenho é informativo porque manipula a exposição em vez de inferi-la apenas com base nos resultados observados. Ainda assim, suas conclusões correspondem às condições experimentais estudadas: não podem ser transferidas sem ressalvas para outros benchmarks, tarefas ou processos de treinamento.

Em conjunto, esses trabalhos mostram por que convém formular perguntas específicas. Foi encontrada uma sequência textual em determinado corpus? Detectou-se um sinal estatístico compatível com pertencimento? Foram observadas respostas corretas a sondagens? Ou mediu-se uma mudança de desempenho após introduzir contaminação de forma controlada? São resultados diferentes. Apresentá-los sob o mesmo rótulo pode ocultar diferenças importantes de acesso, pressupostos e força da inferência.

Por que as estimativas de inflação não são intercambiáveis

Uma estimativa de quanto uma pontuação aumenta devido à contaminação só pode ser interpretada em conjunto com o procedimento que a produziu. Importam o benchmark, a unidade considerada contaminada, a proporção de exemplos afetados, a tarefa, o modelo e a etapa de treinamento. Também importam os dados de referência e o desenho da comparação. Duas porcentagens podem descrever quantidades diferentes, mesmo que ambas sejam chamadas de “inflação”.

Por exemplo, uma estimativa pode comparar o desempenho com e sem exposição introduzida de forma controlada. Outra pode inferir uma possível sobreposição em corpora e projetar seu efeito com base em pressupostos. Uma terceira pode comparar pontuações de modelos ou conjuntos de itens diferentes. Sem informações suficientes sobre esses desenhos, não é rigoroso ordenar os números como se fossem medições repetidas da mesma grandeza.

A proposta editorial menciona um intervalo aproximado de 6% a 40%, associado a estimativas publicadas para MMLU, GSM8K, HumanEval e HellaSwag. As fontes verificadas disponíveis para este artigo não permitem confirmar quais estudos sustentam cada extremo, que definição de inflação foi aplicada nem se esses números são comparáveis. Por esse motivo, o intervalo não é apresentado aqui como resultado confirmado nem como medida comum de contaminação nos benchmarks.

A mesma cautela se aplica aos nomes dos benchmarks e aos números agregados de revisões. Antes de repetir uma estimativa, convém consultar o estudo primário e registrar o que foi medido: porcentagem de itens com correspondências, número de exemplos recuperados, diferença de pontuação, proporção de acertos atribuível a uma condição experimental ou outra variável. Se a unidade não estiver clara, o número pode transmitir uma impressão de precisão que o desenho não sustenta.

Presença, exposição e causalidade: uma escala de evidências

Uma análise sólida evita saltar de um sinal para uma conclusão causal. Primeiro, descreve-se o achado com precisão: por exemplo, uma busca identificou documentos semelhantes em determinada coleção. Depois, avalia-se se essa coleção representa de forma confiável os dados de treinamento relevantes e se é possível estabelecer que o modelo teve acesso aos documentos antes da avaliação. Por fim, para atribuir uma mudança na pontuação a essa exposição, é necessária uma comparação que descarte explicações alternativas de maneira convincente.

A memória observável do modelo tampouco é idêntica ao seu histórico de treinamento. Uma sondagem pode levar o modelo a completar parte de um exemplo, mas esse acerto pode depender de conhecimentos gerais, de regularidades da tarefa ou de pistas incluídas na pergunta. Por outro lado, o fato de um modelo não reproduzir um item não demonstra que nunca o tenha visto: a recuperação pode falhar, especialmente se a consulta mudar ou se o modelo não gerar uma reprodução literal.

As inferências causais são mais claras em um experimento controlado que manipule a exposição e meça o desempenho sob condições comparáveis. Mesmo nesse caso, a conclusão é específica ao protocolo. Não basta que o experimento mostre que um efeito é possível para atribuir a pontuação de um modelo concreto à contaminação; seria preciso relacionar o experimento à exposição real, ao modelo, aos dados e ao benchmark investigados.

Por isso, é útil descrever a força das evidências em termos graduais: candidato a sobreposição, evidência de exposição provável ou demonstração experimental de um efeito sob condições delimitadas. Não são rótulos oficiais universais, mas uma forma de deixar claro o que foi observado e qual inferência ainda está pendente.

Perguntas práticas para analisar uma acusação de contaminação

Ao avaliar uma afirmação, o primeiro passo é localizar o estudo original e distinguir seus resultados da interpretação de terceiros. Uma nota à imprensa, uma tabela comparativa ou uma síntese pode ajudar a orientar a leitura, mas a força da afirmação depende dos dados, do protocolo e das limitações do trabalho primário.

Também convém verificar que tipo de acesso a equipe teve. Inspecionou os dados de treinamento ou apenas um corpus aproximado? Teve acesso a probabilidades, pesos ou somente às respostas do modelo? O método é reproduzível para um modelo fechado? A falta de acesso direto não invalida automaticamente uma análise, mas altera o que pode ser concluído e o quanto isso depende de pressupostos.

A lista a seguir pode ser útil tanto para quem publica avaliações quanto para quem as interpreta. Se várias perguntas ficarem sem resposta, o adequado é descrever a conclusão como provisória, especificar o tipo de sinal observado e evitar atribuir à contaminação qualquer diferença de pontuação.

Conclusão: tratar a contaminação como um risco que exige evidências graduais

A contaminação de benchmarks é um problema relevante para interpretar avaliações, mas não é uma explicação automática para uma pontuação alta nem uma propriedade que um único detector possa resolver de forma definitiva. Uma correspondência textual, um sinal de pertencimento, uma resposta correta a uma sondagem e um efeito medido em um experimento são evidências de naturezas diferentes.

Os estudos disponíveis aqui oferecem métodos complementares e, ao mesmo tempo, documentam limitações: a recuperação depende dos dados inspecionados, a inferência de pertencimento pode não ser confiável sob certas condições e as estimativas baseadas em desempenho exigem pressupostos. Experimentos controlados ajudam a estudar a causalidade, mas seus resultados devem se restringir às condições que realmente testaram.

A prática mais transparente consiste em publicar o método, o acesso, as decisões de comparação, os possíveis erros e as incertezas, além de separar explicitamente exposição e efeito. Uma ficha de transparência pode ser útil como proposta de documentação, mas as fontes verificadas usadas aqui não permitem confirmar o conteúdo de uma ficha específica nem apresentá-la como padrão adotado. Para leitores e pesquisadores, o critério central continua simples: exigir que cada conclusão corresponda às evidências que a sustentam, sem transformar uma suspeita em uma causa comprovada.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.