Contamination des benchmarks d’IA : ce que les méthodes détectent et ce qu’elles ne peuvent pas démontrer

La question clé : que signifie la contamination d’un benchmark ?

Dire qu’un benchmark d’intelligence artificielle est contaminé peut recouvrir des situations différentes. Une question d’évaluation peut apparaître littéralement dans les données utilisées pour entraîner un modèle ; elle peut réapparaître sous une forme modifiée ; ou le modèle peut avoir appris, au cours de son entraînement, des schémas très proches de ceux que requiert le test. Ces possibilités n’ont pas la même valeur probante et n’entraînent pas automatiquement le même effet sur un score.

Il faut distinguer trois affirmations. La première est qu’il existe un chevauchement entre le matériel d’évaluation et un jeu de données pertinent. La deuxième est que le modèle a été exposé à ce matériel avant d’être évalué. La troisième, plus exigeante, est que cette exposition a causé une amélioration du résultat. Un détecteur peut fournir des indices sur les premières questions ; démontrer la troisième exige généralement de comparer des résultats dans des conditions permettant d’isoler l’effet.

Cette distinction est importante pour interpréter toute alerte. Une correspondance textuelle peut signaler une exposition potentielle, mais ne révèle pas à elle seule quand le texte a été intégré, si le modèle l’a appris ni dans quelle mesure il a influencé sa réponse. À l’inverse, l’absence de correspondance exacte n’exclut pas l’existence de paraphrases, de données dérivées ou d’une familiarité avec le type de tâche.

Cet article se limite aux travaux vérifiés énumérés à la fin. Ces études permettent d’expliquer plusieurs méthodes et leurs hypothèses, mais ne suffisent pas à confirmer les chiffres agrégés, le nombre d’études ou la période couverte attribués à une revue systématique mentionnée dans la proposition éditoriale. Par conséquent, nous ne présentons ici comme des faits vérifiés ni un corpus de 55 études ni une fourchette générale de gonflement des scores allant de 6 % à 40 %.

Une distinction opérationnelle entre quatre formes de contamination

Pour examiner une accusation précise, il est utile de classer ce qui se chevauche. Cette classification constitue un cadre d’analyse pratique ; elle ne signifie pas que tous les travaux examinés ici partagent une taxonomie commune. En outre, les catégories peuvent se combiner : une tâche peut avoir circulé sous sa forme littérale tout en représentant un type de problème très répandu dans les données d’entraînement.

La correspondance exacte est le cas le plus visible : une question, une réponse de référence ou une solution apparaît sans modification substantielle dans le matériel d’entraînement. Une recherche textuelle peut détecter de telles correspondances, mais leur interprétation dépend des corpus qui ont pu être inspectés, de leur couverture et des transformations appliquées aux données. L’absence de correspondance dans un corpus incomplet ne prouve pas l’absence d’exposition.

La transformation superficielle comprend des changements de mise en forme, de ponctuation, d’ordre ou de formulation qui préservent une grande partie du contenu. Une comparaison littérale risque de ne pas les détecter. La recherche par fragments, la normalisation du texte ou d’autres méthodes de récupération peuvent faire ressortir des candidats, mais elles peuvent aussi produire des faux positifs : des expressions courantes ou des modèles propres à une tâche peuvent figurer dans de nombreux documents sans qu’il s’agisse d’une copie de l’élément évalué.

L’équivalence sémantique est plus difficile à établir. Deux énoncés peuvent demander le même raisonnement avec des mots différents, sans partager de longues séquences textuelles. La similarité sémantique peut servir à proposer des paires possibles, mais elle ne prouve ni que le modèle en a vu une ni que cette exposition explique sa réponse. Déterminer que deux exemples sont équivalents peut également dépendre d’annotations et de critères humains.

L’exposition au type de tâche est une affirmation différente de la copie d’exemples. Un modèle peut avoir reçu de nombreux problèmes, questions ou extraits de code de même format général sans qu’on puisse identifier un élément précis du benchmark dans ses données. Cette familiarité pourrait faciliter la réponse, mais pour la mesurer, il faut définir ce qui constitue une exposition et distinguer cet effet des capacités générales acquises pendant l’entraînement.

Cinq familles de méthodes et leurs exigences

Il n’existe pas de détecteur qui réponde à lui seul à toutes les questions. Les méthodes observent des signaux différents et reposent sur différents niveaux d’accès. Le tableau ci-dessous organise cinq approches utiles pour lire les études sur la contamination ; il s’agit d’un guide comparatif, et non d’une échelle universelle de fiabilité. En particulier, un signal plus direct de correspondance ne fournit pas nécessairement une meilleure estimation de l’effet causal sur le score.

La recherche directe de correspondances textuelles compare les éléments du benchmark à des corpus accessibles, ou à une collection de documents susceptible de contenir les données concernées. Elle peut repérer des séquences identiques ou très proches dans le matériel inspecté. Toutefois, le résultat dépend de la couverture du corpus, et une correspondance ne prouve ni que le modèle a utilisé ce contenu ni qu’il a influencé son score.

La récupération de documents recherche des documents candidats contenant un contenu lié aux éléments évalués. Ses résultats dépendent de la collection consultée, de la requête et des seuils retenus. Retrouver un document ne démontre pas à lui seul qu’il faisait partie des données d’entraînement.

Testset Slot Guessing repose sur l’accès à un modèle auquel on peut soumettre des sondages portant sur des parties d’exemples, conformément au protocole utilisé. Les réponses du modèle peuvent indiquer qu’il sait compléter ou reconnaître des éléments du test. Mais une réponse correcte peut aussi venir de capacités générales ou d’une connaissance du format, et non d’une exposition à l’instance concernée.

L’inférence d’appartenance examine, selon la méthode, les réponses du modèle ou d’autres signaux, puis les compare à des exemples. Elle recherche une différence statistique compatible avec l’hypothèse qu’un exemple appartenait aux données d’entraînement. Sa validité dépend des hypothèses formulées sur l’entraînement et la distribution ; les évaluations disponibles mettent en évidence des limites de fiabilité.

La comparaison des performances met en regard les résultats du modèle sur un benchmark principal et sur des tests de référence, en s’appuyant sur des hypothèses explicites. Elle peut dégager un schéma de performance compatible avec une contamination et une éventuelle différence de score. Mais le résultat dépend du choix des références et des hypothèses retenues ; il n’identifie pas nécessairement la cause de la performance.

Ce que permettent d’affirmer les études disponibles

Les travaux publiés à NAACL en 2024 présentent des méthodes de récupération dans des corpus ainsi qu’un protocole appelé Testset Slot Guessing pour étudier la contamination des benchmarks, y compris dans des scénarios impliquant des modèles ouverts et propriétaires. Ces méthodes élargissent les possibilités au-delà de la recherche de copies littérales, mais les éléments qu’elles produisent dépendent toujours de la définition des requêtes, des corpus disponibles et du niveau d’accès permis par le modèle.

Une enquête et évaluation publiée dans Findings of NAACL en 2025 examine les hypothèses des détecteurs et évalue des méthodes d’inférence d’appartenance. Le résultat le plus pertinent pour une lecture critique est que certains tests ont donné des résultats proches du hasard sur des corpus utilisés pour le préentraînement. Cela ne signifie pas que toute inférence d’appartenance est inutile ; cela rappelle qu’appeler une méthode un « détecteur » ne suffit pas à rendre sa classification concluante.

ConStat propose une détection fondée sur les performances, qui compare les résultats sur des benchmarks principaux et de référence au regard d’hypothèses définies. Cette comparaison peut aider à estimer si le comportement observé est compatible avec une contamination, mais elle ne transforme pas automatiquement une différence en preuve causale. Pour l’évaluer, il faut examiner les références choisies, les raisons pour lesquelles elles sont comparables et les autres explications susceptibles de produire la même différence.

Une étude contrôlée sur la traduction automatique modifie délibérément l’exposition aux données d’évaluation afin de mesurer les variations de performance de modèles. Les résultats indiquent que les effets diffèrent selon que l’entrée, la sortie ou les deux sont contaminées. Cette approche est informative parce qu’elle manipule l’exposition au lieu de la déduire uniquement des résultats observés. Ses conclusions restent toutefois propres aux conditions expérimentales étudiées : elles ne se transposent pas automatiquement à d’autres benchmarks, tâches ou processus d’entraînement.

Dans leur ensemble, ces travaux montrent pourquoi il est préférable de poser des questions précises. Une chaîne de caractères a-t-elle été trouvée dans un corpus particulier ? Une inférence statistique compatible avec l’appartenance a-t-elle été détectée ? Des réponses correctes à des sondages ont-elles été observées ? Ou bien une variation de performance a-t-elle été mesurée après l’introduction contrôlée d’une contamination ? Ce sont des résultats différents. Les présenter sous une seule et même étiquette risque de masquer d’importantes différences d’accès, d’hypothèses et de force de l’inférence.

Pourquoi les estimations de gonflement des scores ne sont pas interchangeables

Une estimation de l’augmentation d’un score due à la contamination ne s’interprète qu’en tenant compte de la méthode qui l’a produite. Le benchmark, l’unité considérée comme contaminée, la proportion d’exemples concernés, la tâche, le modèle et la phase d’entraînement comptent tous. Les données de référence et le protocole de comparaison comptent également. Deux pourcentages peuvent décrire des quantités différentes même s’ils sont tous deux qualifiés de « gonflement ».

Par exemple, une estimation peut comparer les performances avec et sans exposition introduite de manière contrôlée. Une autre peut déduire un chevauchement potentiel dans des corpus, puis en projeter l’effet à partir d’hypothèses. Une troisième peut comparer les scores de modèles ou d’ensembles d’éléments différents. Sans informations suffisantes sur ces protocoles, il n’est pas rigoureux de classer leurs chiffres comme s’il s’agissait de mesures répétées d’une même quantité.

La proposition éditoriale mentionne une fourchette approximative de 6 % à 40 % associée à des estimations publiées pour MMLU, GSM8K, HumanEval et HellaSwag. Les sources vérifiées disponibles pour cet article ne permettent pas de confirmer quelles études étayent chacune des deux extrémités, quelle définition du gonflement a été appliquée ni si ces chiffres sont comparables. C’est pourquoi cette fourchette n’est présentée ici ni comme un résultat confirmé ni comme une mesure commune de la contamination des benchmarks.

La même prudence s’impose pour les noms de benchmarks et les chiffres agrégés issus de revues. Avant de reprendre une estimation, il convient de consulter l’étude primaire et de noter ce qui a été mesuré : le pourcentage d’éléments présentant des correspondances, le nombre d’exemples récupérés, la différence de score, la proportion de bonnes réponses attribuable à une condition expérimentale ou une autre variable. Si l’unité n’est pas claire, le chiffre peut donner une impression de précision que le protocole ne justifie pas.

Présence, exposition et causalité : une progression des éléments probants

Une analyse solide évite de passer directement d’un signal à une conclusion causale. Il faut d’abord décrire précisément le résultat : par exemple, une recherche a identifié des documents similaires dans une collection donnée. On évalue ensuite si cette collection représente de façon fiable les données d’entraînement pertinentes et s’il est possible d’établir que le modèle a eu accès aux documents avant l’évaluation. Enfin, pour attribuer une variation de score à cette exposition, il faut une comparaison qui écarte de manière convaincante les autres explications.

La mémoire observable du modèle n’est pas non plus identique à son historique d’entraînement. Un sondage peut amener le modèle à compléter une partie d’un exemple, mais cette réussite peut venir de connaissances générales, de régularités propres à la tâche ou d’indices présents dans la question. À l’inverse, le fait qu’un modèle ne reproduise pas un élément ne prouve pas qu’il ne l’a jamais vu : la récupération peut échouer, en particulier si la requête change ou si le modèle ne génère pas de reproduction littérale.

Les inférences causales sont plus claires dans une expérience contrôlée qui manipule l’exposition et mesure les performances dans des conditions comparables. Même dans ce cas, la conclusion est limitée au protocole. Le fait qu’une expérience mette en évidence un effet possible ne suffit pas à attribuer le score d’un modèle particulier à la contamination ; il faudrait relier l’expérience à l’exposition réelle, au modèle, aux données et au benchmark étudiés.

Il est donc utile de décrire la force des éléments disponibles par degrés : candidat au chevauchement, éléments suggérant une exposition probable ou démonstration expérimentale d’un effet dans des conditions délimitées. Il ne s’agit pas d’étiquettes officielles universelles, mais d’une façon de préciser ce qui a été observé et quelle inférence reste à établir.

Questions pratiques pour examiner une accusation de contamination

Lorsqu’on évalue une affirmation, la première étape consiste à retrouver l’étude originale et à distinguer ses résultats de l’interprétation qu’en font d’autres personnes. Un communiqué, un tableau comparatif ou une synthèse peut servir de point de départ, mais la solidité de l’affirmation dépend des données, du protocole et des limites de l’étude primaire.

Il convient également de vérifier le niveau d’accès dont disposait l’équipe. A-t-elle inspecté les données d’entraînement ou seulement un corpus approximatif ? Avait-elle accès aux probabilités, aux paramètres ou uniquement aux réponses du modèle ? La méthode est-elle reproductible pour un modèle fermé ? L’absence d’accès direct n’invalide pas automatiquement une analyse, mais elle modifie ce qu’il est possible de conclure et la mesure dans laquelle le résultat dépend d’hypothèses.

La liste ci-dessous peut être utile à la fois aux personnes qui publient des évaluations et à celles qui les interprètent. Si plusieurs questions restent sans réponse, il est préférable de qualifier la conclusion de provisoire, de préciser le type de signal observé et d’éviter d’attribuer à la contamination toute différence de score.

Conclusion : considérer la contamination comme un risque qui exige des preuves graduées

La contamination des benchmarks constitue un enjeu important pour l’interprétation des évaluations, mais elle n’explique pas automatiquement un score élevé et aucun détecteur unique ne peut la trancher de façon définitive. Une correspondance textuelle, un signal d’appartenance, une réponse correcte à un sondage et un effet mesuré dans une expérience sont des éléments de nature différente.

Les études disponibles ici proposent des méthodes complémentaires tout en documentant leurs limites : la récupération dépend des données inspectées, l’inférence d’appartenance peut manquer de fiabilité dans certaines conditions et les estimations fondées sur les performances reposent sur des hypothèses. Les expériences contrôlées aident à étudier la causalité, mais leurs résultats doivent rester circonscrits aux conditions effectivement testées.

La pratique la plus transparente consiste à publier la méthode, les accès, les choix de comparaison, les erreurs possibles et les incertitudes, et à distinguer explicitement l’exposition de son effet. Une fiche de transparence peut être utile comme proposition de documentation, mais les sources vérifiées utilisées ici ne permettent ni de confirmer le contenu d’une fiche particulière ni de la présenter comme une norme adoptée. Pour les lecteurs et les chercheurs, le principe reste simple : exiger que chaque conclusion corresponde aux éléments qui l’étayent, sans transformer un soupçon en cause démontrée.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.