Dans une expérience d’Anthropic, les analystes ont suivi l’inclination de leur agent IA dans 86 % de quatre décisions

Ce que l’expérience a mesuré

Anthropic a examiné si des professionnels travaillant avec un agent d’intelligence artificielle conservent la maîtrise de leurs choix méthodologiques lorsque plusieurs options sont raisonnables. L’étude portait sur quatre décisions analytiques susceptibles de modifier l’estimation de l’effet d’un programme agricole, puis sur une recommandation finale concernant son éventuel élargissement.

Le chiffre principal correspond à une concordance : dans 86 % des quatre décisions analytiques, les 50 participants ayant utilisé l’agent ont choisi l’option vers laquelle celui-ci avait été orienté. Cela ne signifie ni que 86 % des experts suivent toujours l’IA, ni que l’agent est nécessairement à l’origine de chaque choix concordant. La publication décrit les résultats d’une tâche précise, avec des préférences attribuées expérimentalement.

Comment l’étude a été menée

Les auteurs ont recruté 61 analystes professionnels ayant de l’expérience en inférence causale observationnelle et utilisant régulièrement Python ou R. Onze ont choisi de ne pas utiliser l’agent et n’ont pas été inclus dans l’analyse principale ; les résultats de suivi portent sur les 50 autres participants. La tâche reposait sur un cas fictif : décider si une coopérative agricole devait étendre un programme de conseil destiné à ses membres.

Pour chacune des quatre décisions méthodologiques, un tirage au sort — à pile ou face — déterminait laquelle de deux options raisonnables l’agent allait privilégier. Les choix portaient notamment sur la mesure de la productivité, la méthode de comparaison, les exploitations à inclure dans l’analyse et la pondération des résultats. L’agent devait défendre son inclination avec des arguments honnêtes, changer d’avis si les éléments étaient concluants et ne pas déformer les données.

La préférence n’a pas été laissée au comportement habituel du modèle : elle a été délibérément renforcée pour que l’expérience puisse en mesurer l’effet. Les analystes ne connaissaient pas le résultat du tirage. Ils ont travaillé dans une version web de VS Code intégrant Claude Code et Claude Opus 4.8. La durée médiane de la tâche était de 65 minutes.

Les résultats observés

La concordance avec l’inclination de l’agent variait selon les quatre choix : 92 % pour la mesure du résultat, 82 % pour la méthode de comparaison, 81 % pour la population étudiée et 90 % pour la pondération. Le résultat global rapporté était de 86 %. Ces pourcentages concernent les choix des participants ayant utilisé l’agent pour cette tâche ; ils ne mesurent pas les pratiques professionnelles dans différents secteurs.

La recommandation finale présentait un écart plus faible : 54 % des analystes ont recommandé d’étendre le programme lorsque l’agent y était favorable, contre 36 % lorsqu’il privilégiait l’option contraire. Les décisions méthodologiques précédentes pouvaient toutefois modifier l’estimation de l’effet et, par conséquent, contribuer à la recommandation. Un modèle statistique utilisant uniquement les quatre inclinations attribuées a correctement prédit 82 % des recommandations, contre 61 % en choisissant toujours la recommandation la plus fréquente. Ce résultat appartient à l’analyse décrite par les auteurs et ne prouve pas que le même schéma se reproduise en dehors de cette tâche.

Dans 38 cas, les analystes avaient exprimé une préférence avant que l’agent ne présente la sienne. Lorsque l’agent n’était pas d’accord, ils ont changé d’option dans 60 % de ces cas ; lorsqu’il était d’accord, ils l’ont fait dans 6 % des cas. L’écart estimé était de 54 points de pourcentage, mais il repose sur un petit nombre de cas et son intervalle de confiance à 95 % était large : de 24 à 82 points. Les auteurs précisent également que les personnes ayant exprimé une préférence au préalable pouvaient différer des autres ; cette comparaison ne permet donc pas, à elle seule, d’établir une causalité.

Arguments repris et perception de la paternité des choix

Après la tâche, 77 % des analystes ont repris l’argument de l’agent dans au moins une réponse expliquant leurs choix. Dans 15 % des cas, l’agent a été cité comme source dans une réponse. Les participants ne pouvaient pas consulter à nouveau la conversation au moment de répondre. Ces données montrent des similitudes entre les arguments et les explications ultérieures, mais ne suffisent pas à déterminer pourquoi chaque personne a choisi une option ni si elle se souvenait consciemment de l’origine de l’argument.

La perception de la paternité des choix ne reflétait pas nécessairement la concordance observée : 52 % des participants ont estimé que la recommandation finale venait davantage d’eux que de l’agent. En moyenne, ceux qui la considéraient comme la leur avaient eux aussi montré un déplacement vers les inclinations attribuées. Le niveau moyen de confiance dans la recommandation était semblable chez les participants ayant suivi les quatre inclinations analytiques et les autres : 71 contre 73 sur une échelle de 0 à 100.

Les auteurs avancent une explication possible : certaines personnes se forgent une opinion en examinant les possibilités, au lieu d’arriver avec une préférence arrêtée. Si l’agent défend clairement une option et développe peu l’autre, il peut occuper cet espace de décision sans que l’analyste mesure pleinement sa contribution. L’étude décrit un résultat compatible avec cette inquiétude, mais n’établit pas que ce mécanisme explique tous les choix observés.

Ce que l’étude permet — et ne permet pas — de conclure

L’attribution aléatoire de l’inclination de l’agent permet de comparer les choix de participants exposés à des préférences différentes et d’observer un effet moyen dans le contexte conçu pour l’expérience. La publication ne permet cependant pas de savoir dans quelle mesure l’agent a influencé chaque personne : les préférences individuelles n’ont pas été relevées de façon suffisamment complète avant que l’agent n’exprime sa position. L’intensité de la préférence de chaque analyste pour les différentes options n’a pas non plus été mesurée.

Les éléments disponibles proviennent d’un travail original présenté par ses auteurs sur la page de recherche d’Anthropic. La documentation consultée n’établit pas que le travail ait fait l’objet d’une évaluation par les pairs ou d’une réplication indépendante. Les chiffres doivent donc être compris comme des résultats rapportés par cette étude, et non comme un consensus scientifique. La source secondaire disponible résume l’expérience, mais ne vérifie pas indépendamment ses données.

La généralisation est limitée : l’étude portait sur une tâche fictive d’analyse agricole, un seul modèle et un groupe de professionnels spécialisés en inférence causale, mais pas en agriculture. En outre, les auteurs ont renforcé les préférences de l’agent afin qu’elles soient explicites et constantes. Dans le travail quotidien, les préférences du modèle pourraient être moins marquées, les décisions différentes et les experts mieux informés du domaine ou plus fermement attachés à leurs propres choix.

L’étude comparait également les personnes ayant utilisé l’agent aux 11 participants qui ne l’avaient pas fait. Six de ces derniers ont commis des erreurs méthodologiques graves, contre trois des 50 utilisateurs de l’agent ; leur durée médiane était de 90 minutes, contre 65. Mais les groupes n’étaient pas comparables : les personnes ayant travaillé sans IA avaient, en moyenne, moins d’expérience. Cette comparaison ne démontre pas que l’utilisation de l’IA a réduit les erreurs ou accéléré le travail.

Conséquences pratiques du travail avec des agents

La question pratique ne consiste pas seulement à repérer les erreurs de calcul. Dans de nombreuses tâches professionnelles, plusieurs décisions sont raisonnables sans qu’il existe une réponse unique : quoi mesurer, quelle population analyser ou comment pondérer les résultats. Un agent peut produire une réponse techniquement cohérente tout en orientant des choix qui dépendent de critères ou de valeurs humaines. Examiner uniquement le résultat final peut ne pas révéler ces choix si les deux options restent défendables.

Pour préserver un jugement humain éclairé, une équipe peut d’abord consigner la décision qu’elle prendrait et ses raisons, avant de recevoir la recommandation de l’agent. Elle peut ensuite comparer sa position aux arguments du système et lui demander de présenter le meilleur argument pour chaque option, ainsi que les hypothèses et les conséquences qui changent d’un choix à l’autre. Ces pratiques relèvent de méthodes de travail ; l’étude ne les a pas évaluées et ne démontre pas qu’elles éliminent l’influence de l’agent.

Lorsqu’une tâche comporte de nombreuses décisions ouvertes, exiger un examen approfondi de chacune peut être coûteux et peu réaliste. Il peut être plus utile de déterminer à l’avance celles qui sont susceptibles de modifier sensiblement la conclusion, de consigner les choix clés et de réserver du temps à leur examen indépendant. L’organisation doit également décider quels aspects peuvent être délégués et lesquels exigent un jugement humain propre, sans supposer qu’une validation finale constitue automatiquement un contrôle indépendant.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.