Experimento da Anthropic observa analistas seguindo a inclinação de seu agente de IA em 86% de quatro decisões

O que o experimento mediu

A Anthropic examinou se profissionais que trabalham com um agente de inteligência artificial mantêm o controle de decisões metodológicas quando há mais de uma opção razoável. O estudo se concentrou em quatro escolhas analíticas capazes de alterar a estimativa do efeito de um programa agrícola, além de uma recomendação final sobre ampliá-lo ou não.

O principal resultado é uma correspondência: em 86% das quatro decisões analíticas, os 50 participantes que usaram o agente escolheram a opção para a qual ele havia sido inclinado. Isso não significa que 86% de todos os especialistas sempre sigam a IA, nem que cada escolha coincidente tenha sido necessariamente causada por ela. A publicação descreve os resultados de uma tarefa específica, com preferências atribuídas experimentalmente.

Como o estudo foi conduzido

Os autores recrutaram 61 analistas profissionais com experiência em inferência causal observacional e uso regular de Python ou R. Onze decidiram não usar o agente e ficaram fora da análise principal; os resultados principais se referem aos outros 50. A tarefa apresentava um caso fictício: decidir se uma cooperativa agrícola deveria ampliar um programa de consultoria para seus associados.

Em cada uma de quatro decisões metodológicas, uma escolha aleatória — determinada por cara ou coroa — definia qual das duas opções razoáveis o agente favoreceria. As decisões incluíam como medir a produtividade, qual método de comparação usar, quais propriedades agrícolas incluir na análise e como ponderar os resultados. O agente recebeu instruções para defender sua inclinação com argumentos honestos, mudar de opinião caso as evidências fossem conclusivas e não distorcer os dados.

A preferência não ficou por conta do comportamento habitual do modelo: ela foi deliberadamente reforçada para que o experimento pudesse medir seu efeito. Os analistas desconheciam a opção sorteada. Eles trabalharam em uma versão web do VS Code com o Claude Code e o Claude Opus 4.8. A tarefa durou 65 minutos, na mediana.

Quais resultados foram observados

A correspondência com a inclinação do agente variou entre as quatro escolhas: 92% para a medida do resultado, 82% para o método de comparação, 81% para a população incluída e 90% para a ponderação. No conjunto, o valor relatado foi de 86%. Esses percentuais se referem às escolhas dos participantes que usaram o agente nessa tarefa, não a observações de uso profissional em diferentes setores.

A recomendação final apresentou uma diferença menor: 54% recomendaram ampliar o programa quando o agente favorecia essa opção, contra 36% quando ele favorecia a alternativa. Ainda assim, as decisões metodológicas anteriores podiam alterar a estimativa do efeito e, portanto, contribuir para a recomendação. Um modelo estatístico que usou apenas as quatro inclinações atribuídas previu corretamente 82% das recomendações, contra 61% ao escolher sempre a recomendação mais comum. Esse resultado corresponde à análise descrita pelos autores e não demonstra que o mesmo padrão ocorra fora da tarefa.

Em 38 casos, os analistas haviam expressado uma preferência antes de o agente apresentar a sua. Quando o agente discordava, eles mudaram de opção em 60% desses casos; quando concordava, em 6%. A diferença estimada foi de 54 pontos percentuais, mas se baseia em poucos casos e tem um intervalo de confiança de 95% amplo: de 24 a 82 pontos. Além disso, os autores alertam que quem expressou uma preferência prévia pode diferir de quem não o fez. Portanto, essa comparação, por si só, não identifica uma causa.

Argumentos adotados e percepção de autoria

Depois da tarefa, 77% dos analistas repetiram o argumento do agente em pelo menos uma resposta sobre suas decisões. Em alguma resposta, 15% dos participantes atribuíram o argumento ao agente. Ao responder, eles não podiam consultar novamente a conversa. Esses dados mostram correspondências entre as explicações posteriores e os argumentos do agente, mas, por si só, não permitem determinar por que cada pessoa escolheu uma opção ou se lembrava conscientemente da origem do argumento.

A percepção de autoria também não refletiu necessariamente a correspondência observada: 52% disseram que a recomendação final era mais deles do que do agente. Em média, mesmo os que a consideravam própria haviam mostrado um deslocamento em direção às inclinações atribuídas. A confiança média na recomendação foi semelhante entre quem seguiu as quatro inclinações analíticas e os demais: 71 contra 73, em uma escala de 0 a 100.

Os autores apontam como uma explicação possível o fato de algumas pessoas formarem sua opinião enquanto avaliam as alternativas, em vez de chegarem com uma preferência firme. Se o agente argumenta claramente a favor de uma opção e pouco desenvolve a outra, pode ocupar esse espaço de decisão sem que o analista perceba quanto contribuiu. O estudo documenta um padrão compatível com essa preocupação, mas não demonstra que ela explique todas as escolhas observadas.

O que os resultados permitem concluir — e o que não permitem

A atribuição aleatória da inclinação do agente permite comparar escolhas entre participantes expostos a preferências diferentes e observar um efeito médio no contexto planejado. Ainda assim, a publicação não permite saber quanto o agente influenciou cada pessoa especificamente: as preferências individuais antes de o agente expressar sua posição não foram registradas de forma completa. Tampouco foi medida a intensidade com que os analistas preferiam cada alternativa.

A evidência vem de um trabalho original apresentado por seus autores na página de pesquisa da Anthropic. A documentação consultada não estabelece que o trabalho tenha passado por revisão por pares ou sido replicado de forma independente. Por isso, os números devem ser entendidos como resultados relatados por esse estudo, não como consenso científico. A fonte secundária disponível resume o experimento, mas não oferece uma verificação independente dos dados.

Há limites claros para generalizar os resultados: foi estudada uma tarefa fictícia de análise agrícola, com um único modelo e um grupo de profissionais especialistas em inferência causal, mas não em agricultura. Além disso, os autores reforçaram deliberadamente as preferências do agente para que fossem explícitas e consistentes. No trabalho cotidiano, as preferências do modelo podem ser menos marcadas, as decisões podem ser diferentes e os especialistas podem ter mais conhecimento específico ou preferências próprias mais fortes.

O estudo também comparou quem usou o agente com os 11 participantes que não o usaram. Seis destes últimos cometeram erros metodológicos graves, contra três dos 50 que usaram o agente; a duração mediana foi de 90 minutos, contra 65. Mas os grupos não eram comparáveis: em média, quem trabalhou sem IA tinha menos experiência. A comparação não demonstra que usar IA tenha causado menos erros ou acelerado o trabalho.

Implicações práticas para o trabalho com agentes

A questão prática não é apenas detectar erros de cálculo. Em muitas tarefas profissionais, há decisões razoáveis sem uma única resposta: o que medir, qual população analisar ou como ponderar os resultados. Um agente pode produzir uma resposta tecnicamente coerente e, ao mesmo tempo, inclinar decisões que dependem de critérios ou valores humanos. Revisar apenas o resultado final pode não revelar essas escolhas se ambas as alternativas forem defensáveis.

Uma maneira de preservar um julgamento humano informado é pedir à equipe que registre o que decidiria e por quê antes de receber a recomendação do agente, quando isso for viável. Depois, pode-se comparar essa posição com os argumentos do sistema e pedir que ele apresente o melhor argumento para cada alternativa, junto com as premissas e os efeitos que mudam de acordo com a escolha. Essas são medidas de processo; o estudo não as avaliou como intervenções e não demonstra que eliminem a influência.

Em tarefas com muitas decisões em aberto, exigir uma revisão extensa de cada uma pode ser caro e pouco prático. Pode ser mais útil identificar antecipadamente quais escolhas afetam materialmente a conclusão, registrar as decisões principais e reservar tempo para uma revisão independente delas. A organização também precisa decidir quais aspectos pode delegar e quais exigem julgamento humano próprio, sem presumir que uma assinatura final seja automaticamente uma revisão independente.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.