Un experimento de Anthropic observa que analistas siguieron la inclinación de su agente de IA en el 86% de cuatro decisiones

Qué midió el experimento

Anthropic examinó si profesionales que trabajan con un agente de inteligencia artificial conservan el control de decisiones metodológicas cuando hay más de una opción razonable. El estudio se centró en cuatro elecciones analíticas que podían modificar la estimación del efecto de un programa agrícola, además de una recomendación final sobre ampliarlo o no.

La cifra principal es una coincidencia: en el 86% de las cuatro decisiones analíticas, los 50 participantes que usaron el agente eligieron la opción hacia la que este había sido inclinado. No significa que el 86% de todos los expertos siga siempre a la IA, ni que cada decisión coincidente se debiera necesariamente a ella. La publicación describe el resultado de una tarea concreta y de preferencias asignadas experimentalmente.

Cómo se hizo el estudio

Los autores reclutaron a 61 analistas profesionales con experiencia en inferencia causal observacional y uso habitual de Python o R. Once decidieron no utilizar el agente y quedaron fuera del análisis principal; los resultados de seguimiento corresponden a los otros 50. La tarea planteaba un caso ficticio: decidir si una cooperativa agrícola debía ampliar un programa de asesoramiento para sus miembros.

En cada una de cuatro decisiones metodológicas, una asignación aleatoria —un lanzamiento de moneda— determinaba cuál de dos opciones razonables favorecería el agente. Entre las decisiones estaban cómo medir la productividad, qué método de comparación usar, a qué conjunto de explotaciones aplicar el análisis y cómo ponderar sus resultados. El agente recibía instrucciones de defender su inclinación con argumentos honestos, cambiar de parecer si la evidencia era concluyente y no tergiversar los datos.

La preferencia no se dejó al azar del comportamiento habitual del modelo: se reforzó deliberadamente para que el experimento pudiera medir su efecto. Los analistas no conocían la asignación. Trabajaron en una versión web de VS Code con Claude Code y Claude Opus 4.8, en una tarea cuya mediana de duración fue de 65 minutos.

Qué resultados se observaron

La coincidencia con la inclinación del agente varió entre las cuatro elecciones: 92% para la medida del resultado, 82% para el método de comparación, 81% para la población incluida y 90% para la ponderación. En conjunto, el valor reportado fue del 86%. Esos porcentajes corresponden a las elecciones de los participantes que utilizaron el agente en esta tarea, no a observaciones de uso profesional en distintos sectores.

La recomendación final mostró una diferencia menor: el 54% recomendó ampliar el programa cuando el agente se inclinaba por hacerlo, frente al 36% cuando favorecía la opción contraria. Sin embargo, las decisiones metodológicas anteriores podían alterar la estimación del efecto y, por tanto, contribuir a la recomendación. Un modelo estadístico que usó solo las cuatro inclinaciones asignadas predijo correctamente el 82% de las recomendaciones, frente al 61% al elegir siempre la recomendación más común. Ese resultado corresponde al análisis descrito por los autores y no demuestra que el mismo patrón se dé fuera de la tarea.

En 38 casos, los analistas habían expresado una preferencia antes de que el agente presentara la suya. Cuando el agente discrepó, cambiaron de opción en el 60% de esos casos; cuando coincidió, lo hicieron en el 6%. La diferencia estimada fue de 54 puntos porcentuales, pero se basa en pocos casos y su intervalo de confianza del 95% fue amplio: de 24 a 82 puntos. Además, los autores advierten que quienes expresaron una preferencia previa podrían diferir de quienes no lo hicieron, por lo que esa comparación no identifica por sí sola una causa.

Argumentos adoptados y percepción de autoría

Después de la tarea, el 77% de los analistas repitió el argumento del agente en al menos una respuesta sobre sus decisiones. En el 15% de los participantes, el agente fue acreditado como fuente en alguna respuesta. Al contestar, no podían volver a consultar la conversación. Estos datos indican coincidencias en las explicaciones posteriores, pero no permiten determinar por sí solos por qué cada persona eligió una opción ni si recordó conscientemente el origen del argumento.

La percepción de autoría tampoco reflejó necesariamente la coincidencia observada: el 52% dijo que la recomendación final era más propia que del agente. En promedio, quienes la consideraban propia también habían mostrado un desplazamiento hacia las inclinaciones asignadas. La confianza media en la recomendación fue similar entre quienes siguieron las cuatro inclinaciones analíticas y los demás: 71 frente a 73 en una escala de 0 a 100.

Los autores señalan que una explicación posible es que algunas personas formen su opinión mientras examinan las alternativas, en vez de llegar con una preferencia firme. Si el agente argumenta con claridad una opción y apenas desarrolla la otra, puede ocupar ese espacio de decisión sin que el analista advierta cuánto contribuyó. El estudio documenta un patrón compatible con esa preocupación, pero no establece que explique todas las elecciones observadas.

Qué permite concluir y qué no

La asignación aleatoria de la inclinación del agente permite comparar elecciones entre participantes expuestos a preferencias distintas y observar un efecto promedio en el contexto diseñado. Aun así, la publicación no permite saber cuánto influyó el agente en cada persona concreta: no se registró de forma completa la preferencia individual antes de que el agente expresara su postura. Tampoco se midió con qué intensidad preferían los analistas cada alternativa.

La evidencia procede de un trabajo original presentado por sus autores en la página de investigación de Anthropic. La documentación consultada no establece que el trabajo haya pasado revisión por pares ni que sus resultados hayan sido replicados de manera independiente; por eso, las cifras deben entenderse como resultados reportados por ese estudio, no como consenso científico. La fuente secundaria disponible resume el experimento, pero no aporta una comprobación independiente de sus datos.

Hay límites claros para generalizar: se estudió una tarea ficticia de análisis agrícola, un único modelo y un grupo de profesionales expertos en inferencia causal, aunque no especialistas en agricultura. Además, los autores reforzaron las preferencias del agente para que fueran explícitas y consistentes. En el trabajo cotidiano, las preferencias del modelo podrían ser menos marcadas, las decisiones podrían ser distintas y los expertos podrían tener más conocimiento específico o preferencias propias más fuertes.

El estudio también comparó a quienes usaron el agente con los 11 participantes que no lo hicieron. Seis de estos últimos cometieron errores metodológicos graves, frente a tres de los 50 que sí usaron el agente; su mediana de duración fue de 90 minutos, frente a 65. Pero los grupos no eran comparables: quienes trabajaron sin IA tenían, en promedio, menos experiencia. La comparación no demuestra que usar IA causara menos errores o acelerara el trabajo.

Implicaciones prácticas para el trabajo con agentes

La cuestión práctica no es solo detectar errores de cálculo. En muchas tareas profesionales hay decisiones razonables sin una respuesta única: qué medir, qué población analizar o cómo ponderar resultados. Un agente puede producir una respuesta técnicamente coherente y, al mismo tiempo, inclinar decisiones que dependen de criterios o valores humanos. Revisar el resultado final puede no bastar para descubrir esas elecciones si ambas alternativas parecen defendibles.

Una forma de preservar un juicio humano informado es pedir primero al equipo que registre qué decisión tomaría y por qué, antes de recibir la recomendación del agente. Después puede comparar esa posición con los argumentos del sistema y pedirle que presente el mejor caso para cada alternativa, junto con los supuestos y efectos que cambian al escoger una u otra. Estas prácticas son medidas de proceso; el estudio no las evaluó como intervenciones ni demuestra que eliminen la influencia.

En tareas con muchas decisiones abiertas, exigir una revisión extensa de cada una puede ser costoso y poco práctico. Puede ser más útil identificar por adelantado cuáles afectan materialmente la conclusión, dejar constancia de las elecciones clave y reservar tiempo para una revisión independiente de esas decisiones. La organización también debe decidir qué aspectos puede delegar y cuáles requieren criterio humano propio, sin asumir que una firma final constituye automáticamente una revisión independiente.

Continúa explorando

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.