Qué probó Anthropic
Anthropic publicó un experimento en el que Claude actuó como investigador automatizado de alineación: buscó métodos y datos para entrenar modelos y reducir fallos concretos, medidos mediante pruebas de referencia. La tarea no consistía en demostrar que un modelo fuera seguro en cualquier circunstancia, sino en mejorar resultados definidos de antemano.
El sistema trabajó en diez categorías de fallos de alineación, abordadas por separado. Entre los ejemplos descritos por Anthropic figuran la vulneración de la privacidad y la complacencia, es decir, la tendencia a coincidir con el usuario incluso cuando hacerlo no favorece una respuesta veraz o adecuada. Cada categoría se evaluó con pruebas específicas.
Anthropic afirma que los métodos de Claude mejoraron las pruebas objetivo en las diez categorías sin reducir el rendimiento en las capacidades que el estudio midió. La conclusión depende de ese conjunto concreto de pruebas: no abarca todos los comportamientos posibles ni equivale a certificar la seguridad general de los modelos.
Cómo funcionó el ciclo de investigación
Para cada fallo, Claude buscó literatura, propuso un método y datos de entrenamiento, entrenó un modelo y examinó el resultado. Las puntuaciones orientaban los intentos posteriores, de modo que el sistema podía iterar a partir de evaluaciones anteriores en lugar de presentar una propuesta única sin probarla.
El estudio separó las pruebas usadas para orientar la búsqueda de otras reservadas para evaluar la generalización. Además, un agente supervisor leía los métodos que Claude quería ejecutar. Anthropic también prohibió que el sistema copiara directamente en el modelo objetivo su propia alineación. Estos controles acotaban el experimento, pero no garantizaban por sí mismos que cada intervención fuese correcta o segura.
La medida principal fue el porcentaje de la brecha de seguridad cerrada: cuánto se acercaba el modelo a la puntuación perfecta teórica de las pruebas seleccionadas. Las intervenciones que perjudicaban el rendimiento en las comprobaciones de capacidades elegidas se rechazaban. La métrica describe el avance en esas evaluaciones, no una medida universal de alineación.
Del método propuesto a la evaluación
El proceso repetía una secuencia de investigación, entrenamiento y evaluación. Una puntuación favorable indicaba un resultado en las pruebas seleccionadas, no una garantía de seguridad fuera de ellas.
- 01Claude revisaba literatura y proponía un método y datos de entrenamiento para un fallo concreto.
- 02Un agente supervisor examinaba el método antes de que se ejecutara.
- 03El sistema entrenaba el modelo objetivo y un evaluador independiente medía el resultado.
- 04Las puntuaciones orientaban nuevos intentos; las pruebas reservadas servían para comprobar la generalización.
Qué resultados comunicó Anthropic
Anthropic afirma que Claude mejoró los resultados de las pruebas objetivo en las diez categorías estudiadas. Los métodos seleccionados también funcionaron en evaluaciones de alineación que el sistema no había visto durante su búsqueda y en Petri, una herramienta de código abierto que simula escenarios adversariales de varios turnos. Petri es una aproximación para evaluar comportamientos, no una prueba directa de seguridad en el mundo real.
Anthropic también informa de que los métodos siguieron siendo eficaces en modelos de hasta 4,7 veces el tamaño de los optimizados durante la búsqueda. En una prueba sobre engaño con Gemma-2-2B, Claude realizó más de 150 intentos. La mejor ejecución cerró el 82 % de la brecha de seguridad; el promedio comunicado entre varias ejecuciones fue del 85 %. Esas cifras describen medidas distintas: una corresponde a la ejecución destacada y la otra al promedio de varias ejecuciones.
En otro experimento, Claude Sonnet 5 trabajó durante 60 horas para mitigar fallos de alineación en una versión temprana de Claude Opus 4.8. Anthropic afirma que la solución ganadora alcanzó puntuaciones de alineación cercanas a las de sus modelos de producción y utilizó algo más de 2.000 ejemplos de entrenamiento. La comparación de eficiencia que presenta la empresa se refiere a su procedimiento de alineación de producción; no demuestra que el método sea intercambiable con ese procedimiento en otros modelos o contextos.
Qué significan los resultados comunicados
Las cifras resumen pruebas y configuraciones concretas. No deben interpretarse como medidas universales de seguridad.
| Resultado | Qué indica | Qué no demuestra |
|---|---|---|
| Mejora en diez categorías | Claude mejoró las pruebas seleccionadas para cada categoría. | Que se hayan cubierto todos los fallos de alineación posibles. |
| Evaluaciones reservadas y Petri | Algunos métodos funcionaron fuera de las pruebas usadas durante la búsqueda. | Que las evaluaciones reproduzcan por completo el riesgo en sistemas desplegados. |
| Transferencia a modelos mayores | Anthropic observó eficacia en modelos de hasta 4,7 veces el tamaño de los optimizados. | Que el resultado se generalice a cualquier modelo o escala. |
Métodos concretos y límites de la evaluación
En el trabajo sobre complacencia, Anthropic indica que el 98 % de los métodos propuestos utilizó una técnica publicada: entrenar un modelo con sus propias respuestas no complacientes. Claude empleó direccionamiento de activaciones para generar ejemplos menos complacientes. Esta técnica ajusta representaciones internas durante la generación; su uso en el experimento no establece que elimine la complacencia en general.
Para la vulneración de la privacidad, Anthropic cita ConfAIde, PrivaCI-Bench y PrivacyLens como pruebas de referencia. La empresa afirma que Claude mejoró el rendimiento medido en ellas, pero el resumen publicado no atribuye el resultado a una única intervención ni proporciona aquí un desglose que permita comparar cada prueba por separado.
El número y la variedad de las evaluaciones importan. En una prueba de ablación descrita en el informe, optimizar una sola evaluación de inyección de instrucciones produjo una mejora en esa prueba, pero no una generalización fiable a otras pruebas no vistas. Este resultado muestra por qué una puntuación elevada en un único benchmark no basta para sostener que se ha mitigado el problema subyacente.
La comparación con investigadores humanos
Anthropic comparó los métodos automatizados con propuestas de investigadores humanos. La empresa afirma que Claude superó la mejor propuesta humana en las siete categorías con propuestas comparables; en el ejemplo del engaño, su mejor método rindió un 20 % mejor que la propuesta humana más sólida.
La comparación no fue equivalente. Los investigadores humanos podían dedicar hasta ocho horas a formular propuestas, pero no podían probarlas y revisarlas después de conocer sus puntuaciones. Claude, en cambio, podía realizar intentos sucesivos y usar las evaluaciones para orientar los siguientes. Por eso, el resultado no demuestra que Claude supere a los investigadores humanos en condiciones iguales.
Anthropic presenta la comparación como indicio de que una búsqueda automatizada puede explorar métodos prometedores para que las personas los evalúen y refinen. Esa interpretación es más acotada que afirmar que el sistema puede sustituir a quienes investigan la alineación.
Cómo interpretar la comparación
Los grupos tuvieron oportunidades distintas de probar y mejorar sus métodos.
| Aspecto | Investigadores humanos | Investigadores automatizados |
|---|---|---|
| Propuesta inicial | Hasta ocho horas para formular métodos. | El sistema proponía métodos para evaluarlos. |
| Iteración con puntuaciones | No podían revisar la propuesta después de conocer los resultados. | Podían usar las puntuaciones para orientar nuevos intentos. |
| Lectura del resultado | Referencia basada en propuestas sin iteración comparable. | Evidencia de búsqueda iterativa, no de superioridad bajo condiciones iguales. |
Qué no demuestra el estudio
Las categorías examinadas eran más limitadas que los fallos posibles en sistemas de producción. Anthropic reconoce que no midió, por ejemplo, los sesgos políticos, y que algunos problemas pueden aparecer tan raramente o ser tan recientes que aún no exista una prueba adecuada para medirlos.
Las comprobaciones de capacidades también tenían un alcance limitado. El estudio rechazó métodos que perjudicaban las capacidades medidas, pero las pruebas elegidas no cubrían todas las capacidades importantes. Por ello, el resultado de que las intervenciones no degradaran esas comprobaciones no garantiza que preservaran cualquier otra habilidad útil.
Anthropic tampoco comprobó si las mejoras persistían después de un entrenamiento por refuerzo extenso en otras tareas. La empresa reconoce además que Petri y otras evaluaciones son aproximaciones a la desalineación real. La eficacia comunicada es un resultado experimental, no una garantía sobre el comportamiento de sistemas desplegados.
El estudio ofrece señales tempranas de que la investigación automatizada podría ayudar a desarrollar métodos de posentrenamiento para fallos definidos. Su alcance más sólido es el de una búsqueda iterativa que mejoró pruebas seleccionadas, incluidas algunas evaluaciones reservadas. La seguridad general, la persistencia de las mejoras y su utilidad en condiciones de producción siguen fuera de lo que este experimento establece.
Implicaciones para la investigación de alineación
La aportación más concreta es un flujo de trabajo en el que un sistema busca, prueba y documenta intervenciones para reducir fallos medibles. La supervisión y la separación de evaluaciones pueden ayudar a controlar ese proceso, pero no sustituyen la revisión del alcance de las pruebas ni la evaluación de los resultados.
Para valorar futuras aplicaciones, conviene distinguir entre tres preguntas: si la intervención mejora las pruebas usadas para desarrollarla, si se transfiere a evaluaciones que el sistema no vio y si mantiene sus efectos fuera de esa configuración. El estudio aporta resultados sobre las dos primeras en algunos casos; no resuelve la tercera en condiciones amplias de producción.
Anthropic afirma que ha publicado el entorno de investigación automatizada para que otros puedan desarrollar sobre él y usarlo con sus propios modelos. La disponibilidad del entorno no implica que todos los datos, resultados o procedimientos necesarios para reproducir cada resultado estén incluidos. El trabajo respalda la exploración de herramientas automatizadas bajo controles y evaluaciones acotados, no una conclusión general de que la alineación ya pueda automatizarse por completo.
Tres preguntas para interpretar una mitigación
Estas preguntas separan una mejora en una prueba de una afirmación más amplia sobre el comportamiento de un modelo.
- 01¿Mejoró el modelo las evaluaciones utilizadas para orientar el método?
- 02¿La mejora se mantuvo en pruebas reservadas que el sistema no había visto?
- 03¿Se comprobó que el efecto persiste en otros modelos, tareas y condiciones de uso?
Continúa explorando
Correcciones y transparencia
Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.
Proponer una corrección