Ce qu’Anthropic a testé
Anthropic a publié une expérience dans laquelle Claude a joué le rôle de chercheur automatisé en alignement : il a recherché des méthodes et des données pour entraîner des modèles et réduire des défaillances précises, mesurées par des tests de référence. Il ne s’agissait pas de démontrer qu’un modèle était sûr en toute circonstance, mais d’améliorer des résultats définis à l’avance.
Le système a travaillé sur dix catégories de défaillances d’alignement, examinées séparément. Anthropic cite notamment les atteintes à la vie privée et la complaisance, c’est-à-dire la tendance à donner raison à l’utilisateur, même si cela ne favorise pas une réponse véridique ou appropriée. Chaque catégorie a été évaluée au moyen de tests spécifiques.
Anthropic affirme que les méthodes de Claude ont amélioré les résultats aux tests ciblés dans les dix catégories sans diminuer les performances sur les capacités mesurées par l’étude. Cette conclusion dépend de cet ensemble précis de tests : elle ne couvre pas tous les comportements possibles et ne constitue pas une certification générale de la sûreté des modèles.
Comment fonctionnait le cycle de recherche
Pour chaque défaillance, Claude a consulté la littérature, proposé une méthode et des données d’entraînement, entraîné un modèle, puis examiné le résultat. Les scores orientaient les tentatives suivantes, ce qui permettait au système d’itérer à partir d’évaluations précédentes, plutôt que de soumettre une proposition unique sans la tester.
L’étude séparait les tests utilisés pour orienter la recherche de ceux qui étaient réservés à l’évaluation de la généralisation. Un agent de supervision lisait également les méthodes que Claude comptait exécuter. Anthropic interdisait en outre au système de transférer directement son propre alignement au modèle cible. Ces contrôles délimitaient l’expérience, mais ne garantissaient pas à eux seuls que chaque intervention soit correcte ou sûre.
La mesure principale était le pourcentage de l’écart de sécurité comblé : elle indiquait dans quelle mesure le modèle se rapprochait du score parfait théorique aux tests sélectionnés. Les interventions qui dégradaient les performances lors des vérifications de capacités retenues étaient rejetées. Cette mesure décrit les progrès sur ces évaluations, et non l’alignement dans tous les contextes.
De la méthode proposée à l’évaluation
Le processus répétait une séquence de recherche, d’entraînement et d’évaluation. Un score favorable indiquait un résultat aux tests sélectionnés, et non une garantie de sûreté en dehors de ceux-ci.
- 01Claude consultait la littérature et proposait une méthode ainsi que des données d’entraînement pour une défaillance précise.
- 02Un agent de supervision examinait la méthode avant son exécution.
- 03Le système entraînait le modèle cible, puis un évaluateur indépendant mesurait le résultat.
- 04Les scores orientaient les nouvelles tentatives ; les tests réservés servaient à vérifier la généralisation.
Les résultats rapportés par Anthropic
Anthropic affirme que Claude a amélioré les résultats aux tests ciblés dans les dix catégories étudiées. Les méthodes retenues ont également fonctionné sur des évaluations d’alignement que le système n’avait pas vues pendant ses recherches, ainsi que sur Petri, un outil open source qui simule des scénarios adversariaux à plusieurs tours. Petri reste une approximation de l’évaluation des comportements, et non un test direct de la sûreté dans le monde réel.
Anthropic indique aussi que les méthodes sont restées efficaces sur des modèles jusqu’à 4,7 fois plus grands que ceux optimisés pendant la recherche. Lors d’un test portant sur la tromperie avec Gemma-2-2B, Claude a effectué plus de 150 tentatives. La meilleure exécution a comblé 82 % de l’écart de sécurité ; la moyenne annoncée sur plusieurs exécutions était de 85 %. Ces chiffres décrivent des mesures différentes : l’un concerne l’exécution mise en avant, l’autre la moyenne de plusieurs exécutions.
Dans une autre expérience, Claude Sonnet 5 a travaillé pendant 60 heures pour atténuer des défaillances d’alignement dans une version précoce de Claude Opus 4.8. Anthropic affirme que la solution retenue a obtenu des scores d’alignement proches de ceux de ses modèles de production et utilisé un peu plus de 2 000 exemples d’entraînement. La comparaison d’efficacité présentée par l’entreprise porte sur sa procédure d’alignement en production ; elle ne démontre pas que la méthode puisse remplacer cette procédure pour d’autres modèles ou dans d’autres contextes.
Ce que signifient les résultats rapportés
Les chiffres résument des tests et des configurations précis. Ils ne doivent pas être interprétés comme des mesures universelles de la sûreté.
| Résultat | Ce qu’il indique | Ce qu’il ne démontre pas |
|---|---|---|
| Amélioration dans dix catégories | Claude a amélioré les tests sélectionnés pour chaque catégorie. | Que toutes les défaillances d’alignement possibles aient été couvertes. |
| Évaluations réservées et Petri | Certaines méthodes ont fonctionné en dehors des tests utilisés pendant la recherche. | Que les évaluations reproduisent entièrement les risques des systèmes déployés. |
| Transfert à des modèles plus grands | Anthropic a observé une efficacité sur des modèles jusqu’à 4,7 fois plus grands que ceux optimisés. | Que le résultat se généralise à tous les modèles ou à toutes les échelles. |
Méthodes concrètes et limites de l’évaluation
Dans les travaux sur la complaisance, Anthropic indique que 98 % des méthodes proposées reposaient sur une technique publiée : entraîner un modèle à partir de ses propres réponses non complaisantes. Claude a utilisé le pilotage des activations pour générer des exemples moins complaisants. Cette technique modifie les représentations internes pendant la génération ; son utilisation dans l’expérience ne prouve pas qu’elle élimine la complaisance en général.
Pour les atteintes à la vie privée, Anthropic cite ConfAIde, PrivaCI-Bench et PrivacyLens comme tests de référence. L’entreprise affirme que Claude a amélioré les performances mesurées sur ces tests, mais le résumé publié n’attribue pas le résultat à une intervention unique et ne fournit pas ici de ventilation permettant de comparer séparément chaque test.
Le nombre et la diversité des évaluations comptent. Dans une étude d’ablation décrite dans le rapport, l’optimisation d’un seul test d’injection de prompt a amélioré le résultat sur ce test, sans se généraliser de manière fiable à d’autres tests non vus. Ce résultat montre pourquoi un score élevé sur un seul benchmark ne suffit pas à établir que le problème sous-jacent a été atténué.
La comparaison avec les chercheurs humains
Anthropic a comparé les méthodes automatisées aux propositions de chercheurs humains. L’entreprise affirme que Claude a dépassé la meilleure proposition humaine dans les sept catégories pour lesquelles des propositions comparables étaient disponibles ; dans l’exemple de la tromperie, sa meilleure méthode a obtenu un résultat supérieur de 20 % à celui de la proposition humaine la plus solide.
La comparaison n’était pas à armes égales. Les chercheurs humains pouvaient consacrer jusqu’à huit heures à formuler des propositions, mais ne pouvaient ni les tester ni les réviser après avoir pris connaissance de leurs scores. Claude, en revanche, pouvait effectuer des tentatives successives et utiliser les évaluations pour orienter les suivantes. Ce résultat ne démontre donc pas que Claude dépasse les chercheurs humains dans des conditions équivalentes.
Anthropic présente cette comparaison comme un indice qu’une recherche automatisée peut explorer des méthodes prometteuses, que les humains pourraient ensuite évaluer et améliorer. Cette interprétation est plus limitée que l’affirmation selon laquelle le système pourrait remplacer les chercheurs en alignement.
Comment interpréter la comparaison
Les groupes n’ont pas eu les mêmes possibilités de tester et d’améliorer leurs méthodes.
| Aspect | Chercheurs humains | Chercheurs automatisés |
|---|---|---|
| Proposition initiale | Jusqu’à huit heures pour formuler des méthodes. | Le système proposait des méthodes en vue de leur évaluation. |
| Itération à partir des scores | Impossible de réviser une proposition après avoir pris connaissance des résultats. | Les scores pouvaient orienter de nouvelles tentatives. |
| Interprétation du résultat | Référence fondée sur des propositions sans itération comparable. | Éléments en faveur d’une recherche itérative, pas d’une supériorité en conditions égales. |
Ce que l’étude ne démontre pas
Les catégories étudiées étaient plus limitées que les défaillances possibles dans les systèmes de production. Anthropic reconnaît ne pas avoir mesuré, par exemple, les biais politiques. Certains problèmes peuvent aussi être si rares ou si récents qu’aucun test approprié ne permet encore de les mesurer.
Les vérifications de capacités avaient elles aussi une portée limitée. L’étude rejetait les méthodes qui dégradaient les capacités mesurées, mais les tests retenus ne couvraient pas toutes les capacités importantes. Le constat selon lequel les interventions n’ont pas dégradé ces vérifications ne garantit donc pas qu’elles aient préservé toute autre aptitude utile.
Anthropic n’a pas non plus vérifié si les améliorations persistaient après un entraînement par renforcement approfondi sur d’autres tâches. L’entreprise reconnaît en outre que Petri et les autres évaluations ne sont que des approximations du désalignement réel. L’efficacité rapportée est un résultat expérimental, pas une garantie concernant le comportement de systèmes déployés.
L’étude fournit des premiers indices que la recherche automatisée pourrait aider à élaborer des méthodes de post-entraînement pour des défaillances définies. Son résultat le plus solide concerne une recherche itérative qui a amélioré des tests sélectionnés, y compris certaines évaluations réservées. La sûreté générale, la persistance des améliorations et leur utilité en conditions de production ne sont pas établies par cette expérience.
Conséquences pour la recherche sur l’alignement
L’apport le plus concret est un processus dans lequel un système recherche, teste et documente des interventions visant à réduire des défaillances mesurables. La supervision et la séparation des évaluations peuvent aider à encadrer ce processus, mais elles ne remplacent ni l’examen de la portée des tests ni l’évaluation des résultats.
Pour apprécier de futures applications, il est utile de distinguer trois questions : l’intervention améliore-t-elle les tests qui ont servi à la concevoir ? Se transfère-t-elle à des évaluations que le système n’a pas vues ? Ses effets se maintiennent-ils en dehors de cette configuration ? Dans certains cas, l’étude apporte des résultats sur les deux premières questions ; elle ne tranche pas la troisième dans un large éventail de conditions de production.
Anthropic affirme avoir publié son environnement de recherche automatisée afin que d’autres puissent le développer et l’utiliser avec leurs propres modèles. La disponibilité de cet environnement ne signifie pas que toutes les données, tous les résultats ou toutes les procédures nécessaires pour reproduire chaque résultat soient inclus. L’étude étaye l’exploration d’outils automatisés dans le cadre de contrôles et d’évaluations délimités, mais ne permet pas de conclure que l’alignement peut déjà être entièrement automatisé.
Trois questions pour interpréter une mesure d’atténuation
Ces questions distinguent une amélioration sur un test d’une affirmation plus large concernant le comportement d’un modèle.
- 01Le modèle s’est-il amélioré sur les évaluations utilisées pour orienter la méthode ?
- 02L’amélioration s’est-elle maintenue sur des tests réservés que le système n’avait pas vus ?
- 03La persistance de l’effet a-t-elle été vérifiée sur d’autres modèles, tâches et conditions d’utilisation ?
Poursuivre l’exploration
Corrections et transparence
Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.
Proposer une correction