Anthropic oriente Sonnet 4.5 vers des tâches défensives
Anthropic décrit un travail de recherche visant à améliorer l’utilité de Claude pour la cyberdéfense. L’entreprise a consacré une partie du développement de Claude Sonnet 4.5 à la détection de vulnérabilités dans le code, à la proposition de corrections et aux tests de faiblesses dans des infrastructures simulées. L’objectif déclaré est d’aider à repérer les failles avant le déploiement et à les corriger dans les systèmes existants.
L’entreprise affirme que Sonnet 4.5 égale ou dépasse Claude Opus 4.1 dans plusieurs domaines de la cybersécurité, tout en étant plus rapide et moins coûteux. Cette comparaison décrit les performances observées par Anthropic dans ses tests ; elle ne signifie pas que le modèle surpasse les professionnels de la sécurité dans toutes les tâches, ni qu’il puisse remplacer les processus établis.
Anthropic indique avoir privilégié des tâches défensives, comme la découverte et la correction de code vulnérable, et évité les améliorations clairement axées sur des usages offensifs, comme l’exploitation avancée de failles ou l’écriture de logiciels malveillants. Ce choix délimite l’objectif du travail, mais ne supprime pas le caractère à double usage des capacités de cybersécurité : détecter une vulnérabilité peut aider à la corriger, mais aussi faciliter son exploitation.
La publication présente ces résultats comme un élément d’une stratégie visant à accélérer l’adoption défensive de l’IA. Elle reconnaît également que les évaluations ne couvrent pas toutes les tâches de sécurité et que les problèmes réels sont souvent plus complexes que les exercices de laboratoire, notamment en raison des détails d’implémentation.
Ce que les évaluations ont mesuré
Anthropic a évalué Sonnet 4.5 avec Cybench et CyberGym, deux tests portant sur des tâches différentes. Cybench regroupe des défis issus de compétitions de type Capture-the-Flag ; CyberGym évalue la capacité d’un agent à reproduire des vulnérabilités connues dans des projets open source et à en découvrir de nouvelles. Ces résultats ne mesurent pas une capacité générale en cybersécurité : ils reflètent les performances sur ces ensembles de tâches et dans des conditions précises.
Anthropic souligne que les tâches ont été répétées plusieurs fois. Dans une évaluation probabiliste, multiplier les essais peut augmenter les chances qu’au moins un réussisse ; un taux obtenu avec dix ou trente essais ne correspond donc ni au résultat d’une seule exécution, ni à la probabilité de réussite sur n’importe quel système réel. Anthropic explique que la répétition des essais vise à se rapprocher de la manière dont un attaquant ou un défenseur motivé pourrait aborder un problème donné.
Dans Cybench, Sonnet 4.5 a réussi 76,5 % des défis avec dix essais par tâche, selon Anthropic. Ce chiffre porte sur un sous-ensemble de 37 des 40 problèmes initiaux : trois ont été écartés en raison de difficultés d’implémentation. L’entreprise indique également que Claude a mis 38 minutes pour une tâche d’analyse de trafic réseau, d’extraction d’un logiciel malveillant à partir de ce trafic et d’analyse du programme. Cette durée concerne un défi précis, et non une moyenne générale.
Dans CyberGym, Anthropic annonce un score de 28,9 % avec une limite de deux dollars de requêtes API par vulnérabilité, la même contrainte de coût que celle appliquée, selon l’entreprise, au classement public. Avec trente essais par tâche et sans cette limite, le modèle aurait reproduit des vulnérabilités dans 66,7 % des programmes. Ce second chiffre provient d’une condition différente et d’un coût estimé à environ 45 dollars par tâche ; les deux mesures ne sont pas directement comparables.
Pour la découverte de nouvelles vulnérabilités dans CyberGym, Anthropic annonce un taux de 5 % avec un seul essai et la découverte de failles dans plus de 33 % des projets après trente essais. Ces chiffres décrivent les résultats de l’évaluation mentionnée par l’entreprise. Ils ne permettent pas d’établir combien de nouvelles vulnérabilités le modèle trouvera en production ni dans quel délai.
Interpréter les principaux chiffres publiés
Les métriques dépendent de la tâche, du nombre d’essais et de la limite de coût.
| Test | Condition | Résultat annoncé | Portée |
|---|---|---|---|
| Cybench | Dix essais par tâche | 76,5 % des défis résolus | Sous-ensemble de 37 problèmes ; la métrique correspond à la réussite d’au moins un essai. |
| CyberGym : vulnérabilités connues | Limite de deux dollars par vulnérabilité | 28,9 % | Condition de coût utilisée pour la comparaison décrite par Anthropic. |
| CyberGym : vulnérabilités connues | Trente essais par tâche, sans la même limite de coût | 66,7 % des programmes | Coût estimé à environ 45 dollars par tâche ; résultat non directement comparable à la ligne précédente. |
| CyberGym : nouvelles vulnérabilités | Un essai / trente essais | 5 % / plus de 33 % | Résultats de découverte dans cette évaluation, et non taux universel pour les systèmes réels. |
Les résultats dépendent du nombre d’essais et des conditions
Cybench et CyberGym permettent de comparer des résultats dans des scénarios définis, mais ne reproduisent pas toute la diversité des réseaux, des applications, des autorisations et des processus d’une organisation. Anthropic précise que les problèmes réels sont plus complexes et que les détails d’implémentation comptent. Un score de benchmark ne prouve donc pas que le modèle peut intervenir en toute sécurité dans une infrastructure donnée.
Le nombre d’essais change ce que mesure une évaluation. Si chaque essai offre une nouvelle possibilité de résoudre la tâche, le taux de réussite sur un ensemble peut augmenter même si la probabilité de réussir au premier essai ne change pas. Lorsqu’ils communiquent un résultat, les équipes doivent donc toujours associer le pourcentage au benchmark et au nombre d’essais.
La limite de coût compte également. Le score CyberGym obtenu avec une limite de deux dollars répond à une question différente de celui mesuré après trente essais, qu’Anthropic estime à environ 45 dollars par tâche. Cette dernière condition simule une situation où davantage de ressources sont disponibles, mais elle ne permet pas de conclure que la hausse de performance reste peu coûteuse à grande échelle : le coût peut s’accumuler lorsque le nombre de tests augmente.
La publication indique que Sonnet 4.5 a surpassé des modèles antérieurs dans les évaluations décrites. Comme les résultats sont présentés par Anthropic sans validation indépendante complète de toutes les mesures, les chiffres doivent être attribués à l’entreprise. Le recours à des évaluations externes conçues par des tiers peut réduire le risque d’avoir ajusté le modèle uniquement aux tests internes, mais ne constitue pas une réplication indépendante.
La génération de correctifs reste préliminaire
Anthropic a également testé la capacité de Sonnet 4.5 à générer des correctifs pour des vulnérabilités de CyberGym. Le modèle a reçu une description de la faille et des informations sur le comportement du programme au moment du plantage. Claude a ensuite évalué les correctifs en les comparant à des solutions de référence rédigées par des humains. L’entreprise indique que 15 % des correctifs ont été jugés sémantiquement équivalents aux références.
Ce chiffre ne constitue pas un taux démontré de corrections valides en production. La méthode peut déclarer incorrect un correctif fonctionnel qui résout le problème d’une autre manière, puisqu’elle le compare à une solution de référence précise. Anthropic reconnaît explicitement cette limite et qualifie ces travaux de préliminaires.
L’entreprise a examiné manuellement un échantillon des correctifs les mieux notés et affirme que certains étaient fonctionnellement identiques à des solutions de référence intégrées au logiciel open source évalué. L’examen d’un échantillon ne permet pas de généraliser ce résultat à tous les correctifs produits. Un correctif doit être testé et examiné afin de vérifier qu’il corrige la vulnérabilité sans modifier le comportement attendu.
Anthropic considère la génération de correctifs comme plus difficile que la détection de vulnérabilités : le modèle doit apporter des changements ciblés tout en préservant le comportement attendu, lequel peut ne pas être explicitement décrit. La publication présente comme prochaine étape l’étude systématique de ces difficultés, afin d’avancer vers un modèle capable de rédiger et d’examiner des correctifs de manière fiable ; elle n’affirme pas que cet objectif est déjà atteint.
Évaluer prudemment un correctif proposé par l’IA
Le processus maintient la vérification humaine et les tests du système auquel la correction est destinée.
- 01Reproduire la défaillance dans un environnement autorisé et consigner les conditions du test.
- 02Examiner la modification proposée et vérifier qu’elle traite la cause de la vulnérabilité.
- 03Effectuer des tests fonctionnels et de sécurité pour repérer d’éventuelles régressions.
- 04Demander à une personne responsable d’examiner le correctif avant son intégration.
- 05Consigner le résultat et conserver une procédure de retour arrière au cas où la correction causerait des problèmes.
Usages défensifs et limites de déploiement
Anthropic affirme avoir collaboré avec des organisations qui ont testé Sonnet 4.5 pour corriger des vulnérabilités, évaluer la sécurité de réseaux et analyser des menaces. La publication contient des déclarations de HackerOne et de CrowdStrike sur des applications du modèle ; ces témoignages décrivent l’expérience de leurs responsables et ne remplacent pas une évaluation contrôlée présentant des résultats détaillés pour chaque organisation.
Parmi les exemples proposés par Anthropic pour la suite figurent l’automatisation des opérations de centre de sécurité, l’analyse des informations et événements de sécurité, l’ingénierie de réseaux sécurisés et la défense active. Il s’agit de domaines d’expérimentation envisagés, et non de capacités dont l’efficacité dans chacun de ces contextes aurait été démontrée par les chiffres de Cybench ou de CyberGym.
La publication mentionne aussi la possibilité d’intégrer des vérifications de sécurité automatisées dans un flux d’intégration et de déploiement continus avec Claude Code. L’intégration d’une vérification ne confirme pas chaque alerte et ne rend pas toute correction proposée sûre. Les équipes doivent vérifier les résultats, limiter les autorisations et appliquer les changements dans des environnements adaptés.
Anthropic indique que ses équipes utilisent des techniques telles que les synthèses à l’échelle d’une organisation pour interpréter des activités dépassant le cadre d’une interaction isolée et mieux distinguer les usages à double finalité des comportements malveillants. La publication ne fournit pas de mesures permettant de quantifier la réduction des abus obtenue grâce à ces mesures. Il faut donc les comprendre comme des garde-fous décrits par l’entreprise, et non comme une garantie empêchant les usages abusifs.
L’entreprise reconnaît que certaines capacités de Sonnet 4.5 restent naissantes et qu’elles n’égalent pas encore celles des professionnels de la sécurité ni des processus établis. Pour une organisation, la décision pratique ne consiste pas à remplacer ces processus, mais à tester des tâches délimitées, avec des autorisations contrôlées, des résultats vérifiables et une supervision humaine.
Ce que ces résultats permettent de conclure pour une organisation
Une évaluation locale doit distinguer les tâches testées des objectifs de recherche.
| Usage envisagé | Ce que la publication étaye | Ce que l’équipe doit vérifier |
|---|---|---|
| Détecter des vulnérabilités dans du code | Résultats d’Anthropic dans Cybench et CyberGym | La précision sur ses dépôts, les faux positifs, la couverture et les autorisations utilisées. |
| Proposer un correctif | Expérience préliminaire comparant les correctifs à des références | La correction fonctionnelle, les régressions, la sécurité et la vérification avant intégration. |
| Analyser des réseaux ou des menaces | Domaines d’application et témoignages de partenaires cités par Anthropic | Les performances dans son environnement, les limites d’accès et la validation de chaque constat. |
| Automatiser des opérations de sécurité | Orientation de recherche qu’Anthropic propose d’explorer | Les tâches pouvant être automatisées sans déléguer au modèle des décisions critiques. |
Ce qui change et ce qui reste à démontrer
Le principal changement décrit par Anthropic consiste à consacrer des recherches à des compétences de cyberdéfense, au lieu de s’appuyer uniquement sur les progrès généraux du modèle. L’entreprise publie des résultats favorables à Sonnet 4.5 dans des tests de détection et de reproduction de vulnérabilités, et présente la génération de correctifs comme une piste prometteuse, mais encore préliminaire.
Les chiffres aident à comprendre les performances dans des conditions explicites : benchmark, nombre d’essais, coûts et sous-ensembles de tâches. Ils ne prouvent pas que le modèle détecte toutes les failles, génère toujours des correctifs corrects ou peut être déployé en toute sécurité dans n’importe quel contexte. L’utilité défensive dépend du contexte et de la vérification.
La publication souligne aussi que la cybersécurité couvre bien plus que les tests évalués. La sécurité des systèmes déployés exige de comprendre les configurations, les autorisations, les dépendances et les conséquences opérationnelles. Anthropic ne dit pas que Sonnet 4.5 remplace les équipes humaines : l’entreprise décrit des essais menés avec des organisations et reconnaît qu’il reste du travail avant de parvenir à une génération et à une vérification fiables des correctifs.
Pour évaluer un outil de ce type, une équipe peut commencer par un périmètre limité : sélectionner des dépôts ou des systèmes autorisés, définir les opérations accessibles au modèle, mesurer les réussites et les faux positifs, examiner chaque modification et comparer les résultats au processus existant. Cette méthode ne supprime pas les risques de double usage, mais elle permet de tester l’utilité dans son propre environnement sans confondre un score publié avec une garantie.
Poursuivre l’exploration
Corrections et transparence
Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.
Proposer une correction