Anthropic orienta Sonnet 4.5 a tareas defensivas
Anthropic describe un trabajo de investigación para mejorar la utilidad de Claude en ciberseguridad defensiva. La empresa centró parte del desarrollo de Claude Sonnet 4.5 en detectar vulnerabilidades de código, proponer correcciones y probar debilidades en infraestructuras simuladas. El objetivo declarado es ayudar a identificar fallos antes del despliegue y a remediarlos en sistemas existentes.
La compañía sostiene que Sonnet 4.5 iguala o supera a Claude Opus 4.1 en varios aspectos de ciberseguridad y que, además, es más rápido y menos costoso. Esa comparación describe el rendimiento que Anthropic observó en sus pruebas; no significa que el modelo supere a profesionales de seguridad en todas las tareas ni que esté listo para sustituir procesos establecidos.
Anthropic afirma que priorizó tareas defensivas, como descubrir y corregir código vulnerable, y que evitó mejoras dirigidas claramente a usos ofensivos, como la explotación avanzada o la escritura de malware. Esta selección delimita el propósito del trabajo, pero no elimina el carácter de doble uso de las capacidades de ciberseguridad: detectar una vulnerabilidad puede ser útil para corregirla y también puede facilitar su explotación.
La publicación presenta los resultados como parte de una estrategia para acelerar la adopción defensiva de IA. También reconoce que las evaluaciones no abarcan todas las tareas de seguridad y que los problemas reales suelen implicar más complejidad y detalles de implementación que los ejercicios de laboratorio.
Qué midieron las evaluaciones
Anthropic evaluó Sonnet 4.5 con Cybench y CyberGym, dos pruebas que cubren tareas distintas. Cybench reúne desafíos de competiciones Capture-the-Flag; CyberGym evalúa si un agente puede reproducir vulnerabilidades conocidas en proyectos de código abierto y descubrir vulnerabilidades nuevas. Los resultados no miden una capacidad general de ciberseguridad: reflejan el desempeño en esos conjuntos de tareas y bajo condiciones específicas.
La empresa destaca que repitió tareas varias veces. En una prueba probabilística, más intentos pueden elevar la posibilidad de que al menos uno tenga éxito; por eso, una tasa con diez o treinta intentos no equivale al resultado de una sola ejecución ni a la probabilidad de éxito en cualquier sistema real. Anthropic explica que usar varios intentos pretende aproximarse a cómo un atacante o defensor motivado podría abordar un problema concreto.
En Cybench, Sonnet 4.5 resolvió el 76,5 % de los desafíos con diez intentos por tarea, según Anthropic. La cifra corresponde a un subconjunto de 37 de los 40 problemas originales: tres quedaron fuera por dificultades de implementación. La empresa también afirma que, en una tarea de análisis de tráfico de red, extracción de malware y análisis de ese programa, Claude tardó 38 minutos; esa duración se refiere a un desafío específico, no a un promedio general.
En CyberGym, Anthropic informa de una puntuación del 28,9 % con un límite de dos dólares en consultas de API por vulnerabilidad, la misma restricción de coste que atribuye a la clasificación pública. Con treinta intentos por tarea y sin ese límite, afirma que el modelo reprodujo vulnerabilidades en el 66,7 % de los programas. La segunda cifra se obtuvo bajo una condición distinta y con un coste aproximado de 45 dólares por tarea; no debe compararse como si ambas mediciones fueran equivalentes.
Para descubrir vulnerabilidades nuevas en CyberGym, Anthropic comunica un 5 % de casos con un solo intento y más del 33 % de proyectos al repetir treinta veces. Estas cifras describen la evaluación indicada por la empresa. No establecen cuántas vulnerabilidades nuevas encontrará el modelo en un entorno de producción ni cuánto tardará en hacerlo.
Cómo interpretar las principales cifras publicadas
Las métricas dependen de la tarea, el número de intentos y el límite de coste.
| Prueba | Condición | Resultado comunicado | Alcance |
|---|---|---|---|
| Cybench | Diez intentos por tarea | 76,5 % de desafíos resueltos | Subconjunto de 37 problemas; la métrica refleja el éxito de al menos un intento. |
| CyberGym: vulnerabilidades conocidas | Límite de dos dólares por vulnerabilidad | 28,9 % | Condición de coste usada para la comparación descrita por Anthropic. |
| CyberGym: vulnerabilidades conocidas | Treinta intentos por tarea, sin el mismo límite de coste | 66,7 % de programas | Coste aproximado de 45 dólares por tarea; no es directamente comparable con la fila anterior. |
| CyberGym: vulnerabilidades nuevas | Un intento / treinta intentos | 5 % / más del 33 % | Resultados de descubrimiento en la evaluación, no una tasa universal para sistemas reales. |
Los resultados dependen de intentos y condiciones
Cybench y CyberGym sirven para comparar resultados en escenarios definidos, pero no reproducen toda la variedad de redes, aplicaciones, permisos y procesos de una organización. Anthropic advierte que los problemas reales son más complejos y que los detalles de implementación importan. Por ello, una puntuación de benchmark no demuestra que el modelo pueda operar con seguridad en una infraestructura concreta.
El número de intentos modifica lo que mide una evaluación. Si cada intento ofrece otra oportunidad de resolver la tarea, la métrica de éxito en un conjunto puede aumentar aunque la probabilidad de acertar en la primera ejecución no cambie. Al comunicar resultados, conviene conservar juntos el porcentaje, el benchmark y la cantidad de intentos.
También importa el límite de coste. La puntuación de CyberGym obtenida bajo el límite de dos dólares responde a una condición distinta de la prueba de treinta intentos, que Anthropic estima en unos 45 dólares por tarea. Esta última aproxima un escenario con más recursos, pero no permite concluir que el rendimiento adicional sea barato a escala: el coste puede acumularse al ampliar las pruebas.
La publicación señala que Sonnet 4.5 superó a modelos anteriores en las evaluaciones descritas. Como la comunicación procede de Anthropic y no presenta una validación independiente de todos los resultados, es preciso atribuir las cifras a la empresa. La inclusión de evaluaciones externas desarrolladas por terceros puede reducir el riesgo de ajustar el modelo únicamente a pruebas propias, pero no convierte los resultados en una replicación independiente.
El parcheo sigue siendo preliminar
Anthropic también probó si Sonnet 4.5 podía generar parches para vulnerabilidades de CyberGym. El modelo recibió una descripción del fallo y datos sobre lo que ocurría cuando el programa se bloqueaba. Después, Claude evaluó los parches comparándolos con soluciones de referencia escritas por personas. La empresa informa de que el 15 % fue considerado semánticamente equivalente a las referencias.
Esa cifra no es una tasa demostrada de correcciones válidas en producción. El método puede marcar como incorrecto un parche funcional que resuelva el problema de otra manera, porque compara la solución con una referencia concreta. Anthropic reconoce expresamente esa limitación y califica esta línea de trabajo como preliminar.
La empresa revisó manualmente una muestra de los parches con mejores puntuaciones y afirma que algunos eran funcionalmente idénticos a referencias integradas en el software de código abierto evaluado. Esa inspección de una muestra no permite generalizar el resultado a todos los parches producidos. Un parche debe probarse y revisarse para comprobar que corrige la vulnerabilidad sin alterar la funcionalidad prevista.
Anthropic considera que generar parches es más difícil que detectar vulnerabilidades: el modelo debe realizar cambios acotados y preservar el comportamiento esperado, que puede no estar especificado de forma explícita. La publicación presenta como siguiente paso abordar sistemáticamente esos problemas para avanzar hacia un modelo que pueda redactar y revisar parches de manera fiable; no afirma que ese objetivo ya se haya alcanzado.
Evaluación prudente de un parche propuesto por IA
El proceso conserva la revisión humana y las pruebas del sistema en el que se aplicaría la corrección.
- 01Reproducir el fallo en un entorno autorizado y registrar las condiciones de la prueba.
- 02Examinar el cambio propuesto y confirmar que aborda la causa de la vulnerabilidad.
- 03Ejecutar pruebas funcionales y de seguridad para comprobar posibles regresiones.
- 04Solicitar revisión de una persona responsable antes de integrar el parche.
- 05Documentar el resultado y mantener un mecanismo de reversión si la corrección causa problemas.
Aplicación defensiva y límites de despliegue
Anthropic afirma que colaboró con organizaciones que probaron Sonnet 4.5 en tareas como remediar vulnerabilidades, evaluar seguridad de redes y analizar amenazas. La publicación incluye declaraciones de HackerOne y CrowdStrike sobre aplicaciones del modelo; esas opiniones describen experiencias de sus responsables y no sustituyen una evaluación controlada con resultados detallados para cada organización.
Entre los ejemplos que Anthropic propone para seguir explorando aparecen la automatización de operaciones de centros de seguridad, el análisis de información y eventos de seguridad, la ingeniería de redes seguras y la defensa activa. Son áreas de experimentación deseadas, no capacidades cuya eficacia haya quedado demostrada en todos esos contextos por las cifras de Cybench o CyberGym.
La publicación menciona asimismo que Claude Code puede integrar revisiones de seguridad automatizadas en un flujo de integración y despliegue continuos. La integración de una revisión no convierte cada alerta en un hallazgo confirmado ni cada corrección propuesta en un cambio seguro. Los equipos necesitan verificar resultados, limitar permisos y aplicar cambios en entornos adecuados.
Anthropic sostiene que sus equipos usan técnicas como resúmenes a nivel de organización para interpretar actividades más amplias que una única interacción y distinguir mejor entre usos de doble propósito y comportamientos maliciosos. La empresa no presenta en esta publicación métricas que permitan cuantificar cuánto reducen esas medidas el abuso. Por tanto, deben entenderse como salvaguardas descritas, no como garantía de que el uso indebido quede impedido.
La compañía reconoce que las capacidades de Sonnet 4.5 siguen siendo incipientes en algunas áreas y que todavía no igualan a profesionales de seguridad ni a procesos establecidos. Para una organización, la decisión práctica no consiste en sustituir esos procesos, sino en probar tareas delimitadas con permisos controlados, resultados verificables y revisión humana.
Qué puede concluir una organización de estos resultados
La evaluación local debe distinguir tareas probadas de objetivos de investigación.
| Uso propuesto | Qué respalda la publicación | Qué debe comprobar el equipo |
|---|---|---|
| Detectar vulnerabilidades en código | Resultados de Anthropic en Cybench y CyberGym | Precisión en sus repositorios, falsos positivos, cobertura y permisos utilizados. |
| Proponer un parche | Experimento preliminar con comparación frente a referencias humanas | Corrección funcional, regresiones, seguridad y revisión antes de integrar. |
| Analizar redes o amenazas | Áreas de aplicación y testimonios de socios mencionados por Anthropic | Rendimiento en su entorno, límites de acceso y validación de cada hallazgo. |
| Automatizar operaciones de seguridad | Dirección de trabajo que Anthropic propone explorar | Qué tareas se pueden automatizar sin delegar decisiones críticas al modelo. |
Qué cambia y qué todavía no está demostrado
El cambio principal que plantea Anthropic es dedicar investigación a habilidades cibernéticas defensivas, en lugar de depender únicamente de mejoras generales del modelo. La compañía publica resultados favorables para Sonnet 4.5 en pruebas de detección y reproducción de vulnerabilidades, y presenta el parcheo como una línea prometedora pero todavía preliminar.
Las cifras son útiles para entender el rendimiento bajo condiciones explícitas: benchmark, intentos, costes y subconjuntos de tareas. No prueban que el modelo encuentre todos los fallos, que genere parches siempre correctos ni que sea seguro para cualquier despliegue. La utilidad defensiva depende del contexto y de la verificación.
La publicación también deja claro que la ciberseguridad abarca más que las pruebas evaluadas. La seguridad de sistemas desplegados exige comprender configuraciones, permisos, dependencias y consecuencias operativas. Anthropic no afirma que Sonnet 4.5 reemplace a equipos humanos; describe la experimentación con organizaciones y reconoce que todavía queda trabajo para lograr una generación y revisión de parches fiable.
Para evaluar una herramienta de este tipo, los equipos pueden empezar con un alcance limitado: elegir repositorios o sistemas autorizados, fijar qué operaciones puede ejecutar el modelo, medir aciertos y falsos positivos, revisar cada cambio y comparar el resultado con el proceso existente. Ese enfoque no elimina los riesgos de doble uso, pero permite comprobar la utilidad en el propio entorno sin confundir una puntuación publicada con una garantía.
Continúa explorando
Correcciones y transparencia
Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.
Proponer una corrección