Anthropic reforça as capacidades defensivas de cibersegurança do Claude Sonnet 4.5
Imagem gerada pela Equipa Editorial da Inferama
01

Anthropic orienta o Sonnet 4.5 para tarefas defensivas

A Anthropic descreve um trabalho de investigação para tornar Claude mais útil na cibersegurança defensiva. A empresa dedicou parte do desenvolvimento do Claude Sonnet 4.5 à deteção de vulnerabilidades no código, à proposta de correções e à análise de fragilidades em infraestruturas simuladas. O objetivo declarado é ajudar a identificar falhas antes da implementação e a corrigi-las em sistemas existentes.

A empresa afirma que o Sonnet 4.5 iguala ou supera o Claude Opus 4.1 em vários aspetos da cibersegurança e que também é mais rápido e menos dispendioso. Essa comparação descreve o desempenho observado pela Anthropic nos seus testes; não significa que o modelo supere profissionais de segurança em todas as tarefas nem que esteja pronto para substituir processos estabelecidos.

A Anthropic afirma ter dado prioridade a tarefas defensivas, como encontrar e corrigir código vulnerável, e ter evitado melhorias claramente orientadas para utilizações ofensivas, como a exploração avançada de vulnerabilidades ou a escrita de malware. Essa escolha delimita o propósito do trabalho, mas não elimina o caráter de dupla utilização das capacidades de cibersegurança: detetar uma vulnerabilidade pode ajudar a corrigi-la e também facilitar a sua exploração.

A publicação apresenta os resultados como parte de uma estratégia para acelerar a adoção defensiva da IA. Reconhece também que as avaliações não abrangem todas as tarefas de segurança e que os problemas reais costumam envolver mais complexidade e detalhes de implementação do que os exercícios de laboratório.

02

O que mediram as avaliações

A Anthropic avaliou o Sonnet 4.5 com o Cybench e o CyberGym, dois testes que abrangem tarefas diferentes. O Cybench reúne desafios de competições Capture-the-Flag; o CyberGym avalia se um agente consegue reproduzir vulnerabilidades conhecidas em projetos de código aberto e descobrir novas vulnerabilidades. Os resultados não medem uma capacidade geral de cibersegurança: refletem o desempenho nesses conjuntos de tarefas e nas condições específicas dos testes.

A empresa destaca que repetiu as tarefas várias vezes. Numa avaliação probabilística, mais tentativas podem aumentar a possibilidade de pelo menos uma ser bem-sucedida; por isso, uma taxa medida com dez ou trinta tentativas não equivale ao resultado de uma única execução nem à probabilidade de sucesso em qualquer sistema real. A Anthropic explica que as tentativas repetidas pretendem aproximar-se da forma como um atacante ou defensor motivado poderia abordar um problema concreto.

No Cybench, o Sonnet 4.5 resolveu 76,5% dos desafios com dez tentativas por tarefa, segundo a Anthropic. A percentagem corresponde a um subconjunto de 37 dos 40 problemas originais: três foram excluídos devido a dificuldades de implementação. A empresa afirma ainda que Claude demorou 38 minutos numa tarefa de análise de tráfego de rede, extração de malware e análise desse programa; esse tempo refere-se a um desafio específico, não a uma média geral.

No CyberGym, a Anthropic comunica uma pontuação de 28,9% com um limite de dois dólares em consultas à API por vulnerabilidade, a mesma restrição de custo que associa à classificação pública. Com trinta tentativas por tarefa e sem esse limite, afirma que o modelo reproduziu vulnerabilidades em 66,7% dos programas. A segunda percentagem foi obtida em condições diferentes e com um custo aproximado de 45 dólares por tarefa; não se devem comparar as duas medições como se fossem equivalentes.

Para a descoberta de novas vulnerabilidades no CyberGym, a Anthropic comunica 5% dos casos com uma tentativa e mais de 33% dos projetos com trinta tentativas. Estes valores descrevem a avaliação indicada pela empresa. Não determinam quantas vulnerabilidades novas o modelo encontraria num ambiente de produção nem quanto tempo demoraria a fazê-lo.

Como interpretar os principais valores publicados

As métricas dependem da tarefa, do número de tentativas e do limite de custo.

TesteCondiçãoResultado comunicadoÂmbito
CybenchDez tentativas por tarefa76,5% dos desafios resolvidosSubconjunto de 37 problemas; a métrica regista se pelo menos uma tentativa foi bem-sucedida.
CyberGym: vulnerabilidades conhecidasLimite de dois dólares por vulnerabilidade28,9%Condição de custo usada na comparação descrita pela Anthropic.
CyberGym: vulnerabilidades conhecidasTrinta tentativas por tarefa, sem o mesmo limite de custo66,7% dos programasCusto aproximado de 45 dólares por tarefa; não é diretamente comparável com a linha anterior.
CyberGym: novas vulnerabilidadesUma tentativa / trinta tentativas5% / mais de 33%Resultados de descoberta nesta avaliação, não uma taxa universal para sistemas reais.
03

Os resultados dependem das tentativas e das condições

O Cybench e o CyberGym permitem comparar resultados em cenários definidos, mas não reproduzem toda a variedade de redes, aplicações, permissões e processos de uma organização. A Anthropic salienta que os problemas reais são mais complexos e que os detalhes de implementação são importantes. Assim, uma pontuação num benchmark não demonstra que o modelo possa operar em segurança numa infraestrutura específica.

O número de tentativas altera aquilo que a avaliação mede. Se cada tentativa representar outra oportunidade para resolver a tarefa, a taxa de sucesso num conjunto pode aumentar mesmo que a probabilidade de acertar à primeira não mude. Ao comunicar resultados, convém manter juntos a percentagem, o benchmark e o número de tentativas.

O limite de custo também importa. A pontuação do CyberGym obtida com um limite de dois dólares corresponde a uma condição diferente da prova com trinta tentativas, que a Anthropic estima em cerca de 45 dólares por tarefa. Esta última aproxima-se de um cenário com mais recursos, mas não permite concluir que o desempenho adicional seja barato à escala: o custo pode acumular-se à medida que os testes aumentam.

A publicação afirma que o Sonnet 4.5 superou modelos anteriores nas avaliações descritas. Como os resultados são comunicados pela Anthropic e a publicação não apresenta uma validação independente completa de todos eles, as métricas devem ser atribuídas à empresa. Incluir avaliações externas desenvolvidas por terceiros pode reduzir o risco de ajustar o modelo apenas a testes próprios, mas não equivale a uma replicação independente.

04

A correção de vulnerabilidades continua numa fase preliminar

A Anthropic também testou se o Sonnet 4.5 conseguia gerar patches para vulnerabilidades do CyberGym. O modelo recebeu uma descrição da falha e dados sobre o que acontecia quando o programa bloqueava. Depois, Claude avaliou os patches comparando-os com soluções de referência escritas por pessoas. A empresa afirma que 15% foram considerados semanticamente equivalentes às referências.

Esse valor não é uma taxa comprovada de correções válidas em produção. O método pode classificar como incorreto um patch funcional que resolva o problema de outra forma, porque compara a solução com uma referência específica. A Anthropic reconhece expressamente essa limitação e descreve esta linha de trabalho como preliminar.

A empresa analisou manualmente uma amostra dos patches com melhores resultados e afirma que alguns eram funcionalmente idênticos a referências já integradas no software de código aberto avaliado. A análise de uma amostra não permite generalizar o resultado a todos os patches produzidos. Um patch tem de ser testado e revisto para confirmar que corrige a vulnerabilidade sem alterar a funcionalidade prevista.

A Anthropic considera que gerar patches é mais difícil do que detetar vulnerabilidades: o modelo tem de fazer alterações cirúrgicas e preservar o comportamento esperado, que pode não estar especificado de forma explícita. A publicação apresenta como passo seguinte abordar sistematicamente estes problemas para avançar rumo a um modelo que consiga escrever e rever patches de forma fiável; não afirma que esse objetivo já tenha sido alcançado.

Avaliar com prudência um patch proposto por IA

O processo mantém a revisão humana e os testes no sistema onde a correção seria aplicada.

  1. 01Reproduza a falha num ambiente autorizado e registe as condições do teste.
  2. 02Analise a alteração proposta e confirme que aborda a causa da vulnerabilidade.
  3. 03Execute testes funcionais e de segurança para verificar possíveis regressões.
  4. 04Peça a revisão de uma pessoa responsável antes de integrar o patch.
  5. 05Documente o resultado e mantenha uma opção de reversão caso a correção cause problemas.
05

Aplicação defensiva e limites de implementação

A Anthropic afirma ter colaborado com organizações que testaram o Sonnet 4.5 em tarefas como corrigir vulnerabilidades, avaliar a segurança de redes e analisar ameaças. A publicação inclui declarações da HackerOne e da CrowdStrike sobre aplicações do modelo; essas opiniões descrevem a experiência dos respetivos responsáveis e não substituem uma avaliação controlada, com resultados detalhados para cada organização.

Entre os exemplos que a Anthropic propõe explorar estão a automatização das operações de centros de segurança, a análise de informação e eventos de segurança, a engenharia de redes seguras e a defesa ativa. São áreas de experimentação pretendidas, não capacidades cuja eficácia tenha sido demonstrada em todos esses contextos pelas métricas do Cybench ou do CyberGym.

A publicação menciona também que o Claude Code pode integrar revisões de segurança automatizadas num fluxo de integração e entrega contínuas. Integrar uma revisão não transforma cada alerta numa vulnerabilidade confirmada nem cada correção proposta numa alteração segura. As equipas precisam de verificar os resultados, limitar as permissões e aplicar as alterações em ambientes adequados.

A Anthropic afirma que as suas equipas usam técnicas como resumos ao nível da organização para interpretar atividades que vão além de uma única interação e distinguir melhor utilizações de dupla finalidade de comportamentos maliciosos. A publicação não apresenta métricas que quantifiquem em que medida essas medidas reduzem o abuso. Devem, portanto, ser entendidas como salvaguardas descritas, não como uma garantia de que a utilização indevida será impedida.

A empresa reconhece que algumas capacidades do Sonnet 4.5 continuam numa fase inicial e ainda não igualam as de profissionais de segurança ou processos estabelecidos. Para uma organização, a decisão prática não é substituir esses processos, mas testar tarefas delimitadas, com permissões controladas, resultados verificáveis e revisão humana.

O que uma organização pode concluir destes resultados

A avaliação local deve distinguir as tarefas testadas dos objetivos de investigação.

Utilização propostaO que a publicação sustentaO que a equipa deve verificar
Detetar vulnerabilidades no códigoResultados da Anthropic no Cybench e no CyberGymPrecisão nos próprios repositórios, falsos positivos, cobertura e permissões utilizadas.
Propor um patchExperiência preliminar comparada com referências humanasCorreção funcional, regressões, segurança e revisão antes da integração.
Analisar redes ou ameaçasÁreas de aplicação e testemunhos de parceiros mencionados pela AnthropicDesempenho no ambiente da organização, limites de acesso e validação de cada alerta.
Automatizar operações de segurançaLinha de trabalho que a Anthropic propõe explorarQue tarefas podem ser automatizadas sem delegar ao modelo decisões críticas.
06

O que muda e o que ainda não está demonstrado

A principal mudança proposta pela Anthropic é dedicar investigação a competências de cibersegurança defensiva, em vez de depender apenas de melhorias gerais do modelo. A empresa publica resultados favoráveis para o Sonnet 4.5 em testes de deteção e reprodução de vulnerabilidades, e apresenta a geração de patches como uma linha promissora, mas ainda preliminar.

Os valores ajudam a compreender o desempenho sob condições explícitas: benchmark, número de tentativas, custos e subconjunto de tarefas. Não provam que o modelo encontre todas as falhas, gere sempre patches corretos ou seja seguro em qualquer implementação. A utilidade defensiva depende do contexto e da verificação.

A publicação também deixa claro que a cibersegurança vai além dos testes avaliados. Proteger sistemas implementados exige compreender configurações, permissões, dependências e consequências operacionais. A Anthropic não afirma que o Sonnet 4.5 substitua equipas humanas; descreve experiências com organizações e reconhece que ainda falta trabalho para tornar fiável a geração e revisão de patches.

Para avaliar uma ferramenta deste tipo, as equipas podem começar com um âmbito limitado: escolher repositórios ou sistemas autorizados, definir as operações que o modelo pode executar, medir acertos e falsos positivos, rever cada alteração e comparar os resultados com o processo existente. Esta abordagem não elimina os riscos de dupla utilização, mas permite testar a utilidade no próprio ambiente sem confundir uma pontuação publicada com uma garantia.

07

Continue a explorar

Fontes consultadas

03

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.

Propor uma correção