Anthropic testa pesquisadores automatizados para mitigar dez falhas de alinhamento
Imagem gerada pela Equipa Editorial da Inferama
01

O que a Anthropic testou

A Anthropic publicou um experimento no qual Claude atuou como pesquisador automatizado de alinhamento: buscou métodos e dados para treinar modelos e reduzir falhas específicas, medidas por benchmarks. A tarefa não era demonstrar que um modelo seria seguro em qualquer circunstância, mas melhorar resultados definidos de antemão.

O sistema trabalhou em dez categorias de falhas de alinhamento, tratadas separadamente. Entre os exemplos descritos pela Anthropic estão violações de privacidade e bajulação — a tendência a concordar com o usuário mesmo quando isso não favorece uma resposta verdadeira ou adequada. Cada categoria foi avaliada com testes próprios.

A Anthropic afirma que os métodos de Claude melhoraram os benchmarks-alvo nas dez categorias sem reduzir o desempenho nas capacidades medidas pelo estudo. A conclusão depende desse conjunto específico de avaliações: não abrange todos os comportamentos possíveis nem equivale a certificar a segurança geral dos modelos.

02

Como funcionou o ciclo de pesquisa

Para cada falha, Claude pesquisava a literatura, propunha um método e dados de treinamento, treinava um modelo e examinava o resultado. As pontuações orientavam as tentativas seguintes, permitindo que o sistema iterasse com base em avaliações anteriores, em vez de apresentar uma única proposta sem testá-la.

O estudo separou os benchmarks usados para orientar a busca daqueles reservados para avaliar a generalização. Além disso, um agente supervisor lia os métodos que Claude pretendia executar. A Anthropic também proibiu o sistema de copiar diretamente para o modelo-alvo o próprio alinhamento. Esses controles delimitavam o experimento, mas não garantiam, por si só, que cada intervenção fosse correta ou segura.

A principal medida foi a porcentagem da lacuna de segurança fechada: quanto o modelo se aproximava da pontuação teórica perfeita nos benchmarks selecionados. Intervenções que prejudicavam o desempenho nas verificações de capacidade escolhidas eram rejeitadas. A métrica descreve o avanço nessas avaliações, não uma medida universal de alinhamento.

Da proposta de método à avaliação

O processo repetia uma sequência de pesquisa, treinamento e avaliação. Uma pontuação favorável indicava um resultado nos testes selecionados, não uma garantia de segurança fora deles.

  1. 01Claude pesquisava a literatura e propunha um método e dados de treinamento para uma falha específica.
  2. 02Um agente supervisor examinava o método antes da execução.
  3. 03O sistema treinava o modelo-alvo, e um avaliador independente media o resultado.
  4. 04As pontuações orientavam novas tentativas; os testes reservados serviam para verificar a generalização.
03

Resultados relatados pela Anthropic

A Anthropic afirma que Claude melhorou os resultados dos benchmarks-alvo nas dez categorias estudadas. Os métodos selecionados também funcionaram em avaliações de alinhamento que o sistema não havia visto durante a busca e no Petri, uma ferramenta de código aberto que simula cenários adversariais de vários turnos. O Petri é uma aproximação para avaliar comportamentos, não um teste direto de segurança no mundo real.

A Anthropic também relata que os métodos continuaram eficazes em modelos de até 4,7 vezes o tamanho daqueles otimizados durante a busca. Em um teste sobre engano com Gemma-2-2B, Claude realizou mais de 150 tentativas. A melhor execução fechou 82% da lacuna de segurança; a média relatada em várias execuções foi de 85%. Esses números descrevem medidas diferentes: um se refere à execução destacada, o outro à média de várias execuções.

Em outro experimento, Claude Sonnet 5 trabalhou durante 60 horas para mitigar falhas de alinhamento em uma versão inicial do Claude Opus 4.8. A Anthropic afirma que a solução vencedora alcançou pontuações de alinhamento próximas às de seus modelos de produção e usou pouco mais de 2.000 exemplos de treinamento. A comparação de eficiência apresentada pela empresa se refere ao procedimento de alinhamento de produção da própria Anthropic; não demonstra que o método seja intercambiável com esse procedimento em outros modelos ou contextos.

O que significam os resultados relatados

Os números resumem testes e configurações específicos. Eles não devem ser interpretados como medidas universais de segurança.

ResultadoO que indicaO que não demonstra
Melhora em dez categoriasClaude melhorou os benchmarks selecionados para cada categoria.Que todas as falhas de alinhamento possíveis tenham sido cobertas.
Avaliações reservadas e PetriAlguns métodos funcionaram fora dos testes usados durante a busca.Que as avaliações reproduzam integralmente os riscos de sistemas implantados.
Transferência para modelos maioresA Anthropic observou eficácia em modelos de até 4,7 vezes o tamanho dos modelos otimizados.Que o resultado se generalize para qualquer modelo ou escala.
04

Métodos específicos e limites da avaliação

No trabalho sobre bajulação, a Anthropic informa que 98% dos métodos propostos usaram uma técnica publicada: treinar um modelo com suas próprias respostas não bajuladoras. Claude empregou direcionamento de ativações para gerar exemplos menos bajuladores. A técnica ajusta representações internas durante a geração; seu uso no experimento não demonstra que elimine a bajulação de modo geral.

Para avaliar violações de privacidade, a Anthropic cita ConfAIde, PrivaCI-Bench e PrivacyLens como benchmarks. A empresa afirma que Claude melhorou o desempenho medido por esses testes, mas o resumo publicado não atribui o resultado a uma única intervenção nem apresenta, aqui, dados detalhados que permitam comparar cada benchmark separadamente.

O número e a variedade das avaliações importam. Em um teste de ablação descrito no relatório, otimizar um único benchmark de injeção de instruções melhorou o resultado nesse teste, mas não produziu generalização confiável para outros testes não vistos. O resultado mostra por que uma pontuação alta em um único benchmark não basta para afirmar que o problema subjacente foi mitigado.

05

A comparação com pesquisadores humanos

A Anthropic comparou os métodos automatizados com propostas de pesquisadores humanos. A empresa afirma que Claude superou a melhor proposta humana nas sete categorias com propostas comparáveis; no exemplo do engano, seu melhor método teve desempenho 20% superior ao da proposta humana mais forte.

A comparação não foi equivalente. Os pesquisadores humanos podiam dedicar até oito horas à elaboração de propostas, mas não podiam testá-las e revisá-las depois de conhecer as pontuações. Claude, por sua vez, podia realizar tentativas sucessivas e usar as avaliações para orientar as seguintes. Portanto, o resultado não demonstra que Claude supere pesquisadores humanos em condições iguais.

A Anthropic apresenta a comparação como um indício de que uma busca automatizada pode explorar métodos promissores para que as pessoas os avaliem e aprimorem. Essa interpretação é mais restrita do que afirmar que o sistema pode substituir quem pesquisa alinhamento.

Como interpretar a comparação

Os grupos tiveram oportunidades diferentes para testar e aprimorar seus métodos.

AspectoPesquisadores humanosPesquisadores automatizados
Proposta inicialAté oito horas para formular métodos.O sistema propunha métodos para avaliação.
Iteração com as pontuaçõesNão podiam revisar a proposta depois de conhecer os resultados.Podiam usar as pontuações para orientar novas tentativas.
Interpretação do resultadoReferência baseada em propostas sem iteração comparável.Evidência de busca iterativa, não de superioridade em condições iguais.
06

O que o estudo não demonstra

As categorias examinadas eram mais restritas do que as possíveis falhas em sistemas de produção. A Anthropic reconhece que não mediu, por exemplo, vieses políticos e que alguns problemas podem ocorrer tão raramente ou ser tão recentes que ainda não exista um teste adequado para medi-los.

As verificações de capacidade também tinham alcance limitado. O estudo rejeitou métodos que prejudicavam as capacidades medidas, mas os benchmarks escolhidos não cobriam todas as capacidades importantes. Portanto, o resultado de que as intervenções não degradaram essas verificações não garante que preservaram todas as outras habilidades úteis.

A Anthropic também não verificou se as melhorias persistiam após um treinamento por reforço extenso em outras tarefas. A empresa reconhece, ainda, que o Petri e outras avaliações são aproximações do desalinhamento no mundo real. A eficácia relatada é um resultado experimental, não uma garantia sobre o comportamento de sistemas implantados.

O estudo oferece sinais iniciais de que a pesquisa automatizada pode ajudar a desenvolver métodos de pós-treinamento para falhas definidas. Seu resultado mais sólido é o de uma busca iterativa que melhorou benchmarks selecionados, incluindo algumas avaliações reservadas. A segurança geral, a persistência das melhorias e sua utilidade em condições de produção permanecem fora do que este experimento estabelece.

07

Implicações para a pesquisa de alinhamento

A contribuição mais concreta é um fluxo de trabalho no qual um sistema busca, testa e documenta intervenções para reduzir falhas mensuráveis. A supervisão e a separação das avaliações podem ajudar a controlar esse processo, mas não substituem a análise do alcance dos testes nem a avaliação dos resultados.

Para avaliar aplicações futuras, vale distinguir três perguntas: a intervenção melhora os testes usados para desenvolvê-la? Ela se transfere para avaliações que o sistema não viu? Seus efeitos persistem fora dessa configuração? O estudo apresenta resultados para as duas primeiras perguntas em alguns casos; não resolve a terceira em condições amplas de produção.

A Anthropic afirma ter disponibilizado o ambiente de pesquisa automatizada para que outras pessoas possam desenvolvê-lo e usá-lo com seus próprios modelos. A disponibilidade do ambiente não significa que todos os dados, resultados ou procedimentos necessários para reproduzir cada resultado estejam incluídos. O trabalho sustenta a exploração de ferramentas automatizadas sob controles e avaliações delimitados, não uma conclusão geral de que o alinhamento já possa ser totalmente automatizado.

Três perguntas para interpretar uma mitigação

Estas perguntas distinguem uma melhora em um teste de uma afirmação mais ampla sobre o comportamento de um modelo.

  1. 01O modelo melhorou nas avaliações usadas para orientar o método?
  2. 02A melhora se manteve em testes reservados que o sistema não tinha visto?
  3. 03Foi verificado se o efeito persiste em outros modelos, tarefas e condições de uso?
08

Continue a explorar

Fontes consultadas

03

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.

Propor uma correção