O que a Anthropic testou
A Anthropic publicou um experimento no qual Claude atuou como pesquisador automatizado de alinhamento: buscou métodos e dados para treinar modelos e reduzir falhas específicas, medidas por benchmarks. A tarefa não era demonstrar que um modelo seria seguro em qualquer circunstância, mas melhorar resultados definidos de antemão.
O sistema trabalhou em dez categorias de falhas de alinhamento, tratadas separadamente. Entre os exemplos descritos pela Anthropic estão violações de privacidade e bajulação — a tendência a concordar com o usuário mesmo quando isso não favorece uma resposta verdadeira ou adequada. Cada categoria foi avaliada com testes próprios.
A Anthropic afirma que os métodos de Claude melhoraram os benchmarks-alvo nas dez categorias sem reduzir o desempenho nas capacidades medidas pelo estudo. A conclusão depende desse conjunto específico de avaliações: não abrange todos os comportamentos possíveis nem equivale a certificar a segurança geral dos modelos.
Como funcionou o ciclo de pesquisa
Para cada falha, Claude pesquisava a literatura, propunha um método e dados de treinamento, treinava um modelo e examinava o resultado. As pontuações orientavam as tentativas seguintes, permitindo que o sistema iterasse com base em avaliações anteriores, em vez de apresentar uma única proposta sem testá-la.
O estudo separou os benchmarks usados para orientar a busca daqueles reservados para avaliar a generalização. Além disso, um agente supervisor lia os métodos que Claude pretendia executar. A Anthropic também proibiu o sistema de copiar diretamente para o modelo-alvo o próprio alinhamento. Esses controles delimitavam o experimento, mas não garantiam, por si só, que cada intervenção fosse correta ou segura.
A principal medida foi a porcentagem da lacuna de segurança fechada: quanto o modelo se aproximava da pontuação teórica perfeita nos benchmarks selecionados. Intervenções que prejudicavam o desempenho nas verificações de capacidade escolhidas eram rejeitadas. A métrica descreve o avanço nessas avaliações, não uma medida universal de alinhamento.
Da proposta de método à avaliação
O processo repetia uma sequência de pesquisa, treinamento e avaliação. Uma pontuação favorável indicava um resultado nos testes selecionados, não uma garantia de segurança fora deles.
- 01Claude pesquisava a literatura e propunha um método e dados de treinamento para uma falha específica.
- 02Um agente supervisor examinava o método antes da execução.
- 03O sistema treinava o modelo-alvo, e um avaliador independente media o resultado.
- 04As pontuações orientavam novas tentativas; os testes reservados serviam para verificar a generalização.
Resultados relatados pela Anthropic
A Anthropic afirma que Claude melhorou os resultados dos benchmarks-alvo nas dez categorias estudadas. Os métodos selecionados também funcionaram em avaliações de alinhamento que o sistema não havia visto durante a busca e no Petri, uma ferramenta de código aberto que simula cenários adversariais de vários turnos. O Petri é uma aproximação para avaliar comportamentos, não um teste direto de segurança no mundo real.
A Anthropic também relata que os métodos continuaram eficazes em modelos de até 4,7 vezes o tamanho daqueles otimizados durante a busca. Em um teste sobre engano com Gemma-2-2B, Claude realizou mais de 150 tentativas. A melhor execução fechou 82% da lacuna de segurança; a média relatada em várias execuções foi de 85%. Esses números descrevem medidas diferentes: um se refere à execução destacada, o outro à média de várias execuções.
Em outro experimento, Claude Sonnet 5 trabalhou durante 60 horas para mitigar falhas de alinhamento em uma versão inicial do Claude Opus 4.8. A Anthropic afirma que a solução vencedora alcançou pontuações de alinhamento próximas às de seus modelos de produção e usou pouco mais de 2.000 exemplos de treinamento. A comparação de eficiência apresentada pela empresa se refere ao procedimento de alinhamento de produção da própria Anthropic; não demonstra que o método seja intercambiável com esse procedimento em outros modelos ou contextos.
O que significam os resultados relatados
Os números resumem testes e configurações específicos. Eles não devem ser interpretados como medidas universais de segurança.
| Resultado | O que indica | O que não demonstra |
|---|---|---|
| Melhora em dez categorias | Claude melhorou os benchmarks selecionados para cada categoria. | Que todas as falhas de alinhamento possíveis tenham sido cobertas. |
| Avaliações reservadas e Petri | Alguns métodos funcionaram fora dos testes usados durante a busca. | Que as avaliações reproduzam integralmente os riscos de sistemas implantados. |
| Transferência para modelos maiores | A Anthropic observou eficácia em modelos de até 4,7 vezes o tamanho dos modelos otimizados. | Que o resultado se generalize para qualquer modelo ou escala. |
Métodos específicos e limites da avaliação
No trabalho sobre bajulação, a Anthropic informa que 98% dos métodos propostos usaram uma técnica publicada: treinar um modelo com suas próprias respostas não bajuladoras. Claude empregou direcionamento de ativações para gerar exemplos menos bajuladores. A técnica ajusta representações internas durante a geração; seu uso no experimento não demonstra que elimine a bajulação de modo geral.
Para avaliar violações de privacidade, a Anthropic cita ConfAIde, PrivaCI-Bench e PrivacyLens como benchmarks. A empresa afirma que Claude melhorou o desempenho medido por esses testes, mas o resumo publicado não atribui o resultado a uma única intervenção nem apresenta, aqui, dados detalhados que permitam comparar cada benchmark separadamente.
O número e a variedade das avaliações importam. Em um teste de ablação descrito no relatório, otimizar um único benchmark de injeção de instruções melhorou o resultado nesse teste, mas não produziu generalização confiável para outros testes não vistos. O resultado mostra por que uma pontuação alta em um único benchmark não basta para afirmar que o problema subjacente foi mitigado.
A comparação com pesquisadores humanos
A Anthropic comparou os métodos automatizados com propostas de pesquisadores humanos. A empresa afirma que Claude superou a melhor proposta humana nas sete categorias com propostas comparáveis; no exemplo do engano, seu melhor método teve desempenho 20% superior ao da proposta humana mais forte.
A comparação não foi equivalente. Os pesquisadores humanos podiam dedicar até oito horas à elaboração de propostas, mas não podiam testá-las e revisá-las depois de conhecer as pontuações. Claude, por sua vez, podia realizar tentativas sucessivas e usar as avaliações para orientar as seguintes. Portanto, o resultado não demonstra que Claude supere pesquisadores humanos em condições iguais.
A Anthropic apresenta a comparação como um indício de que uma busca automatizada pode explorar métodos promissores para que as pessoas os avaliem e aprimorem. Essa interpretação é mais restrita do que afirmar que o sistema pode substituir quem pesquisa alinhamento.
Como interpretar a comparação
Os grupos tiveram oportunidades diferentes para testar e aprimorar seus métodos.
| Aspecto | Pesquisadores humanos | Pesquisadores automatizados |
|---|---|---|
| Proposta inicial | Até oito horas para formular métodos. | O sistema propunha métodos para avaliação. |
| Iteração com as pontuações | Não podiam revisar a proposta depois de conhecer os resultados. | Podiam usar as pontuações para orientar novas tentativas. |
| Interpretação do resultado | Referência baseada em propostas sem iteração comparável. | Evidência de busca iterativa, não de superioridade em condições iguais. |
O que o estudo não demonstra
As categorias examinadas eram mais restritas do que as possíveis falhas em sistemas de produção. A Anthropic reconhece que não mediu, por exemplo, vieses políticos e que alguns problemas podem ocorrer tão raramente ou ser tão recentes que ainda não exista um teste adequado para medi-los.
As verificações de capacidade também tinham alcance limitado. O estudo rejeitou métodos que prejudicavam as capacidades medidas, mas os benchmarks escolhidos não cobriam todas as capacidades importantes. Portanto, o resultado de que as intervenções não degradaram essas verificações não garante que preservaram todas as outras habilidades úteis.
A Anthropic também não verificou se as melhorias persistiam após um treinamento por reforço extenso em outras tarefas. A empresa reconhece, ainda, que o Petri e outras avaliações são aproximações do desalinhamento no mundo real. A eficácia relatada é um resultado experimental, não uma garantia sobre o comportamento de sistemas implantados.
O estudo oferece sinais iniciais de que a pesquisa automatizada pode ajudar a desenvolver métodos de pós-treinamento para falhas definidas. Seu resultado mais sólido é o de uma busca iterativa que melhorou benchmarks selecionados, incluindo algumas avaliações reservadas. A segurança geral, a persistência das melhorias e sua utilidade em condições de produção permanecem fora do que este experimento estabelece.
Implicações para a pesquisa de alinhamento
A contribuição mais concreta é um fluxo de trabalho no qual um sistema busca, testa e documenta intervenções para reduzir falhas mensuráveis. A supervisão e a separação das avaliações podem ajudar a controlar esse processo, mas não substituem a análise do alcance dos testes nem a avaliação dos resultados.
Para avaliar aplicações futuras, vale distinguir três perguntas: a intervenção melhora os testes usados para desenvolvê-la? Ela se transfere para avaliações que o sistema não viu? Seus efeitos persistem fora dessa configuração? O estudo apresenta resultados para as duas primeiras perguntas em alguns casos; não resolve a terceira em condições amplas de produção.
A Anthropic afirma ter disponibilizado o ambiente de pesquisa automatizada para que outras pessoas possam desenvolvê-lo e usá-lo com seus próprios modelos. A disponibilidade do ambiente não significa que todos os dados, resultados ou procedimentos necessários para reproduzir cada resultado estejam incluídos. O trabalho sustenta a exploração de ferramentas automatizadas sob controles e avaliações delimitados, não uma conclusão geral de que o alinhamento já possa ser totalmente automatizado.
Três perguntas para interpretar uma mitigação
Estas perguntas distinguem uma melhora em um teste de uma afirmação mais ampla sobre o comportamento de um modelo.
- 01O modelo melhorou nas avaliações usadas para orientar o método?
- 02A melhora se manteve em testes reservados que o sistema não tinha visto?
- 03Foi verificado se o efeito persiste em outros modelos, tarefas e condições de uso?
Continue a explorar
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção