Um precedente na governança da IA
A Anthropic anunciou a concessão de permissões internas a seis membros da METR (Model Evaluation and Threat Research), uma organização independente sem fins lucrativos. Esta medida, descrita como um acesso de 'nível de funcionário', permite que os avaliadores externos operem dentro dos sistemas da empresa com uma autonomia sem precedentes na indústria.
O objetivo declarado é fechar a lacuna entre a compreensão interna dos sistemas de IA e a capacidade dos auditores de verificá-los. Ao integrar esses avaliadores no dia a dia, a empresa busca garantir que as conclusões sobre riscos, incidentes e práticas operacionais se baseiem em observação direta e não em relatórios filtrados ou limitados pela própria empresa.
O que implica o 'acesso de nível de funcionário'
Na prática, este acesso se traduz na provisão de hardware corporativo, espaço físico nos escritórios da Anthropic e credenciais para utilizar as ferramentas internas de avaliação de riscos. Os pesquisadores da METR podem interagir com os modelos e os sistemas de monitoramento de agentes da mesma maneira que um técnico interno da equipe de segurança faria.
No entanto, este acesso não é total. Ficam explicitamente excluídos os dados de clientes, as informações protegidas por sigilo profissional e a arquitetura técnica detalhada dos modelos. Esta distinção é crucial para equilibrar a transparência com a proteção da propriedade intelectual e a privacidade dos usuários.
Escopo do acesso concedido à METR
Comparativo entre o que os avaliadores podem e não podem acessar.
| Categoria | Acesso permitido | Acesso restrito |
|---|---|---|
| Hardware e escritório | Sim (equipamentos e espaço próprios) | N/A |
| Modelos e APIs | Sim (execução e avaliação) | N/A |
| Dados de clientes | Não | Totalmente excluído |
| Arquitetura do modelo | Não | Excluído por confidencialidade |
O marco de três níveis de auditoria
A Anthropic está projetando um sistema escalonado de acesso para outros avaliadores. O primeiro nível, no qual a SecureBio se encontra atualmente, implica investigações de escopo muito delimitado e requer autorização prévia para publicar. O segundo nível fornece mais informações e permite publicar sem aprovação prévia, sujeito a supressões específicas que o auditor pode contestar publicamente.
A METR opera no terceiro nível, o mais avançado. Este nível combina o acesso técnico completo (similar ao de um funcionário) com direitos de publicação análogos ao segundo nível. A empresa indicou que está em conversações com outras entidades, como a Hugging Face e a Faculty (filial da Accenture), para integrá-las a este esquema, embora seus direitos atuais sejam mais restritos.
Hierarquia de acesso para avaliadores externos
Processo de integração e permissões conforme o nível de confiança e escopo.
- 01Nível 1: Acesso limitado, publicação sujeita a aprovação prévia (ex.: SecureBio).
- 02Nível 2: Acesso ampliado, publicação livre com possibilidade de censura técnica contestável.
- 03Nível 3: Acesso de nível de funcionário, publicação independente com censura apenas por confidencialidade estrita (METR).
Independência e controvérsias
Embora a METR se defina como independente e não receba financiamento direto dos laboratórios que avalia, existem críticas sobre sua autonomia. A organização conta com pesquisadores que procedem da Anthropic, OpenAI e DeepMind, e seu financiamento provém em grande parte de fundações vinculadas ao movimento do altruísmo eficaz, com o qual Dario Amodei, CEO da Anthropic, mantém vínculos familiares e profissionais.
Críticos como David Sacks apontaram que essa proximidade poderia comprometer a objetividade das auditorias. No entanto, a METR enfatizou que sua metodologia se baseia na avaliação científica de capacidades autônomas e que seu trabalho, como a revisão dos sistemas de monitoramento de agentes da Anthropic, identificou vulnerabilidades reais que a empresa corrigiu.
Implicações para a indústria e a regulação
Esta iniciativa se enquadra na proposta de Dario Amodei de 'moderar o avanço da fronteira' da IA. Ao estabelecer um padrão de transparência verificável, a Anthropic busca influenciar a regulação futura, argumentando que os laboratórios devem assumir a responsabilidade de demonstrar a segurança de seus modelos antes de que os governos imponham restrições coercitivas.
Para o restante da indústria, este movimento plantea um dilema: adotar um nível similar de transparência para manter a competitividade regulatória ou manter o controle sobre a informação técnica. A capacidade da METR de questionar publicamente as censuras impostas pela Anthropic adiciona uma camada de prestação de contas que pode se tornar um requisito padrão para os modelos de fronteira nos próximos anos.
Questões em aberto
- Não foi confirmado se este modelo de acesso será adotado por outros laboratórios como OpenAI ou Google no curto prazo.
- O impacto real das auditorias da METR na redução de riscos catastróficos ainda não foi quantificado de forma independente.
- Não está claro como serão gerenciadas as possíveis discrepâncias entre a interpretação da 'confidencialidade' pela Anthropic e pela METR em casos-limite.
Continue a explorar
Fontes consultadas
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção