Análise interna de modelos de linguagem separa o reconhecimento de risco da emissão de recusas

Distinguir entre reconhecer o dano e escrever a recusa

Os modelos de linguagem alinhados com a segurança continuam vulneráveis a jailbreaks e podem recusar em excesso solicitações benignas. Para compreender essas falhas, é necessário distinguir entre o reconhecimento da periculosidade de uma solicitação e o cálculo que gera a resposta de recusa.

Os autores do estudo reformulam este problema como uma questão de rota interna dentro do modelo. Propõem uma medição nas atualizações do fluxo residual dos Transformers de apenas decodificação, separando a informação de periculosidade que uma atualização de módulo expõe da mudança que produz na evidência legível de recusa.

A distinção proposta pelos autores visa isolar os mecanismos internos que processam a informação de periculosidade daqueles que executam a resposta final. Ao focar nas atualizações do fluxo residual, a pesquisa busca compreender como a informação é exposta por um módulo específico antes de ser transformada na evidência legível de recusa. Essa separação conceitual é fundamental para evitar a conflução indevida entre a detecção do risco e a ação de bloqueio, permitindo uma análise mais precisa das falhas de segurança nos modelos de linguagem alinhados.

Sinais internos: atenção e camadas MLP

A análise se concentra nas atualizações de atenção e nas camadas de perceptron multicamada (MLP). Os resultados indicam que a informação sobre a periculosidade é decodificada mais facilmente das atualizações de atenção, especialmente nas camadas iniciais do modelo.

Por outro lado, as atualizações de MLP contribuem de maneira mais forte para a escrita seletiva de recusas nos modelos alinhados. Isso sugere uma divisão funcional onde a atenção atua como sensor e as camadas MLP como o mecanismo de execução da resposta de segurança.

A divisão funcional identificada sugere que a atenção opera como um sensor inicial, capturando sinais de periculosidade nas camadas iniciais do modelo. Em contrapartida, as camadas MLP atuam como o mecanismo de execução, responsável por escrever a recusa de forma seletiva nas camadas mais profundas. Essa especialização indica que a informação de perigo não é imediatamente convertida em uma decisão de recusa, mas passa por um processo de transformação interna que depende da interação entre esses dois tipos de módulos. Compreender essa dinâmica é essencial para diagnosticar por que certos modelos falham em distinguir entre solicitações maliciosas e benignas.

Alcance da amostra: 18 pares de modelos

O estudo avalia 18 pares de modelos Base-Instruct que abrangem as famílias Qwen, Llama e Gemma. Esta seleção permite observar padrões comuns em arquiteturas de apenas decodificação amplamente utilizadas.

Observa-se que o treinamento posterior (post-training) fortalece a escrita de recusa nas camadas MLP nos 18 pares, sem melhorar sistematicamente a decodificabilidade da periculosidade. Além disso, a escrita positiva de MLP torna-se mais concentrada em camadas mais profundas após o treinamento posterior.

A seleção de 18 pares de modelos Base-Instruct das famílias Qwen, Llama e Gemma permite observar padrões consistentes em arquiteturas de apenas decodificação amplamente utilizadas. Os resultados indicam que o treinamento posterior fortalece a capacidade das camadas MLP de escrever recusas, mas não melhora sistematicamente a decodificabilidade da periculosidade nas camadas de atenção. Além disso, a escrita positiva de MLP torna-se mais concentrada em camadas mais profundas após o treinamento posterior, o que sugere uma reorganização interna dos mecanismos de segurança durante o alinhamento do modelo.

Intervenções causais e o método Sentinel

As intervenções causais respaldam esta rota: redefinir as atualizações de MLP a jusante para seus valores limpos reduz substancialmente a mudança de recusa causada por intervenções de atenção a montante. Isso confirma a dependência funcional entre ambos os módulos.

Com base nessas descobertas, os autores introduzem o Sentinel, um método que combina uma pontuação de percepção derivada da atenção (P) com uma pontuação de decisão derivada de MLP (D). O roteamento condicional com ambos os sinais alcança uma taxa de erro agregada mais baixa do que o roteamento de sinal único em oito modelos avaliados.

O método Sentinel combina uma pontuação de percepção derivada da atenção com uma pontuação de decisão derivada das camadas MLP para realizar um roteamento condicional. Essa abordagem busca aproveitar a complementaridade entre os dois sinais para melhorar a precisão na detecção de falhas de segurança. Ao integrar a informação de periculosidade exposta pela atenção com a evidência de recusa escrita pelo MLP, o Sentinel alcança uma taxa de erro agregada mais baixa em comparação com o roteamento de sinal único em oito modelos avaliados. Essa combinação de sinais oferece uma ferramenta mais robusta para diagnosticar a origem das falhas nos modelos de linguagem.

Implicações e limitações do estudo

Em seis modelos com capacidade de raciocínio, a periculosidade continua sendo decodificável durante o raciocínio, enquanto a escrita forte de recusa se concentra no início da resposta. Este padrão persiste mesmo com o raciocínio desativado.

É importante notar que este é um preprint e não um trabalho revisado por pares. Os resultados não demonstram que os jailbreaks estejam resolvidos, mas oferecem uma ferramenta para diagnosticar falhas. A reprodutibilidade completa e a robustez diante de todas as variantes de prompts requerem verificação adicional além do resumo do preprint.

É crucial reconhecer que os resultados apresentados provêm de um preprint e não foram submetidos a revisão por pares. Embora os dados preliminares ofereçam insights valiosos sobre a rota interna de segurança nos modelos, a reprodutibilidade completa e a robustez diante de todas as variantes de prompts requerem verificação adicional. As conclusões devem ser interpretadas como hipóteses respaldadas por dados iniciais, e não como evidência definitiva. A comunidade científica e os desenvolvedores de modelos de linguagem devem considerar essas limitações ao aplicar as descobertas em contextos práticos de segurança e alinhamento.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.