O que um estudo sobre transformadores em loop pode — e não pode — demonstrar sobre a OpenAI

O que está confirmado e o que continua por verificar

A proposta sobre o próximo modelo emblemático da OpenAI levanta três questões: se utilizará um transformador em loop, se essa arquitetura melhora o desempenho em matemática e programação e se dificulta a supervisão da segurança. A investigação disponível permite falar de transformadores em loop em geral e de uma variante experimental concreta. Não permite responder afirmativamente à primeira questão, nem confirmar as restantes alegações sobre o modelo da OpenAI.

O trabalho estuda o Fully Looped Transformer, uma arquitetura que reutiliza blocos Transformer através de várias iterações. Os autores descrevem experiências de treino e avaliações dos seus próprios modelos. Não apresentam provas de que a OpenAI tenha adotado este desenho, nem estudam um modelo da OpenAI, um produto chamado Astra ou uma implementação comercial. Associar o artigo ao próximo modelo da empresa iria, por isso, além da evidência disponível.

O que significa reutilizar um Transformer em loop

Num Transformer convencional, os blocos da rede processam a representação de entrada numa sequência de camadas. Num modelo em loop, alguns blocos — ou uma estrutura partilhada — são aplicados repetidamente a um estado que vai mudando. Em vez de acrescentar necessariamente um novo conjunto de parâmetros a cada repetição, o modelo volta a utilizar parâmetros já existentes. O volume de cálculo pode aumentar, mesmo que o número de parâmetros não cresça na mesma proporção.

Esta abordagem permite tratar o número de iterações como uma dimensão do cálculo. Em princípio, mais iterações podem proporcionar mais oportunidades para transformar a representação, mas também podem dificultar o treino. O estudo não afirma que a repetição de blocos garanta um raciocínio correto: analisa como estabilizar o treino e compara resultados em configurações experimentais específicas.

O que o estudo acrescenta — e quais são os seus limites

O trabalho descreve duas dificuldades observadas durante o treino de modelos em loop: oscilações nos gradientes e crescimento da norma do estado residual, designado pelos autores como explosão residual. Para as abordar, propõe o Fully Looped Transformer, com duas alterações: uma conectividade que distribui o sinal das iterações anteriores por todas as camadas e o Attention Injection, que reutiliza o mecanismo de atenção para incorporar informação recorrente. Segundo o artigo, estas alterações não acrescentam parâmetros aprendíveis.

Nas experiências descritas, a variante proposta foi treinada de forma estável até 12 iterações, enquanto os modelos de referência em loop colapsaram nessa configuração. Em condições menos exigentes, os autores relatam uma melhoria de até 13,2% no desempenho médio em tarefas posteriores. Esse valor máximo diz respeito às experiências do artigo: não representa uma melhoria universal, uma garantia para qualquer modelo ou um resultado atribuído à OpenAI. Os dados disponíveis não permitem descrever o trabalho como revisto por pares ou replicado de forma independente; por isso, não deve ser apresentado nesses termos.

Estabilidade e supervisão da segurança são questões diferentes

O estudo analisa a dinâmica do treino, a arquitetura e o desempenho em tarefas de avaliação. Não estuda auditorias de segurança, políticas de alinhamento, deteção de comportamentos nocivos, monitorização de cadeias de pensamento ou procedimentos de lançamento. Os resultados não provam que um modelo em loop seja mais opaco ou mais difícil de supervisionar do ponto de vista da segurança.

Ainda assim, permitem formular uma questão técnica que exigiria investigação própria: como registar e avaliar os estados internos e as saídas de cada iteração quando um bloco é reutilizado. Mas uma questão de investigação não é prova de que a observabilidade diminua. Também seria necessário distinguir entre observar ativações internas, avaliar as respostas visíveis e testar o comportamento em avaliações de segurança. O artigo disponível não compara estes métodos, nem propõe técnicas de alinhamento para compensar uma alegada perda de observabilidade.

O que falta para responder sobre a OpenAI

A evidência disponível não confirma que a OpenAI tenha anunciado um transformador em loop para o próximo modelo. Também não sustenta a alegação de que a Microsoft tenha revelado acidentalmente a utilização desta técnica, de que o modelo será lançado antes do final do ano ou de que foram estabelecidas medidas de segurança adicionais para compensar uma perda de observabilidade. Estes pontos continuam por verificar com o material disponível.

Uma verificação conclusiva exigiria documentação primária aplicável ao mesmo modelo e período: por exemplo, uma comunicação técnica da OpenAI sobre a arquitetura, uma publicação da Microsoft que identificasse com precisão a informação divulgada ou documentação que descrevesse as avaliações e salvaguardas. Até existir essa evidência, o rigor exige não transformar a hipótese da proposta numa notícia confirmada. Para acompanhar o tema na Inferama, é possível consultar as secções de notícias, comparações e descoberta, sem presumir que os respetivos conteúdos validam estas alegações.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.