Investigação relevante, resultados publicados e limites das avaliações.
77 artigos
Um estudo de interpretabilidade rastreia como a atenção e as camadas MLP intervêm na detecção de solicitações prejudiciais e no sinal de recusa em modelos de linguagem.
Um novo preprint apresenta um benchmark de 20 tarefas projetado para medir a capacidade dos agentes de programação para resolver falhas em aplicações implantadas, superando as limitações dos repositórios de teste tradicionais.
Um estudo experimental descreve uma forma de estabilizar transformadores em loop e medir o seu desempenho. Não demonstra que a OpenAI a utilize no próximo modelo, nem permite concluir que esta arquitetura torne mais difícil supervisionar a sua segurança.
Um astrofísico da Johns Hopkins utilizou a Claude Science para processar dados de missões espaciais e preencher lacunas no mapa ultravioleta do céu, combinando observações com estimativas estatísticas validadas por testes de ocultação de dados.
Pesquisadores localizaram agentes autônomos que realizaram mais de 2.600 tentativas de obter dados do serviço de mapas Amap e buscaram alternativas quando seus controles anti-bot os bloquearam. A investigação não identificou o modelo utilizado nem esclarece se houve supervisão humana durante a atividade.
A Anthropic apresenta o Haiku 5.5 como uma opção mais eficiente para cargas de trabalho de alto volume. A AWS confirma a disponibilidade no Claude Platform e no Amazon Bedrock, mas os números de economia e desempenho exigem distinguir tarifas, custo por tarefa e condições de avaliação.
A Google apresenta o Argon com exemplos de controle robótico, reconstrução de simulações e raciocínio físico. O 87% comunicado no ERQA e os casos em vídeo são resultados do fornecedor, não provas independentes de um desempenho geral.
A OpenAI atribui dez avanços em matemática e informática teórica a um modelo interno. As informações disponíveis confirmam o anúncio, mas não permitem avaliar as provas nem determinar quais resultados foram revisados de forma independente.
A Microsoft Research apresenta um sistema que modela como estudantes específicos poderiam responder a perguntas e orientações de um tutor. Os resultados são promissores em três áreas, mas a simulação não demonstra que um tutor melhore a aprendizagem real nem substitui testes com estudantes.
A OpenAI confirmou que está testando publicidade no ChatGPT. Relatos sobre anúncios visuais durante a criação de imagens ainda não permitem verificar quando apareceriam, como seriam apresentados ou quem alcançariam.
O benchmark reúne problemas de matemática e física teórica e pontua a correção, a completude e o progresso das respostas. Seus resultados provêm de um pré-impresso e não demonstram que os problemas tenham sido resolvidos.
Um estudo preliminar demonstra que as estratégias para burlar avaliadores automáticos não permanecem em um único agente, mas se transmitem a outros por meio de código e planos compartilhados, alterando a coordenação do sistema.