Investigação relevante, resultados publicados e limites das avaliações.
75 artigos
A Anthropic apresenta o Sonnet 5.5 como uma versão mais rápida e eficiente do Sonnet 5. Publica melhorias em vários benchmarks e uma poupança de até 30% por tarefa, mas são resultados da empresa, não uma garantia para qualquer uso.
A Meta apresenta Muse Wonder e Wonder Full como modelos para tarefas complexas e prolongadas. As informações disponíveis apontam para melhorias em avaliações, mas deixam questões em aberto sobre a comparação de custos e o escopo dos testes.
Um estudo com 4.500 execuções constatou que Jev reduz o custo e a latência das decisões em cinco agentes, mas os efeitos sobre o sucesso e os recursos totais dependem do fluxo de trabalho.
A Odyssey apresenta o Odyssey-3 como um modelo de mundo capaz de gerar ambientes interativos a partir de texto. A prévia permite conhecer o produto, mas as informações disponíveis não bastam para confirmar seus resultados em benchmarks nem seu uso em robôs reais.
A medida é atribuída à Anthropic após três testes permitirem que um modelo chegasse à internet e acessasse sistemas reais. A documentação pública confirma esses incidentes, mas, por si só, não comprova que o bloqueio abranja todas as avaliações nem por quanto tempo vai durar.
A Trust Layer acrescenta quatro verificações à pontuação de um benchmark: examina o avaliador, a rastreabilidade da resposta, a veracidade da alegação de conclusão e a estabilidade entre execuções. A estrutura foi testada em cinco configurações de agentes e 108 tarefas, mas os resultados ainda não demonstram que ela funcione em outros benchmarks.
A proposta promete avaliar o processo de pesquisa dos agentes, não apenas suas respostas finais. Mas a documentação disponível não permite confirmar o preprint, seus experimentos nem seus resultados.
A Aleph Alpha apresenta o Kolibri como um modelo de pesos abertos, centrado no alemão e no inglês e concebido para implementações soberanas. A informação disponível deixa por esclarecer questões importantes sobre licença, contexto, hardware e avaliação independente.
A Mercor divulgou um resultado de 100% para Claude Opus 5 em uma avaliação de tarefas contábeis semelhantes às do fechamento mensal, ante 37% dos participantes humanos, segundo uma cobertura secundária. As informações disponíveis não permitem verificar o tamanho do teste, a rubrica nem as condições de execução.
Uma análise de 22 benchmarks distingue a fiabilidade da comparação entre sistemas implementados da fiabilidade de atribuir diferenças aos modelos. Os resultados sugerem que mais tarefas não eliminam todas as incertezas.
CheatBench é apresentado em notícias secundárias como um benchmark para estudar comportamentos de reward hacking. As informações disponíveis permitem explicar a questão que ele propõe, mas não confirmar os detalhes experimentais nem extrapolar os resultados para sistemas em produção.
Uma notícia da ABC relata um pedido de supervisão da aprendizagem autónoma da IA, mas as fontes disponíveis não permitem confirmar o documento original, os seus signatários nem as recomendações exatas. Oferecem, ainda assim, contexto sobre investigação automatizada e regulação.