ATUALIDADE DE IA

Investigação e benchmarks

Investigação relevante, resultados publicados e limites das avaliações.

Últimas notícias

77 artigos

RSS ↗
Long-Transduction: um diagnóstico controlado para medir a deriva em agentes de IA em tarefas longas

Long-Transduction: um diagnóstico controlado para medir a deriva em agentes de IA em tarefas longas

Um novo preprint introduz o Long-Transduction, um teste projetado para isolar como os erros crescem em modelos de IA quando o contexto se alonga, o formato dos dados muda ou a complexidade das sub-tarefas aumenta. Os autores relatam quedas significativas de desempenho em sete modelos de pesos abertos, apontando uma vulnerabilidade crítica para fluxos de trabalho agênticos de longa duração.

NP-Bench busca medir quando agentes de programação em paralelo colidem entre si

NP-Bench busca medir quando agentes de programação em paralelo colidem entre si

Um preprint propõe avaliar a coordenação de agentes de código como um problema de planejamento: dividir o trabalho em áreas compatíveis e ordenar as tarefas antes que as mudanças entrem em conflito. O resumo declara melhorias na integração limpa, mas o escopo dos ensaios e a reprodutibilidade exigem examinar o artigo completo e seus materiais.

Mistral Large 4: um modelo de grande escala cujo desempenho ainda precisa ser medido

Mistral Large 4: um modelo de grande escala cujo desempenho ainda precisa ser medido

A Mistral apresentou o Large 4 em prévia pública e anunciou que publicaria os pesos no fim de outubro. A empresa declara um trilhão de parâmetros, dos quais 52 bilhões ativos, mas os números e os resultados de desempenho precisam de contexto: a maioria das comparações disponíveis vem de avaliações da própria empresa.