ATUALIDADE DE IA

Investigação e benchmarks

Investigação relevante, resultados publicados e limites das avaliações.

Últimas notícias

75 artigos

RSS ↗
HARDEN cria variantes mais difíceis para avaliar modelos de IA sem alterar a resposta esperada

HARDEN cria variantes mais difíceis para avaliar modelos de IA sem alterar a resposta esperada

O pré-print apresenta um método de busca evolutiva que modifica casos de avaliação existentes. Em três benchmarks e três escalas do Qwen3.5, os autores relatam uma redução média de 22,7% na precisão, embora o resumo não permita auditar o cálculo nem determinar até que ponto os casos gerados representam situações reais.

Palo Alto Networks anuncia testes ofensivos contínuos com IA: o que se sabe e o que ainda falta demonstrar

Palo Alto Networks anuncia testes ofensivos contínuos com IA: o que se sabe e o que ainda falta demonstrar

O Unit 42 Continuous Frontier AI Defense promete descobrir vulnerabilidades, verificar se podem ser exploradas e acelerar sua correção. Os números de desempenho divulgados pela Palo Alto Networks continuam sendo afirmações do fornecedor: as informações publicadas não permitem auditá-los de forma independente.

O que o estudo sobre o tempo que a IA poupa aos cientistas demonstra — e o que não demonstra

O que o estudo sobre o tempo que a IA poupa aos cientistas demonstra — e o que não demonstra

Um relatório da Google, da Google DeepMind e do MIT FutureTech reúne interações com o Gemini, um inventário de modelos especializados e uma pesquisa com cientistas. Os resultados dão pistas sobre o uso da IA, mas as quase sete horas semanais declaradas não equivalem a uma medição objetiva de produtividade.