AlphaIdeaBench avalia ideias de pesquisa com orçamentos e uma rubrica de 12 dimensões

Uma avaliação que considera os recursos disponíveis

Gerar uma ideia de pesquisa não consiste apenas em propor algo novo. Também importa saber se o plano pode ser executado com o tempo, a capacidade computacional e os créditos disponíveis. O AlphaIdeaBench aborda essa tensão com um benchmark concebido para comparar propostas de pesquisa automatizadas sob orçamentos explícitos, em vez de pontuar apenas a novidade ou a semelhança com trabalhos publicados.

O trabalho foi submetido ao arXiv em 24 de outubro de 2026 e é apresentado como preprint. O resumo descreve o desenho do estudo e alguns resultados, mas, por si só, não permite concluir que as conclusões tenham passado por revisão por pares ou sido reproduzidas por outras equipes. Portanto, é melhor entender o AlphaIdeaBench como uma proposta de medição e um conjunto de resultados iniciais, não como uma validação geral de agentes de pesquisa.

Cem tarefas com condições explícitas

O AlphaIdeaBench contém 100 tarefas: 50 provêm de chamadas para apresentação de artigos em workshops e 50 de problemas em aberto descritos em estudos de revisão. Cada tarefa vem acompanhada de um orçamento de recursos e de um formato comum para apresentar a proposta. Essa estrutura procura tornar as respostas comparáveis segundo critérios compartilhados e dentro de limites declarados.

Incluir um orçamento muda a pergunta da avaliação. Uma proposta pode parecer interessante em abstrato e, ao mesmo tempo, exigir mais capacidade computacional, tempo ou créditos de API do que os disponíveis. O benchmark incorpora essa diferença na análise, embora a pontuação de viabilidade continue sendo uma avaliação do sistema, não uma verificação de execução real. O resumo disponível não informa aqui os valores de todos os orçamentos nem permite examinar cada tarefa individualmente.

Doze dimensões para avaliar as propostas

O avaliador de IA atribui pontuações em 12 dimensões agrupadas em torno de validade, novidade e viabilidade. O artigo distingue quatro eixos de novidade: a do problema, a do método, a do cenário e a da ideia ou contribuição de conhecimento. Separar esses eixos ajuda a evitar que uma única avaliação de “originalidade” esconda diferenças importantes, como uma pergunta nova em contraste com uma técnica diferente.

A viabilidade em relação ao orçamento também é importante: uma proposta que excede os recursos atribuídos não atende ao mesmo objetivo que outra ajustada ao orçamento. Ainda assim, uma rubrica aplicada por um modelo não é um controle determinístico nem uma prova de que o plano seja executável. A pontuação depende da definição dos critérios e da interpretação das propostas pelo avaliador; o resumo não oferece detalhes suficientes para reconstruir todas as regras de pontuação.

O avaliador é comparado com comentários de revisores

Para examinar o avaliador, o estudo compara suas pontuações em quatro eixos de novidade com pontuações derivadas de comentários de revisores sobre 600 artigos do ICLR 2026, NeurIPS 2025 e ICML 2025. O resumo informa que o Gemini 3.7 Flash ficou a menos de um ponto da pontuação derivada da revisão em 94–97% dos artigos quanto à novidade do problema e do método. A concordância foi relativamente menor para a novidade do cenário.

Essa porcentagem descreve a proximidade com uma pontuação derivada de comentários de revisão nos eixos indicados; não significa que o avaliador e os revisores concordem em todos os critérios nem que o modelo avalie corretamente qualquer proposta nova. O resumo não especifica quantos revisores participaram por artigo, como suas opiniões foram agregadas, qual medida exata define “dentro de um ponto” nem o nível de concordância entre os próprios revisores. Portanto, a comparação oferece um sinal limitado de alinhamento, não uma certificação geral de qualidade.

Diferenças entre agentes e modelos de base

O trabalho compara oito sistemas publicados, chamados de harnesses, usando uma base comum, e também compara oito modelos de linguagem dentro de um desses harnesses. De acordo com o resumo, o CoI-Agent obtém a maior pontuação geral, ligeiramente à frente do SciMON; o SciMON lidera nas pontuações de novidade do método e da ideia. Os oito sistemas têm pontuações baixas em novidade do cenário e raramente alteram a formulação do problema.

Os autores atribuem ao modelo de base grande parte da escolha do problema em aberto abordado por uma proposta, enquanto o harness influencia se a resposta trata de um único problema ou combina vários. O resumo também indica que modelos mais fracos, como o Llama 4 Scout, têm dificuldade para seguir a estratégia do harness avaliado e obtêm pontuações baixas em viabilidade orçamentária. Esses resultados dizem respeito ao conjunto e à configuração examinados: não estabelecem uma hierarquia permanente entre modelos nem necessariamente preveem seu comportamento em outras tarefas.

O orçamento pode alterar o desenho experimental

Em uma análise adicional, os pesquisadores variaram apenas o orçamento em três temas. Nos temas que exigem muita computação, um orçamento maior alterou o desenho experimental. No tema de baixo custo, por outro lado, foram acrescentados testes, mas o desenho geral mudou menos. A observação ilustra por que o mesmo aumento de recursos não produz necessariamente o mesmo efeito em problemas diferentes.

Esse teste abrange três temas, portanto não permite concluir que o comportamento se repita em todas as áreas científicas. Ainda assim, aponta uma diferença prática útil ao avaliar propostas: mais recursos podem permitir mudar o tipo de experimento quando o custo computacional é uma limitação importante, mas, em outras situações, podem resultar principalmente em mais verificações. Em ambos os casos, a proposta precisa de avaliação independente antes de ser tratada como um plano executável.

Escopo e limites das evidências disponíveis

O AlphaIdeaBench propõe uma estrutura concreta para comparar agentes de geração de ideias: tarefas com orçamentos, um formato comum, uma rubrica multidimensional e uma comparação parcial com comentários de revisão. Seu possível valor está em tornar mais explícitas as condições de avaliação e permitir comparações dentro de um conjunto definido, em vez de reduzir a análise a uma impressão geral de novidade.

O registro do arXiv consultado identifica a versão como submetida em outubro de 2026; o material disponível para este artigo é o resumo, não uma verificação independente de todos os detalhes metodológicos. O resumo anuncia a publicação das tarefas, rubricas e pontuações, mas não confirma, por si só, que esses materiais estejam acessíveis nem permite verificar código, dados ou reprodutibilidade. Também não informa o número de revisores nem todos os detalhes necessários para avaliar como foram construídas as pontuações humanas. Essas limitações restringem o que se pode afirmar sobre a robustez e a generalização dos resultados.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.