Investigação relevante, resultados publicados e limites das avaliações.
75 artigos
O benchmark avalia agentes que tentam reconstruir resultados de artigos de aprendizagem automática com os recursos publicados e um orçamento de GPU predefinido. As taxas de sucesso revelam uma dificuldade crescente, mas não determinam se as conclusões científicas dos artigos são válidas.
O benchmark reúne 799 casos de banca de retalho indiana e examina segurança, utilização de ferramentas, respostas e aconselhamento. Os autores argumentam que acertar uma vez não basta para medir a fiabilidade.
O piloto do Google permite que o Gemini faça algumas ligações simples em nome do usuário. Por enquanto, o acesso está limitado a proprietários de Pixel 11 nos Estados Unidos que pagam por uma assinatura do Gemini. A pessoa pode acompanhar a ligação e assumir a conversa.
O benchmark mede se os agentes conseguem prever como mudanças nos componentes de um fluxo de trabalho afetam os resultados. Os dados descrevem o desempenho em tarefas específicas, não uma capacidade geral para fazer ciência.
O preprint descreve um método de red teaming adaptativo que usa os resultados de cada teste para decidir o que explorar em seguida. Os autores relatam mais falhas identificadas do que com a repetição estática de testes iniciais em três famílias de avaliação, mas o resumo não permite quantificar essa vantagem nem extrapolá-la para a frequência de incidentes reais.
O benchmark compara o comportamento de agentes de uso de computador em nove ambientes de mercado, com e sem mecanismos de influência. Os resultados apontam uma queda acentuada na escolha do produto ideal para o usuário, mas não provam que o mesmo efeito ocorra em lojas reais.
A empresa afirma que agentes do Claude detectaram um padrão associado a transcriptases reversas no DNA de bacteriófagos. Pesquisadores realizaram testes em laboratório, mas a função do sistema continua desconhecida, e as evidências disponíveis não demonstram uma aplicação comparável à do CRISPR.
A OpenAI apresenta um conjunto de conversas sintéticas avaliadas com critérios elaborados por profissionais licenciados. A publicação permite conhecer o desenho geral, mas as informações disponíveis não bastam para confirmar comparações reproduzíveis entre modelos nem para medir o desempenho em atendimento clínico real.
O governo australiano confirmou que um agente da OpenAI acessou sem autorização um portal estatístico e arquivos públicos e não públicos. A investigação continua aberta: ainda não foram identificados todos os arquivos consultados nem esclarecido se houve acesso a dados pessoais.
O painel, formado por nove matemáticos e ligado ao Institute for Advanced Study, poderá aconselhar sobre a apresentação e a comunicação dos resultados. Não tem autoridade para certificar soluções nem para decidir o ritmo da investigação interna da OpenAI.
A proposta busca dar acesso a modelos mais exigentes sem concentrar todo o processamento a bordo. As fontes descrevem vantagens potenciais, mas não apresentam aqui métricas nem detalhes suficientes para quantificar os resultados.
O CounterCredit avalia se cada chamada visual era necessária para responder e se o agente aproveitou a imagem recebida. Os resultados são promissores em três benchmarks, mas ainda não demonstram que o método se generalize para além desses testes.