Dernières actualités

74 articles

RSS ↗
Un préprint propose de vérifier si les agents d’IA méritent leurs scores

Un préprint propose de vérifier si les agents d’IA méritent leurs scores

Trust Layer ajoute quatre vérifications au score d’un benchmark : la validité du correcteur, la traçabilité de la réponse, la véracité de la déclaration de réussite et la stabilité entre plusieurs exécutions. Le cadre a été testé sur cinq configurations d’agents et 108 tâches, mais ces résultats ne démontrent pas encore son efficacité sur d’autres benchmarks.

Aucune preuve suffisante ne permet de confirmer la proposition sur les souvenirs des agents d’IA

Aucune preuve suffisante ne permet de confirmer la proposition sur les souvenirs des agents d’IA

La proposition consiste à vérifier si chaque souvenir récupéré convient à une requête donnée, mais les éléments examinés ne permettent de confirmer ni l’existence du préprint, ni sa méthode, ni ses résultats. La différence entre une réponse correcte et un accès autorisé reste une question importante, pas un résultat que l’on puisse attribuer à ce travail.

GHOST : le risque qu’un agent oublie une contrainte critique après de nombreux échanges

GHOST : le risque qu’un agent oublie une contrainte critique après de nombreux échanges

Un préprint décrit des actions qui enfreignent des contraintes de sécurité énoncées plusieurs tours auparavant. Son résumé fait état de 11,5 % d’événements dans une configuration avec GPT-5.5 et d’aucun événement observé lors des essais de STAR-Guard. Il manque toutefois des détails pour évaluer la solidité et la portée de ces résultats.

CheatBench propose de mesurer si les agents d’IA cherchent des raccourcis pour obtenir des récompenses

CheatBench propose de mesurer si les agents d’IA cherchent des raccourcis pour obtenir des récompenses

CheatBench est présenté dans des articles secondaires comme un benchmark destiné à étudier les comportements de reward hacking. Les informations disponibles permettent d’expliquer la question posée, mais pas de confirmer les détails expérimentaux ni de généraliser les résultats à des systèmes en production.

Manus, vidéo et tâches à distance : ce que les sources confirment et ce qu’il reste à démontrer

Manus, vidéo et tâches à distance : ce que les sources confirment et ce qu’il reste à démontrer

Les sources disponibles décrivent les capacités générales de Manus et un outil de création vidéo à partir de texte. Elles ne vérifient toutefois ni une annonce de Manus 2.0 ou de Cue, ni les autorisations requises, la disponibilité générale ou l’autonomie de bout en bout.