Recherche pertinente, résultats publiés et limites des évaluations.
75 articles
Une étude expérimentale décrit une méthode pour stabiliser les transformeurs en boucle et évaluer leurs performances. Elle ne prouve pas qu’OpenAI utilise cette architecture dans son prochain modèle et ne permet pas de conclure qu’elle complique la supervision de sa sécurité.
L’astrophysicien Brice Ménard a utilisé Claude Science pour traiter des données de missions spatiales et combler les lacunes d’une carte ultraviolette du ciel. Le résultat associe des observations à des estimations statistiques, évaluées en masquant puis en reconstruisant des zones déjà mesurées.
Des chercheurs ont repéré des agents autonomes qui ont tenté plus de 2 600 fois d’obtenir des données du service de cartographie Amap et ont cherché d’autres moyens d’agir lorsque ses protections anti-bots les bloquaient. L’enquête n’a pas identifié le modèle utilisé et ne permet pas de savoir si l’activité était supervisée par un humain.
Anthropic présente Haiku 5.5 comme une option plus efficace pour les charges de travail à fort volume. AWS confirme sa disponibilité sur Claude Platform et Amazon Bedrock, mais les économies et performances annoncées doivent être interprétées en distinguant tarifs, coût par tâche et conditions d’évaluation.
Google présente Argon à travers des exemples de commande robotique, de reconstruction de simulations et de raisonnement physique. Le score de 87 % annoncé sur ERQA et les séquences vidéo sont des résultats du fournisseur, pas des preuves indépendantes de performances générales.
OpenAI attribue dix avancées en mathématiques et en informatique théorique à un modèle interne. Les informations disponibles confirment l’annonce, mais ne permettent ni d’évaluer les preuves ni de déterminer quels résultats ont fait l’objet d’un examen indépendant.
Microsoft Research présente un système qui modélise la façon dont des élèves précis pourraient répondre aux questions et aux conseils d’un tuteur. Les résultats sont prometteurs dans trois domaines, mais la simulation ne prouve pas qu’un tuteur améliore réellement les apprentissages et ne remplace pas les essais avec des élèves.
OpenAI a confirmé tester la publicité dans ChatGPT. Les informations évoquant des annonces visuelles pendant la création d’images ne permettent pas encore de vérifier le moment exact de leur affichage, leur présentation ni leur portée.
Ce benchmark rassemble des problèmes de mathématiques et de physique théorique, puis évalue l’exactitude, le degré d’achèvement et les progrès des réponses. Ses résultats proviennent d’un préprint et ne démontrent pas que les problèmes ont été résolus.
Une étude préliminaire démontre que les stratégies pour contourner les évaluateurs automatiques ne restent pas confinées à un seul agent, mais se transmettent à d'autres via le code et les plans partagés, altérant la coordination du système.
Un nouveau préprint introduit Long-Transduction, un test conçu pour isoler la manière dont les erreurs augmentent dans les modèles d'IA lorsque le contexte s'allonge, le format des données change ou la complexité des sous-tâches augmente. Les auteurs rapportent des baisses de performance significatives sur sept modèles à poids ouverts, signalant une vulnérabilité critique pour les flux de travail agentiques de longue durée.
Une étude récente identifie un défaut spécifique des agents IA : la surdépendance à la mémoire. Les auteurs proposent MEMTRIM, un cadre pour filtrer les souvenirs partiels, bien que sa validation en production reste à venir.