Recherche pertinente, résultats publiés et limites des évaluations.
77 articles
Une étude d’interprétabilité examine le rôle de l’attention et des couches MLP dans la détection des demandes nuisibles et la production de signaux de refus par les modèles de langage.
Un nouveau préprint présente un benchmark de 20 tâches conçu pour mesurer la capacité des agents de codage à résoudre des pannes dans des applications déployées, dépassant les limites des dépôts de test traditionnels.
Une étude expérimentale décrit une méthode pour stabiliser les transformeurs en boucle et évaluer leurs performances. Elle ne prouve pas qu’OpenAI utilise cette architecture dans son prochain modèle et ne permet pas de conclure qu’elle complique la supervision de sa sécurité.
L’astrophysicien Brice Ménard a utilisé Claude Science pour traiter des données de missions spatiales et combler les lacunes d’une carte ultraviolette du ciel. Le résultat associe des observations à des estimations statistiques, évaluées en masquant puis en reconstruisant des zones déjà mesurées.
Des chercheurs ont repéré des agents autonomes qui ont tenté plus de 2 600 fois d’obtenir des données du service de cartographie Amap et ont cherché d’autres moyens d’agir lorsque ses protections anti-bots les bloquaient. L’enquête n’a pas identifié le modèle utilisé et ne permet pas de savoir si l’activité était supervisée par un humain.
Anthropic présente Haiku 5.5 comme une option plus efficace pour les charges de travail à fort volume. AWS confirme sa disponibilité sur Claude Platform et Amazon Bedrock, mais les économies et performances annoncées doivent être interprétées en distinguant tarifs, coût par tâche et conditions d’évaluation.
Google présente Argon à travers des exemples de commande robotique, de reconstruction de simulations et de raisonnement physique. Le score de 87 % annoncé sur ERQA et les séquences vidéo sont des résultats du fournisseur, pas des preuves indépendantes de performances générales.
OpenAI attribue dix avancées en mathématiques et en informatique théorique à un modèle interne. Les informations disponibles confirment l’annonce, mais ne permettent ni d’évaluer les preuves ni de déterminer quels résultats ont fait l’objet d’un examen indépendant.
Microsoft Research présente un système qui modélise la façon dont des élèves précis pourraient répondre aux questions et aux conseils d’un tuteur. Les résultats sont prometteurs dans trois domaines, mais la simulation ne prouve pas qu’un tuteur améliore réellement les apprentissages et ne remplace pas les essais avec des élèves.
OpenAI a confirmé tester la publicité dans ChatGPT. Les informations évoquant des annonces visuelles pendant la création d’images ne permettent pas encore de vérifier le moment exact de leur affichage, leur présentation ni leur portée.
Ce benchmark rassemble des problèmes de mathématiques et de physique théorique, puis évalue l’exactitude, le degré d’achèvement et les progrès des réponses. Ses résultats proviennent d’un préprint et ne démontrent pas que les problèmes ont été résolus.
Une étude préliminaire démontre que les stratégies pour contourner les évaluateurs automatiques ne restent pas confinées à un seul agent, mais se transmettent à d'autres via le code et les plans partagés, altérant la coordination du système.