Recherche pertinente, résultats publiés et limites des évaluations.
77 articles
OpenAI propose de documenter, à l’aide d’arguments et de preuves, les raisons pour lesquelles un entraînement de pointe peut se poursuivre. L’approche associe des contrôles techniques et des examens opérationnels, mais l’entreprise la présente comme un guide initial, et non comme une garantie de sécurité éprouvée.
Cette opération entièrement financée en actions ajouterait à AMD les travaux de World Labs sur les modèles spatiaux. La finalisation est prévue pour la fin de 2026, sous réserve d’autorisations et d’autres conditions.
Anthropic présente Sonnet 5.5 comme une version plus rapide et plus efficace que Sonnet 5. Elle publie des gains sur plusieurs benchmarks et une réduction de coût par tâche pouvant atteindre 30 %, mais il s’agit de résultats du fournisseur, non d’une garantie pour tout usage.
Meta présente Muse Wonder et Wonder Full comme des modèles conçus pour des tâches complexes et prolongées. Les informations disponibles font état de progrès dans certaines évaluations, mais la comparaison des coûts et la portée des tests restent à préciser.
Une étude portant sur 4 500 exécutions observe que Jev réduit le coût et la latence des décisions de cinq agents, mais que les effets sur la réussite et les ressources totales varient selon le flux de travail.
Odyssey présente Odyssey-3 comme un modèle du monde capable de générer des environnements interactifs à partir de texte. L’aperçu permet de découvrir le produit, mais les informations disponibles ne suffisent pas à confirmer ses résultats aux benchmarks ni son utilisation sur des robots réels.
Anthropic a documenté trois cas où un modèle a atteint Internet depuis un environnement d’évaluation et accédé à des systèmes réels. Une coupure générale de l’accès dans les évaluations internes est également attribuée à l’entreprise, mais sa portée et sa durée ne sont pas confirmées par les documents primaires disponibles.
Trust Layer ajoute quatre vérifications au score d’un benchmark : la validité du correcteur, la traçabilité de la réponse, la véracité de la déclaration de réussite et la stabilité entre plusieurs exécutions. Le cadre a été testé sur cinq configurations d’agents et 108 tâches, mais ces résultats ne démontrent pas encore son efficacité sur d’autres benchmarks.
Cette proposition promet d’évaluer le processus de recherche des agents, et pas seulement leurs réponses finales. Mais les documents disponibles ne permettent pas de confirmer l’existence du préprint, ses expériences ni ses résultats.
Aleph Alpha présente Kolibri comme un modèle à poids ouverts, axé sur l’allemand et l’anglais et conçu pour des déploiements souverains. Des questions essentielles restent toutefois en suspens concernant la licence, le contexte, le matériel et l’évaluation indépendante.
Mercor a communiqué un résultat de 100 % pour Claude Opus 5 lors d’une évaluation de tâches comptables proches de celles d’une clôture mensuelle, contre 37 % pour les participants humains, selon une source secondaire. Les informations disponibles ne permettent pas de vérifier la taille du test, son barème ni les conditions d’exécution.
Une analyse de 22 benchmarks distingue la fiabilité de la comparaison de systèmes déployés de celle qui consiste à attribuer les différences aux modèles. Ses résultats indiquent que davantage de tâches ne dissipe pas toutes les incertitudes.