Infrastructure, puces, inférence et modèles exécutés sur vos appareils.
28 articles
Ce benchmark évalue des agents qui tentent de reconstruire des résultats d’articles d’apprentissage automatique à partir des ressources publiées et dans le respect d’un budget GPU fixé. Les taux de réussite signalent une difficulté croissante, mais ne permettent pas de déterminer si les conclusions scientifiques des articles sont valides.
Un préprint décrit un système qui consulte, au moment de l’inférence, des définitions de l’information sensible propres à chaque domaine. Ses premiers résultats indiquent une meilleure détection que celle d’un classificateur de référence dans la plupart des combinaisons testées. Toutefois, les informations disponibles ne permettent pas d’évaluer toutes les erreurs ni de déterminer si le système est prêt pour un usage réel.
Cette approche vise à donner accès à des modèles plus exigeants sans faire supporter au robot toute la charge de calcul. Les sources évoquent des avantages possibles, mais ne fournissent ici ni métriques ni détails suffisants pour quantifier les résultats.
OpenAI annonce des diagnostics et des points de rupture explicites pour le cache de GPT‑6. Leur effet sur la latence et les coûts dépendra du profil des requêtes et devra être vérifié à partir de mesures propres à chaque application.