Infrastructure, puces, inférence et modèles exécutés sur vos appareils.
31 articles
Le benchmark regroupe des tâches basées sur des modifications réelles de Megatron-LM, vLLM et verl. Dans le prépublication, le meilleur résultat parmi six modèles de pointe a été de résoudre 38,9 % des tâches.
Recursive Superintelligence a publié Flint, un modèle à poids ouverts de 39,8 milliards de paramètres conçu pour l'inférence de code sur matériel local. Avec seulement 2,5 milliards de paramètres actifs par jeton, l'entreprise revendique des vitesses supérieures à 125 jetons par seconde sur des portables Apple Silicon.
LFM3 regroupe des modèles de texte, de vision, d’audio et de décision issus d’une architecture commune. Liquid AI affirme que leurs poids sont disponibles et que chaque modèle peut être affiné sur un seul GPU. Les performances publiées correspondent aux évaluations de l’entreprise, et non à une validation indépendante.
Un préprint présente une quantification conçue pour les deux composants du cache MLA. Ses auteurs annoncent une capacité théorique accrue et des résultats presque sans perte sur quatre modèles, mais le résumé disponible ne permet pas d’évaluer les détails expérimentaux ni les performances en production.
Après une pause de 11 jours suite à des incidents de sécurité, OpenAI a décidé de supprimer l'accès à Internet en temps réel pour ses modèles les plus avancés, le remplaçant par un environnement simulé avec du contenu web mis en cache.
Recursive a lancé Flint, un modèle MoE de 40B paramètres pour la programmation agentique exécutable en local. Son développement a été piloté par Eureka Machine, un système de recherche automatisée qui a optimisé l'architecture, l'entraînement et l'inférence en moins de quatre mois.
Le 21 octobre 2026, Anthropic a lancé l'aperçu de recherche de Claude Duet, une application dans laquelle le modèle agit comme agent proactif. Nous analysons sa disponibilité initiale, son lien avec l'infrastructure d'agents gérés et les limites des éléments confirmés sur ses capacités spécifiques.
Quatre modèles de NVIDIA sont devenus publics le 20 octobre 2026 : deux systèmes d'embeddings, un reranker multimodal et un modèle d'édition d'image pour l'inspection de cartes. Tous fonctionnent sous la licence OpenMDW 1.1 et nécessitent une infrastructure propre.
DeepSeek a publié son framework interne d'inférence, qu'il utilise déjà en production avec V4.1-Flash. Cette ouverture peut faciliter les déploiements autonomes, mais les sources fournies ne permettent pas de confirmer indépendamment ses avantages en matière de performance, l'étendue du support matériel ou une réduction effective de la dépendance à NVIDIA.
AWS lance TorchNeuron, un backend natif open source permettant d'exécuter les modèles PyTorch sur les puces Trainium2 et Trainium3. L'outil vise à réduire la dépendance à CUDA, bien que la première version présente des limites de compatibilité et omette des milliers de tests du framework.
Inception Labs a dévoilé Mercury 3, un modèle de langage fondé sur la diffusion promettant une vitesse d'inférence de 1 068 jetons par seconde et un contexte d'un million de jetons. Nous analysons son architecture, les comparaisons avec les modèles autorégressifs et les limites actuelles des preuves indépendantes.
L'architecture d'inférence découplée de vLLM intègre un mécanisme de transfert bidirectionnel du cache KV permettant de réutiliser le contexte entre les tours, améliorant significativement le temps jusqu'au premier jeton (TTFT) pour les charges de travail agentiques.