Cosmos3-H-Embodied-Nano : capacités, limites et coûts pour la robotique chirurgicale

À quoi sert exactement ce modèle ?

Cosmos3-H-Embodied-Nano est un checkpoint de recherche publié par NVIDIA le 20 octobre 2026. Il s’agit d’une variante spécialisée de Cosmos3-Nano, qui compte 16 milliards de paramètres et a fait l’objet de 50 000 itérations de post-entraînement sur Open-H-Embodiment, un ensemble de données consacré à la robotique chirurgicale.

Contrairement à un modèle généraliste de génération vidéo, il est conçu pour relier vidéo, actions robotiques et texte dans une même séquence multimodale. Ce n’est pas un dispositif médical autorisé : il vise la recherche sur les modèles du monde chirurgicaux, l’évaluation en boucle fermée de politiques robotiques et la production de données synthétiques avant un déploiement sur des systèmes physiques.

Architecture et modes de fonctionnement

Le modèle repose sur une architecture Mixture-of-Transformers (MoT), associant une tour de raisonnement fondée sur Qwen3-VL-8B et une tour de génération utilisant un expert de diffusion. Pendant le post-entraînement, la tour de raisonnement reste figée. Environ 7 milliards de paramètres sont mis à jour dans la tour générative, l’incorporation temporelle et les projections d’entrée et de sortie des actions.

Le modèle propose trois modes. Ils ne correspondent pas à trois modèles indépendants, mais à différentes configurations de tokens conditionnés ou à débruiter au sein d’une même séquence partagée : dynamique directe, dynamique inverse et politique. Ils sont entraînés conjointement, selon des proportions respectives de 0,4, 0,2 et 0,4.

Benchmarks et méthodologie publiée

NVIDIA évalue le modèle sur 640 séquences de 2,4 secondes, composées de 25 images et de 24 pas d’action à 10 Hz. Elles proviennent de la partie de validation mise de côté dans dix familles de données publiques. Les métriques principales sont le PSNR (rapport signal/bruit de crête) pour la vidéo et le MSE (erreur quadratique moyenne) calculé dans l’espace des actions normalisées.

En dynamique directe, le PSNR moyen publié est de 26,1 dB. En dynamique inverse, le MSE des actions atteint 0,009, soit une valeur 8,6 fois inférieure à celle de la référence fondée sur la prédiction de l’action moyenne. En mode politique, le MSE moyen est de 0,052 et le meilleur résultat parmi quatre échantillons est de 0,033. Ces scores ne mesurent ni la sécurité clinique ni la précision garantie du suivi des instruments chirurgicaux.

Prix et exigences de déploiement

Les poids de Cosmos3-H-Embodied-Nano sont disponibles sous la NVIDIA Open Model License Agreement. NVIDIA ne publie pas de tarif officiel d’API pour ce modèle précis. Pour une utilisation avec les poids, le principal poste de dépense est donc l’infrastructure nécessaire à l’inférence, ainsi que son exploitation.

Le modèle est prévu pour du matériel NVIDIA des générations Ampere, Hopper ou Blackwell, et seule la précision BF16 a été testée officiellement. Le checkpoint compte 16 milliards de paramètres ; le déploiement doit aussi tenir compte de la mémoire nécessaire aux séquences multimodales et à l’exécution. Le serveur HTTP fourni dans le dépôt permet une installation autogérée : il ne s’agit pas d’une API commerciale hébergée et assortie d’un tarif vérifié.

Limites, sécurité et solutions de remplacement

Le modèle a été entraîné sur des séquences courtes de 2,4 secondes. Dans les évaluations publiées, les longues séquences — notamment au-delà d’environ six secondes — peuvent se dégrader : les images deviennent plus floues et l’état généré s’écarte davantage de la séquence attendue. Le PSNR peut en outre être dominé par les tissus statiques et ne mesure pas directement si les instruments suivent correctement les actions commandées.

NVIDIA précise que le modèle n’est pas un simulateur physique et que ses sorties ne constituent pas des décisions certifiées pour la sécurité. Toute application critique nécessite une validation indépendante et une analyse de sécurité à l’échelle du système. Cosmos3-H-Dreams est une variante distillée et optimisée pour la génération en temps réel sur le système chirurgical CMR Versius ; ses résultats et performances ne doivent pas être attribués au checkpoint H-Embodied-Nano.

Comment choisir en pratique ?

Le choix entre Cosmos3-H-Embodied-Nano et Cosmos3-H-Dreams dépend d’abord du besoin de latence et du système robotique visé. Le premier est un checkpoint d’Embodied AI entraîné conjointement pour trois modes ; le second est une variante spécialisée, distillée pour la génération vidéo en continu et ajustée sur des données de chirurgie CMR Versius. Les chiffres de vitesse publiés pour Dreams concernent cette variante et son matériel d’évaluation, et ne décrivent pas les performances de H-Embodied-Nano.

Pour un usage hors ligne ou l’étude des relations entre actions et vidéo, H-Embodied-Nano permet d’examiner les trois modes avec le même checkpoint. Pour une interaction en continu, Dreams peut être plus pertinent lorsque le robot, les données et les conditions correspondent à son périmètre. Les résultats comparatifs publiés face au prédécesseur Cosmos-H-Surgical-Simulator varient selon le jeu de données, la durée et la métrique : aucun modèle ne domine tous les critères.

Déploiement : les étapes à prévoir

Le dépôt officiel décrit un flux de déploiement reposant sur le runtime cosmos-framework et le module cosmos3_h_embodied. Le checkpoint est publié en BF16 ; pour certains usages d’inférence distribuée, le dépôt prévoit une conversion vers le format Distributed Checkpoint (DCP). Le matériel et le format réellement nécessaires dépendent du scénario d’exécution, et doivent être vérifiés dans la documentation à jour du dépôt.

Le serveur de politique HTTP peut fournir une interface de déploiement autogérée. Avant de l’intégrer à une chaîne de données ou d’entraînement, il faut valider le prétraitement, la normalisation des actions, le comportement sur les robots ciblés et les exigences de sécurité. Un test sur un jeu de données proche de l’usage prévu est indispensable : les scores agrégés ne suffisent pas à établir l’adéquation d’un modèle à une procédure ou à un robot donné.

Ce que les benchmarks permettent — et ne permettent pas — de conclure

Les résultats publiés constituent une évaluation du fournisseur sur des données mises de côté, et non une réplication indépendante. Les 640 séquences couvrent dix familles publiques ; les résultats détaillés distinguent notamment les données dVRK et CMR Versius. Le protocole offre des repères sur la prédiction d’actions et la similarité vidéo dans ces conditions, sans représenter l’ensemble de la chirurgie, des robots ou des procédures possibles.

Le MSE d’action est calculé dans un espace normalisé : il ne se traduit pas directement en erreur physique sur chaque articulation ou instrument. De même, une valeur PSNR élevée n’établit pas que les contacts, les contraintes anatomiques ou la dynamique soient physiquement corrects. Les métriques publiées doivent donc être lues comme des indicateurs propres à l’évaluation décrite, et non comme une certification ou une garantie de sûreté.

Licence, données et précautions d’utilisation

La fiche du modèle indique que l’utilisation est régie par la NVIDIA Open Model License Agreement. Cette licence est distincte des conditions qui peuvent s’appliquer aux logiciels, conteneurs ou services d’inférence utilisés en complément. Il faut vérifier les conditions propres à chaque composant avant de construire un service ou de redistribuer une solution.

Le post-entraînement s’appuie sur Open-H-Embodiment, un ensemble de données de robotique chirurgicale composé de plusieurs familles et de différents robots. La fiche précise que certaines familles ou parties de données ne sont pas publiques. Pour vos propres données, vérifiez les droits d’utilisation et les exigences de confidentialité. Toute intégration à une application de santé demande des tests spécifiques, une validation de bout en bout et des mesures de sécurité adaptées ; le modèle ne doit pas être considéré comme un dispositif médical autorisé. »

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.