Ce qui a été lancé et quand
NVIDIA a confirmé la disponibilité publique de cinq modèles spécifiques de la famille Cosmos3-Nano. La date de publication établie dans les fiches officielles est le 20 octobre 2026. Ces modèles ne sont pas un outil unique, mais un ensemble de points de contrôle spécialisés partageant une base architecturale de 16 milliards de paramètres.
Le lancement inclut des variantes pour la simulation de conduite, le transfert de contrôles visuels, la manipulation bimanuelle et la robotique chirurgicale. Tous les poids sont hébergés dans le dépôt officiel de NVIDIA sur Hugging Face, avec le code de support disponible sur GitHub. Cette disponibilité immédiate permet aux équipes de recherche et de développement de commencer l'intégration sans attendre une API commerciale.
Variantes, modalités et accès
Chaque variante est conçue pour un cas d'usage spécifique. Cosmos3-Nano-Transfer-Auto et Cosmos3-Nano-Sim-Auto se concentrent sur la génération de scènes de conduite, se distinguant par leur architecture bidirectionnelle ou causale, respectivement. Cosmos3-Nano-Sim-Transfer convertit les contrôles de simulation en vidéo RGB, tandis que Cosmos3-Nano-Sim-Bimanual simule la manipulation avec deux bras robotiques.
La variante Cosmos3-H-Embodied-Nano se distingue par son approche de la robotique chirurgicale, offrant trois modes de fonctionnement : dynamique directe, dynamique inverse et politique conditionnée. L'accès se fait par téléchargement des poids du modèle, ce qui implique que l'utilisateur doit gérer sa propre infrastructure de calcul. Il n'existe pas de tarif par API publié ; le coût repose sur le GPU, la mémoire et le fonctionnement du système.
Résumé des variantes disponibles
Tableau comparatif des cinq variantes lancées par NVIDIA.
| Modèle | Approche principale | Entrées | Sorties |
|---|---|---|---|
| Cosmos3-Nano-Transfer-Auto | Conduite bidirectionnelle | Texte, Image, LiDAR | Vidéo, LiDAR |
| Cosmos3-Nano-Sim-Auto | Conduite causale | Texte, Image, LiDAR | Vidéo, LiDAR |
| Cosmos3-Nano-Sim-Transfer | Transfert de contrôles | Texte, Vidéo | Vidéo |
| Cosmos3-Nano-Sim-Bimanual | Manipulation bimanuelle | Texte, Image, Actions | Vidéo |
| Cosmos3-H-Embodied-Nano | Robotique chirurgicale | Texte, Image, Actions | Vidéo, Actions |
Ce qui change pour l'utilisateur
Pour les équipes d'ingénierie, l'implication principale est le besoin d'une infrastructure propre. S'agissant de points de contrôle de 16 milliards de paramètres, l'inférence nécessite du matériel haute performance. Les utilisateurs ne peuvent pas simplement appeler un point d'accès ; ils doivent déployer le modèle, gérer l'encodage vidéo et assurer la stabilité de la séquence générée.
La distinction entre modèles causaux et bidirectionnels est cruciale. Sim-Auto, étant causal, permet une simulation en boucle fermée où le modèle répond aux contrôles en temps réel, ce que Transfer-Auto n'offre pas de la même manière. En robotique, la variante H-Embodied-Nano permet non seulement de prédire la vidéo, mais aussi d'inférer les actions nécessaires, ce qui la rend utile pour l'entraînement de politiques de contrôle.
Prix, limites et ce qui reste à vérifier
Il n'y a pas de prix d'utilisation publié, car les modèles sont en code ouvert sous des licences spécifiques (NVIDIA Open Model License ou OpenMDW 1.1). Le coût réel est l'infrastructure : on estime qu'il est nécessaire de disposer de GPU de dernière génération pour gérer les 16 milliards de paramètres et la génération vidéo en 480p ou 720p.
Il est important de noter que les métriques publiées (FID, FVD, PSNR, MSE) proviennent de NVIDIA et n'ont pas été reproduites de manière indépendante. De plus, l'apparence photographique réaliste ne garantit pas la cohérence physique ni la sécurité. Les utilisateurs doivent valider la stabilité temporelle et la précision des contrôles avant d'utiliser ces données dans des systèmes critiques.
Implications techniques et licences
La famille Cosmos3-Nano s'appuie sur le framework cosmos-framework de NVIDIA. La licence varie selon le modèle : la plupart utilisent OpenMDW 1.1, tandis que Cosmos3-H-Embodied-Nano est sous la NVIDIA Open Model License Agreement. Cela implique des restrictions spécifiques pour l'usage commercial et la modification du code.
L'intégration nécessite une attention particulière aux dépendances logicielles et à la configuration des contrôles d'entrée. Par exemple, dans la variante de conduite, la synchronisation entre la vidéo multivue et le LiDAR est un défi technique que l'utilisateur doit résoudre. La disponibilité de ces modèles marque un pas vers la démocratisation de la simulation haute performance, mais exige une maturité technique considérable de la part des utilisateurs.
Étapes pour déployer un modèle Cosmos3-Nano
Processus de base pour commencer à utiliser l'un des modèles publiés.
- 01Cloner le dépôt cosmos-framework depuis GitHub.
- 02Télécharger les poids du modèle spécifique depuis Hugging Face.
- 03Configurer l'environnement d'exécution avec les dépendances GPU et CUDA.
- 04Définir les paramètres d'entrée (prompts, images, contrôles).
- 05Exécuter l'inférence et valider la sortie visuelle et de données.
Questions ouvertes
- L'existence d'une API commerciale ou de tarifs par jeton pour ces modèles n'a pas été vérifiée.
- La reproductibilité indépendante des métriques de performance (FID, PSNR, etc.) n'a pas été réalisée par Inferama.
- Les performances réelles sur du matériel physique ou dans des scénarios hors de la distribution d'entraînement ne sont pas garanties par les fiches officielles.
Poursuivre l’exploration
Sources consultées
Corrections et transparence
Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.
Proposer une correction