NVIDIA veröffentlicht fünf Cosmos3-Nano-Varianten für Simulation und Robotik
Imagen generada con gpt-image-2.5-sunburst para InferamaQuelle ↗
01

Was wurde veröffentlicht und wann

NVIDIA hat die öffentliche Verfügbarkeit von fünf spezifischen Modellen der Cosmos3-Nano-Familie bestätigt. Das in den offiziellen Datenblättern festgelegte Veröffentlichungsdatum ist der 20. Oktober 2026. Diese Modelle sind nicht ein einzelnes Werkzeug, sondern ein Satz spezialisierter Checkpoints, die eine gemeinsame architektonische Basis von 16 Milliarden Parametern teilen.

Der Launch umfasst Varianten für die Fahrzeugsimulation, die Übertragung visueller Steuerungen, die bimanuelle Manipulation und die chirurgische Robotik. Alle Gewichte sind im offiziellen NVIDIA-Repository auf Hugging Face gehostet, der unterstützende Code ist auf GitHub verfügbar. Diese sofortige Verfügbarkeit ermöglicht es Forschungs- und Entwicklungsteams, die Integration zu beginnen, ohne auf eine kommerzielle API warten zu müssen.

02

Varianten, Modalitäten und Zugriff

Jede Variante ist für einen spezifischen Anwendungsfall konzipiert. Cosmos3-Nano-Transfer-Auto und Cosmos3-Nano-Sim-Auto konzentrieren sich auf die Generierung von Fahrszenen und unterscheiden sich durch ihre bidirektionale bzw. kausale Architektur. Cosmos3-Nano-Sim-Transfer wandelt Simulationssteuerungen in RGB-Videos um, während Cosmos3-Nano-Sim-Bimanual die Manipulation mit zwei Roboterarmen simuliert.

Die Variante Cosmos3-H-Embodied-Nano zeichnet sich durch ihren Fokus auf chirurgische Robotik aus und bietet drei Betriebsmodi: direkte Dynamik, inverse Dynamik und bedingte Politik. Der Zugriff erfolgt über den Download der Modellgewichte, was bedeutet, dass der Benutzer seine eigene Recheninfrastruktur verwalten muss. Es gibt keine veröffentlichten API-Gebühren; die Kosten liegen bei der GPU, dem Speicher und dem Systembetrieb.

Übersicht der verfügbaren Varianten

Vergleichstabelle der fünf von NVIDIA veröffentlichten Varianten.

ModellHauptfokusEingabenAusgaben
Cosmos3-Nano-Transfer-AutoBidirektionale FahrzeugfahrtText, Bild, LiDARVideo, LiDAR
Cosmos3-Nano-Sim-AutoKausale FahrzeugfahrtText, Bild, LiDARVideo, LiDAR
Cosmos3-Nano-Sim-TransferÜbertragung von SteuerungenText, VideoVideo
Cosmos3-Nano-Sim-BimanualBimanuelle ManipulationText, Bild, AktionenVideo
Cosmos3-H-Embodied-NanoChirurgische RobotikText, Bild, AktionenVideo, Aktionen
03

Was sich für den Benutzer ändert

Für Engineering-Teams ist die wichtigste Implikation die Notwendigkeit einer eigenen Infrastruktur. Da es sich um Checkpoints mit 16 Milliarden Parametern handelt, erfordert die Inferenz High-Performance-Hardware. Benutzer können nicht einfach einen Endpoint aufrufen; sie müssen das Modell bereitstellen, die Video-Kodierung verwalten und die Stabilität der generierten Sequenz sicherstellen.

Die Unterscheidung zwischen kausalen und bidirektionalen Modellen ist entscheidend. Sim-Auto ermöglicht als kausales Modell eine geschlossene Schleife, in der das Modell in Echtzeit auf Steuerungen reagiert, etwas, das Transfer-Auto nicht auf dieselbe Weise bietet. In der Robotik ermöglicht die Variante H-Embodied-Nano nicht nur die Vorhersage von Videos, sondern auch die Ableitung der erforderlichen Aktionen, was sie für das Training von Steuerungsstrategien nützlich macht.

04

Preis, Grenzen und offene Punkte

Es gibt keinen veröffentlichten Nutzungspreis, da die Modelle unter spezifischen Lizenzen (NVIDIA Open Model License oder OpenMDW 1.1) Open Source sind. Die tatsächlichen Kosten sind die Infrastruktur: Es wird geschätzt, dass GPUs der neuesten Generation benötigt werden, um die 16 Milliarden Parameter und die Videogenerierung in 480p oder 720p zu verarbeiten.

Es ist wichtig zu beachten, dass die veröffentlichten Metriken (FID, FVD, PSNR, MSE) von NVIDIA stammen und nicht unabhängig reproduziert wurden. Außerdem garantiert eine fotorealistische Erscheinung weder physikalische Konsistenz noch Sicherheit. Benutzer müssen die zeitliche Stabilität und die Präzision der Steuerungen validieren, bevor sie diese Daten in kritischen Systemen verwenden.

05

Technische Implikationen und Lizenzierung

Die Cosmos3-Nano-Familie stützt sich auf das Framework cosmos-framework von NVIDIA. Die Lizenz variiert je nach Modell: Die meisten verwenden OpenMDW 1.1, während Cosmos3-H-Embodied-Nano unter der NVIDIA Open Model License Agreement steht. Dies impliziert spezifische Einschränkungen für die kommerzielle Nutzung und die Änderung des Codes.

Die Integration erfordert Aufmerksamkeit für Software-Abhängigkeiten und die Konfiguration der Eingabesteuerungen. Zum Beispiel ist die Synchronisation zwischen Multiview-Video und LiDAR in der Fahrzeugvariante eine technische Herausforderung, die der Benutzer lösen muss. Die Verfügbarkeit dieser Modelle markiert einen Schritt zur Demokratisierung der Hochleistungs-Simulation, erfordert aber eine beträchtliche technische Reife seitens der Benutzer.

Schritte zum Bereitstellen eines Cosmos3-Nano-Modells

Grundlegender Prozess, um mit einem der veröffentlichten Modelle zu beginnen.

  1. 01Das cosmos-framework-Repository von GitHub klonen.
  2. 02Die Gewichte des spezifischen Modells von Hugging Face herunterladen.
  3. 03Die Laufzeitumgebung mit GPU- und CUDA-Abhängigkeiten konfigurieren.
  4. 04Die Eingabeparameter (Prompts, Bilder, Steuerungen) definieren.
  5. 05Die Inferenz ausführen und die visuelle und datenbezogene Ausgabe validieren.

Offene Fragen

  • Es wurde nicht verifiziert, ob eine kommerzielle API oder Token-Gebühren für diese Modelle existieren.
  • Die unabhängige Reproduzierbarkeit der Leistungsmetriken (FID, PSNR usw.) wurde nicht von Inferama durchgeführt.
  • Die tatsächliche Leistung auf physischer Hardware oder in Szenarien außerhalb der Trainingsverteilung wird durch die offiziellen Datenblätter nicht garantiert.
06

Weiter entdecken

06

Verwendete Quellen

03

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.

Korrektur vorschlagen