Was wurde veröffentlicht und wann
NVIDIA hat die öffentliche Verfügbarkeit von fünf spezifischen Modellen der Cosmos3-Nano-Familie bestätigt. Das in den offiziellen Datenblättern festgelegte Veröffentlichungsdatum ist der 20. Oktober 2026. Diese Modelle sind nicht ein einzelnes Werkzeug, sondern ein Satz spezialisierter Checkpoints, die eine gemeinsame architektonische Basis von 16 Milliarden Parametern teilen.
Der Launch umfasst Varianten für die Fahrzeugsimulation, die Übertragung visueller Steuerungen, die bimanuelle Manipulation und die chirurgische Robotik. Alle Gewichte sind im offiziellen NVIDIA-Repository auf Hugging Face gehostet, der unterstützende Code ist auf GitHub verfügbar. Diese sofortige Verfügbarkeit ermöglicht es Forschungs- und Entwicklungsteams, die Integration zu beginnen, ohne auf eine kommerzielle API warten zu müssen.
Varianten, Modalitäten und Zugriff
Jede Variante ist für einen spezifischen Anwendungsfall konzipiert. Cosmos3-Nano-Transfer-Auto und Cosmos3-Nano-Sim-Auto konzentrieren sich auf die Generierung von Fahrszenen und unterscheiden sich durch ihre bidirektionale bzw. kausale Architektur. Cosmos3-Nano-Sim-Transfer wandelt Simulationssteuerungen in RGB-Videos um, während Cosmos3-Nano-Sim-Bimanual die Manipulation mit zwei Roboterarmen simuliert.
Die Variante Cosmos3-H-Embodied-Nano zeichnet sich durch ihren Fokus auf chirurgische Robotik aus und bietet drei Betriebsmodi: direkte Dynamik, inverse Dynamik und bedingte Politik. Der Zugriff erfolgt über den Download der Modellgewichte, was bedeutet, dass der Benutzer seine eigene Recheninfrastruktur verwalten muss. Es gibt keine veröffentlichten API-Gebühren; die Kosten liegen bei der GPU, dem Speicher und dem Systembetrieb.
Übersicht der verfügbaren Varianten
Vergleichstabelle der fünf von NVIDIA veröffentlichten Varianten.
| Modell | Hauptfokus | Eingaben | Ausgaben |
|---|---|---|---|
| Cosmos3-Nano-Transfer-Auto | Bidirektionale Fahrzeugfahrt | Text, Bild, LiDAR | Video, LiDAR |
| Cosmos3-Nano-Sim-Auto | Kausale Fahrzeugfahrt | Text, Bild, LiDAR | Video, LiDAR |
| Cosmos3-Nano-Sim-Transfer | Übertragung von Steuerungen | Text, Video | Video |
| Cosmos3-Nano-Sim-Bimanual | Bimanuelle Manipulation | Text, Bild, Aktionen | Video |
| Cosmos3-H-Embodied-Nano | Chirurgische Robotik | Text, Bild, Aktionen | Video, Aktionen |
Was sich für den Benutzer ändert
Für Engineering-Teams ist die wichtigste Implikation die Notwendigkeit einer eigenen Infrastruktur. Da es sich um Checkpoints mit 16 Milliarden Parametern handelt, erfordert die Inferenz High-Performance-Hardware. Benutzer können nicht einfach einen Endpoint aufrufen; sie müssen das Modell bereitstellen, die Video-Kodierung verwalten und die Stabilität der generierten Sequenz sicherstellen.
Die Unterscheidung zwischen kausalen und bidirektionalen Modellen ist entscheidend. Sim-Auto ermöglicht als kausales Modell eine geschlossene Schleife, in der das Modell in Echtzeit auf Steuerungen reagiert, etwas, das Transfer-Auto nicht auf dieselbe Weise bietet. In der Robotik ermöglicht die Variante H-Embodied-Nano nicht nur die Vorhersage von Videos, sondern auch die Ableitung der erforderlichen Aktionen, was sie für das Training von Steuerungsstrategien nützlich macht.
Preis, Grenzen und offene Punkte
Es gibt keinen veröffentlichten Nutzungspreis, da die Modelle unter spezifischen Lizenzen (NVIDIA Open Model License oder OpenMDW 1.1) Open Source sind. Die tatsächlichen Kosten sind die Infrastruktur: Es wird geschätzt, dass GPUs der neuesten Generation benötigt werden, um die 16 Milliarden Parameter und die Videogenerierung in 480p oder 720p zu verarbeiten.
Es ist wichtig zu beachten, dass die veröffentlichten Metriken (FID, FVD, PSNR, MSE) von NVIDIA stammen und nicht unabhängig reproduziert wurden. Außerdem garantiert eine fotorealistische Erscheinung weder physikalische Konsistenz noch Sicherheit. Benutzer müssen die zeitliche Stabilität und die Präzision der Steuerungen validieren, bevor sie diese Daten in kritischen Systemen verwenden.
Technische Implikationen und Lizenzierung
Die Cosmos3-Nano-Familie stützt sich auf das Framework cosmos-framework von NVIDIA. Die Lizenz variiert je nach Modell: Die meisten verwenden OpenMDW 1.1, während Cosmos3-H-Embodied-Nano unter der NVIDIA Open Model License Agreement steht. Dies impliziert spezifische Einschränkungen für die kommerzielle Nutzung und die Änderung des Codes.
Die Integration erfordert Aufmerksamkeit für Software-Abhängigkeiten und die Konfiguration der Eingabesteuerungen. Zum Beispiel ist die Synchronisation zwischen Multiview-Video und LiDAR in der Fahrzeugvariante eine technische Herausforderung, die der Benutzer lösen muss. Die Verfügbarkeit dieser Modelle markiert einen Schritt zur Demokratisierung der Hochleistungs-Simulation, erfordert aber eine beträchtliche technische Reife seitens der Benutzer.
Schritte zum Bereitstellen eines Cosmos3-Nano-Modells
Grundlegender Prozess, um mit einem der veröffentlichten Modelle zu beginnen.
- 01Das cosmos-framework-Repository von GitHub klonen.
- 02Die Gewichte des spezifischen Modells von Hugging Face herunterladen.
- 03Die Laufzeitumgebung mit GPU- und CUDA-Abhängigkeiten konfigurieren.
- 04Die Eingabeparameter (Prompts, Bilder, Steuerungen) definieren.
- 05Die Inferenz ausführen und die visuelle und datenbezogene Ausgabe validieren.
Offene Fragen
- Es wurde nicht verifiziert, ob eine kommerzielle API oder Token-Gebühren für diese Modelle existieren.
- Die unabhängige Reproduzierbarkeit der Leistungsmetriken (FID, PSNR usw.) wurde nicht von Inferama durchgeführt.
- Die tatsächliche Leistung auf physischer Hardware oder in Szenarien außerhalb der Trainingsverteilung wird durch die offiziellen Datenblätter nicht garantiert.
Weiter entdecken
Verwendete Quellen
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen