Cosmos3-H-Embodied-Nano: Fähigkeiten, Grenzen und Kosten für die chirurgische Robotik

Was das konkrete Modell leistet

Cosmos3-H-Embodied-Nano ist ein von NVIDIA am 20. Oktober 2026 veröffentlichter Forschungs-Checkpoint. Es handelt sich um eine spezialisierte Variante von Cosmos3-Nano mit 16 Milliarden Parametern, die in 50.000 Post-Training-Iterationen mit dem auf chirurgische Robotik ausgerichteten Datensatz Open-H-Embodiment weitertrainiert wurde.

Anders als allgemeine Videogenerierungsmodelle ist dieses Modell darauf ausgelegt, Video, Roboteraktionen und Text in einer gemeinsamen multimodalen Sequenz zu verknüpfen. Es ist kein zugelassenes Medizinprodukt, sondern ein Forschungswerkzeug für chirurgische Weltmodelle, die Bewertung von Roboterstrategien im geschlossenen Regelkreis und die Erzeugung synthetischer Daten vor dem Einsatz auf realen Systemen.

Der Forschungszweck bestimmt, wie die Ausgaben zu interpretieren sind. Das Modell verbindet Beobachtungen, Aktionen und Text in einem gemeinsamen Ablauf, liefert damit aber weder eine medizinische Zulassung noch einen geprüften Bewegungsauftrag für einen realen Roboter. Synthetische Daten und visuelle Vorhersagen können Gegenstand eines Experiments sein, ohne die Bedingungen eines physischen Eingriffs vollständig abzubilden. Die Bewertung muss deshalb zwischen dem Verhalten der generierten Sequenz und der Sicherheit des tatsächlich eingesetzten Systems unterscheiden.

Architektur und Betriebsmodi

Das Modell nutzt eine Mixture-of-Transformers-Architektur (MoT), die einen Reasoner-Turm auf Basis von Qwen3-VL-8B mit einem generativen Diffusionsexperten verbindet. Beim Post-Training bleibt der Reasoner eingefroren. Aktualisiert werden etwa sieben Milliarden Parameter im Generierungsturm, im Zeitschritt-Embedding sowie in den Ein- und Ausgab Projektionen für Aktionen.

Das Modell hat drei Betriebsmodi. Technisch sind es unterschiedliche Maskierungen sauberer und verrauschter Tokens innerhalb derselben gemeinsamen Sequenz: Vorwärtsdynamik erzeugt Video aus Aktionen, inverse Dynamik leitet Aktionen aus Video ab, und der Policy-Modus erzeugt Aktionen und Video aus Bild, Text und Aktionsverlauf. Die Modi werden gemeinsam im Verhältnis 0,4 / 0,2 / 0,4 trainiert.

Eine eingefrorene Komponente wird in der beschriebenen Phase des Post-Trainings nicht aktualisiert. Das erklärt, welche Teile angepasst werden, belegt aber nicht von sich aus eine höhere Stabilität oder Robustheit des Gesamtsystems. Ebenso beschreibt das Verhältnis der Trainingsaufgaben deren Gewichtung, nicht die Aufteilung der Laufzeit bei einer einzelnen Anfrage. Die Modi müssen nach ihrer jeweiligen Aufgabe gelesen werden: Video aus Aktionen, Aktionen aus Video oder eine gemeinsame Vorhersage unter den vorgesehenen Bedingungen sind unterschiedliche Ergebnisse und nicht beliebig austauschbar.

Die gemeinsame multimodale Darstellung ist auch kein Beweis, dass jede vorhergesagte Aktion physisch ausführbar ist. Eine Eingabe liefert die Bedingungen für die Vorhersage; das Modell erzeugt daraus eine mögliche Ausgabe im trainierten Aufgabenrahmen. Ob diese Ausgabe für einen Forschungsversuch ausreichend ist, muss anhand passender Referenzen und Kriterien untersucht werden. Aus der Architektur allein lässt sich weder die Vermeidung von Überanpassung noch eine bestimmte Qualität bei unbekannten Instrumenten oder Konfigurationen ableiten.

Veröffentlichte Benchmarks und Methodik

NVIDIA bewertet das Modell anhand von 640 Clips mit einer Länge von jeweils 2,4 Sekunden: 25 Bilder und 24 Aktionsschritte bei 10 Hz. Die Clips stammen aus dem zurückgehaltenen Validierungssplit von zehn öffentlich zugänglichen Datensatzfamilien, der rund fünf Prozent der Daten umfasst. Zu den zentralen Kennzahlen gehören PSNR (Peak Signal-to-Noise Ratio) für die Videoqualität und MSE (Mean Squared Error) im normalisierten Aktionsraum.

Im Modus Vorwärtsdynamik erreicht das Modell einen durchschnittlichen PSNR-Wert von 26,1 dB. Bei der inversen Dynamik beträgt der MSE der Aktionen 0,009; laut veröffentlichter Auswertung ist das 8,6-mal niedriger als bei der Baseline, die stets die mittlere Aktionsfolge vorhersagt. Im Policy-Modus liegt der mittlere MSE bei 0,052 und der beste Wert aus vier Stichproben bei 0,033. Diese Kennzahlen messen weder klinische Sicherheit noch gewährleisten sie, dass chirurgische Instrumente präzise verfolgt werden.

Die Bild- und Aktionsmetriken beantworten verschiedene Fragen. PSNR betrachtet Unterschiede im Bild, während MSE den Fehler im normalisierten Aktionsraum misst. Keiner dieser Werte zertifiziert für sich allein die Genauigkeit eines realen chirurgischen Eingriffs. Auch ein Mittelwert und das beste Ergebnis aus mehreren Stichproben sind unterschiedliche Zusammenfassungen. Der günstigste ausgewählte Versuch darf nicht als typische Leistung einer einzelnen Vorhersage gelesen werden. Die Aussage muss bei den Clips, Systemen und Bedingungen bleiben, unter denen die jeweilige Messung durchgeführt wurde.

Unterschiedliche Ergebnisse für die betrachteten Robotersysteme sollten nicht ohne weitere Untersuchung mit einer bestimmten Ursache erklärt werden. Ein Abstand in den Kennzahlen zeigt zunächst einen beobachteten Unterschied, aber nicht automatisch, ob Datenähnlichkeit, Bildkomplexität oder eine andere Eigenschaft dafür verantwortlich war. Die Teilresultate ergänzen den Gesamtmittelwert, weil sie Unterschiede sichtbar machen können. Sie rechtfertigen jedoch keine allgemeine Überlegenheit in jedem Szenario und ersetzen keine unabhängige Validierung für einen neuen Anwendungsfall.

Preis und Anforderungen an den Betrieb

Cosmos3-H-Embodied-Nano wird als öffentlich verfügbarer Checkpoint unter der NVIDIA Open Model License Agreement angeboten. Für dieses konkrete Modell ist kein offizieller API-Preis von NVIDIA veröffentlicht. Die Kosten entstehen daher vor allem durch die GPU-Infrastruktur, die für den eigenen Betrieb benötigt wird.

Das Modell benötigt NVIDIA-Hardware aus den Architekturklassen Ampere, Hopper oder Blackwell; getestet wurde es ausschließlich mit BF16-Präzision. Für die Inferenz muss genügend GPU-Speicher zur Verfügung stehen, um die multimodale Sequenz mit 16 Milliarden Parametern zu verarbeiten. Der im Repository enthaltene HTTP-Policy-Server ermöglicht einen selbst betriebenen Dienst, ist aber keine verwaltete kommerzielle API.

Das lokale Bereitstellen eines HTTP-Dienstes beschreibt einen Zugangsweg zur Inferenz. Es macht daraus noch keine verwaltete kommerzielle API mit zugesicherter Verfügbarkeit oder einer zentralen Verwaltungsfunktion. Betrieb und Ressourcen bleiben Teil des eigenen Aufbaus. Ebenso beziehen sich Hardware- und Präzisionsangaben auf den angegebenen Validierungsrahmen, ohne identische Laufzeiten auf jeder kompatiblen Maschine zu garantieren. Für die Planung müssen die benötigte Sequenz, Speicherbelegung und die gemessene Ausführung zusammen betrachtet werden.

Grenzen, Sicherheit und Alternativen

Das Modell wurde mit Clips von 2,4 Sekunden trainiert. Bei längeren Sequenzen, insbesondere über sechs Sekunden, nimmt die Videoqualität ab: Die Bilder werden unschärfer und der Zustand kann zunehmend vom tatsächlichen Verlauf abweichen. Der PSNR-Wert wird zudem stark von statischem Gewebe beeinflusst und misst nicht direkt, wie genau Instrumente verfolgt werden.

NVIDIA weist ausdrücklich darauf hin, dass das Modell kein Physiksimulator ist und seine Ausgaben keine sicherheitszertifizierten Entscheidungen darstellen. Für kritische Anwendungen sind eine unabhängige Validierung und eine Sicherheitsanalyse des Gesamtsystems erforderlich. Cosmos3-H-Dreams ist eine destillierte Variante dieses Checkpoints, die auf Echtzeit-Inferenz ausgelegt und auf das CMR-Versius-System spezialisiert ist; die veröffentlichte Modellkarte nennt bis zu 30 Bilder pro Sekunde auf einer RTX PRO 6000.

Die beobachtete Verschlechterung bei längeren Sequenzen begrenzt die Übertragung kurzer Tests auf längere Abläufe. Daraus sollte keine unbelegte Erklärung über eine bestimmte Modellklasse abgeleitet werden. Entscheidend ist, welche zeitlichen Horizonte geprüft wurden und welche Fehler dabei sichtbar waren. Ein visuell plausibler Verlauf ist weiterhin kein Nachweis präziser Physik. Für sicherheitskritische Anwendungen bleiben unabhängige Systemprüfungen erforderlich, auch wenn ein kurzer Versuch gute Bildwerte erreicht oder eine synthetische Sequenz überzeugend aussieht.

Praktische Auswahlkriterien

Ob Cosmos3-H-Embodied-Nano selbst oder die destillierte Variante Cosmos3-H-Dreams besser passt, hängt vor allem von der erforderlichen Latenz ab. Für interaktive Szenarien wie Teleoperation oder eine unmittelbare Bewertung ist Dreams wegen seiner kausalen Architektur mit vier Schritten die naheliegendere Option. Wenn die Inferenz offline laufen kann und die Priorität auf den veröffentlichten Kennzahlen des Basismodells liegt, kann H-Embodied-Nano geeigneter sein. Die Ergebnisse sind jedoch nicht als allgemeiner Nachweis für eine höhere Qualität in jedem Szenario zu verstehen.

Für dVRK-Roboter schneidet das Modell laut den veröffentlichten Vergleichen bei bestimmten pixelbasierten Kennzahlen besser ab als der Vorgänger Cosmos-H-Surgical-Simulator. Beim CMR Versius zeigt der Vorgänger in langen Sequenzen eine langsamere Verschlechterung bei einigen Verteilungskennzahlen. Die Wahl sollte deshalb auch von Robotertyp, Aufgabenlänge, Bewertungsziel und verfügbarer Hardware abhängen.

Bei der Auswahl zwischen dem Basismodell und einer auf Echtzeit ausgerichteten Variante müssen Latenz und Wiedergabetreue getrennt bewertet werden. Ein Vorteil in einer Messgröße kann neben einem Nachteil in einer anderen bestehen. Die Entscheidung sollte deshalb festhalten, welche Ausgabe benötigt wird, unter welchen Bedingungen sie geprüft wurde und welche Einschränkungen akzeptabel sind. Eine erfolgreiche Bereitstellung oder ein einzelnes überzeugendes Video belegt die allgemeine Eignung nicht; maßgeblich ist die überprüfbare Leistung im vorgesehenen Forschungsaufbau.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.