Cosmos3-H-Embodied-Nano: analisi di capacità, limiti e costi per la robotica chirurgica

Cosa fa esattamente il modello

Cosmos3-H-Embodied-Nano è un checkpoint di ricerca pubblicato da NVIDIA il 20 ottobre 2026. Si tratta di una variante specializzata di Cosmos3-Nano (16B parametri) che è stata post-addestrata per 50.000 iterazioni sul dataset Open-H-Embodiment, focalizzato sulla robotica chirurgica.

A differenza dei modelli di generazione video generici, questo modello è progettato per accoppiare video, azioni robotiche e testo in un'unica sequenza multimodale. Non è un dispositivo medico autorizzato, ma uno strumento per la generazione di world model chirurgici, la valutazione in loop chiuso di policy robotiche e la generazione di dati sintetici prima dell'implementazione su sistemi fisici.

La combinazione di video, azioni robotiche e testo consente di rappresentare contemporaneamente lo stato osservato dal sistema e le azioni associate in una sequenza multimodale condivisa. Questa struttura facilita lo studio delle relazioni tra stato visivo, istruzioni linguistiche e movimento, ma non trasforma le previsioni in misurazioni fisiche dirette né in comandi validati per un robot reale.

Architettura e modalità di funzionamento

Il modello utilizza un'architettura Mixture-of-Transformers (MoT) che combina una torre di ragionamento (basata su Qwen3-VL-8B) e una torre di generazione (esperto di diffusione). Durante il post-addestramento, la torre di ragionamento rimane congelata, mentre vengono aggiornati circa 7 miliardi di parametri nella torre generativa, l'incorporatore di tempo e le proiezioni di ingresso/uscita delle azioni.

Il modello opera in tre modalità che sono, in realtà, diverse maschere di token puliti e rumorosi sulla stessa sequenza condivisa: dinamica diretta (video a partire da azioni), dinamica inversa (azioni a partire da video) e policy (azioni e video a partire da immagine, testo e storico). Queste modalità vengono addestrate congiuntamente con una proporzione di 0,4 / 0,2 / 0,4 rispettivamente.

L’architettura Mixture-of-Transformers (MoT) dispone di una torre di ragionamento basata su Qwen3‑VL‑8B e di una torre generativa esperta in diffusione. Durante il post‑addestramento la torre di ragionamento rimane congelata, mentre circa 7 miliardi di parametri nella torre generativa, nell’incrustatore temporale e nelle proiezioni di ingresso/uscita delle azioni vengono aggiornati. Il numero totale di parametri del checkpoint resta 16 miliardi, come indicato nella documentazione ufficiale.

Benchmark e metodologia pubblicata

NVIDIA valuta il modello su 640 clip di 2,4 secondi (25 frame e 24 passi di azione a 10 Hz) estratti dalla divisione di validazione riservata (5% dei dati) di dieci famiglie di dati pubbliche. Le metriche principali sono il PSNR (Peak Signal-to-Noise Ratio) per la qualità del video e il MSE (Mean Squared Error) nello spazio delle azioni normalizzate.

Nella modalità di dinamica diretta, il modello raggiunge un PSNR medio di 26,1 dB. Nella dinamica inversa, il MSE delle azioni è di 0,009, il che rappresenta un miglioramento di 8,6 volte rispetto alla baseline di previsione della media. Nella modalità policy, il MSE medio è di 0,052 e il migliore di quattro campioni è di 0,033. È importante sottolineare che queste metriche non misurano la sicurezza clinica né garantiscono il tracciamento preciso degli strumenti chirurgici.

La valutazione si basa su 640 clip di 2,4 secondi estratti dalla divisione di validazione riservata (5 % dei dati) di dieci famiglie pubbliche. Ogni clip contiene 25 fotogrammi e 24 passi di azione a 10 Hz. Le metriche principali sono il PSNR per la qualità video e l'MSE normalizzato nello spazio delle azioni. Il valore medio di PSNR in modalità dinamica diretta è 26,1 dB; l'MSE delle azioni in modalità dinamica inversa è 0,009.

Prezzo e requisiti di deployment

Cosmos3-H-Embodied-Nano viene distribuito come checkpoint pubblico sotto la NVIDIA Open Model License Agreement. Non esiste una tariffa API ufficiale pubblicata da NVIDIA per questo modello specifico; i costi sono associati all'infrastruttura GPU necessaria per il deployment autonomo.

Il modello richiede hardware NVIDIA (Ampere, Hopper o Blackwell) ed è stato validato esclusivamente in precisione BF16. Per l'inferenza, si consiglia una GPU con memoria sufficiente per gestire la sequenza multimodale di 16B parametri. Il server HTTP incluso nel repository consente di distribuire il modello localmente, ma non costituisce un'API commerciale gestita.

Il checkpoint viene distribuito sotto la NVIDIA Open Model License Agreement. Non è stata pubblicata una tariffa API ufficiale per questo modello; i costi associati all’inferenza dipendono dall’infrastruttura GPU gestita dall’utente. Il modello è stato validato esclusivamente in precisione BF16 su architetture NVIDIA Ampere, Hopper e Blackwell. Per l’inferenza si raccomanda una GPU con memoria sufficiente a gestire la sequenza multimodale di 16 miliardi di parametri.

Limitazioni, sicurezza e alternative

Il modello è addestrato su clip di 2,4 secondi. In sequenze più lunghe (superiori a 6 secondi), la qualità del video si degrada, con un aumento della sfocatura e della deriva dello stato. La metrica PSNR è dominata dal tessuto statico e non misura direttamente la precisione del tracciamento degli strumenti.

NVIDIA avverte esplicitamente che il modello non è un simulatore di fisica e che gli output non sono decisioni certificate di sicurezza. Per le applicazioni critiche, è richiesta una validazione indipendente e un'analisi di sicurezza a livello di sistema. Come alternativa, il modello Cosmos3-H-Dreams è una versione distillata di questo checkpoint, ottimizzata per l'inferenza in tempo reale (30 FPS su RTX PRO 6000) e specifica per il sistema CMR Versius.

Il modello è stato addestrato su clip di 2,4 secondi. In sequenze più lunghe (oltre 6 secondi) la qualità video si degrada, con aumento di sfocatura e deriva dello stato. La metrica PSNR è dominata dal tessuto statico e non misura direttamente la precisione del tracciamento degli strumenti. NVIDIA avverte che il modello non è un simulatore di fisica e che gli output non costituiscono decisioni certificate di sicurezza.

Criteri pratici di scelta

La scelta tra l'uso diretto di Cosmos3-H-Embodied-Nano o l'uso della sua variante distillata Cosmos3-H-Dreams dipende dall'esigenza di latenza. Se è richiesta interattività in tempo reale (teleoperazione o valutazione in vivo), Cosmos3-H-Dreams è l'opzione adeguata grazie alla sua architettura causale a 4 passi. Se è richiesta la massima qualità di generazione e si dispone di tempo di calcolo per l'inferenza offline, il modello base H-Embodied-Nano offre migliori metriche di fedeltà.

Per i team che lavorano con robot dVRK, il modello offre prestazioni superiori rispetto al suo predecessore (Cosmos-H-Surgical-Simulator) nelle metriche di pixel (PSNR e SSIM). Tuttavia, per il sistema CMR Versius in sequenze lunghe, il predecessore mostra un degrado più lento nelle metriche di distribuzione (FVD).

La scelta tra Cosmos3‑H‑Embodied‑Nano e la variante distillata Cosmos3‑H‑Dreams dipende dalla latenza richiesta. Cosmos3‑H‑Dreams è ottimizzato per inferenza in tempo reale (30 FPS su RTX PRO 6000) e specifico per il sistema CMR Versius, mentre Cosmos3‑H‑Embodied‑Nano offre migliori metriche di fedeltà per inferenza offline. Il processo di deployment include il download dei pesi, l’installazione del runtime cosmos‑framework e la configurazione di un server HTTP locale o dell’API Python.

Continua a esplorare

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.