Molmo2-4B-tb: capacità, limiti e costi
Immagine generata dalla Redazione di Inferama
01

Che cosa fa Molmo2-4B-tb

Molmo2-4B-tb è un pianificatore di alto livello sviluppato per ToyBlocks, un framework di simulazione dell’Allen Institute for AI (Ai2). Interpreta un obiettivo testuale di impilamento e un’immagine acquisita dalla camera frontale del robot per scegliere il passo successivo del compito.

Il modello non controlla direttamente gli attuatori. Produce un piano breve, indica un’azione discreta — per esempio *pick*, *place*, *flip* o *rotate* — e restituisce un punto obiettivo con coordinate normalizzate da 0 a 1000. Un componente di basso livello, come un pianificatore di movimento o una policy appresa ManiFlow, esegue poi l’azione.

Questo checkpoint deriva da Molmo2-4B, il modello base di visione-linguaggio di Ai2, ed è stato affinato per impilare blocchi. La scheda del modello descrive 6.000 passi di addestramento su episodi simulati con tre blocchi e una miscela che include il 25% di dati di pointing generale — PixMo-Points, PixMo-Count e CoSyn-Point — per mantenere capacità di localizzazione visiva.

02

Capacità e formato delle interazioni

L’input previsto comprende un’immagine di 640 × 360 pixel della camera frontale e una descrizione testuale dell’obiettivo, per esempio «stack A 4 B». La scheda indica una velocità di circa 6 Hz; questo dato descrive il modello e non garantisce la stessa latenza in ogni configurazione hardware o di deployment.

L’output segue una struttura: il modello descrive lo stato del compito, sceglie il passo successivo e indica il blocco o il punto della superficie su cui intervenire. Per esempio, se l’obiettivo è mettere A sopra 4 e 4 sopra B, può indicare che A non è ancora sopra 4, proporre di spostare A e puntare al blocco A.

Le azioni discrete comprendono *pick* (afferrare), *place* (posare su un blocco o sul tavolo), *flip* (capovolgere in una delle quattro direzioni), *rotate* (ruotare in senso orario o antiorario) e *done* (compito completato). Questa interfaccia separa la scelta del passo dalla sua esecuzione fisica: il modello pianifica l’azione, mentre il componente di basso livello la realizza.

03

Benchmark e metodologia dichiarata

Ai2 descrive tre insiemi di test in simulazione, ciascuno composto da 200 episodi: Easy misura l’impilamento, Medium aggiunge il riorientamento dei blocchi e Hard include ricerca, riorientamento e impilamento. Ogni livello distingue blocchi già presenti nell’addestramento, ma disposti in configurazioni nuove, e blocchi esclusi dall’addestramento.

I risultati dipendono anche dal componente di basso livello. Nei compiti Easy con blocchi visti, il sistema raggiunge il 97,5% con un pianificatore di movimento e il 55,5% con ManiFlow-tb. Con blocchi non visti, le percentuali dichiarate sono rispettivamente 81,0% e 44,5%. Queste cifre descrivono il sistema gerarchico completo, non il pianificatore Molmo2-4B-tb isolato.

Nei compiti Hard, la percentuale dichiarata con il pianificatore di movimento scende al 31,5% per i blocchi visti e al 14,5% per quelli non visti. Con ManiFlow-tb, i risultati sono 17,0% e 10,0%. Per un robot reale, Ai2 riporta 6 successi in 10 prove con ManiFlow come componente di basso livello: il campione è piccolo e non permette di attribuire il risultato al solo pianificatore.

Successo dichiarato in simulazione (%)

Risultati riportati da Ai2 nella scheda del modello. Ogni insieme di test comprende 200 episodi.

DifficoltàPianificatore di movimento, blocchi vistiPianificatore di movimento, blocchi non vistiManiFlow, blocchi vistiManiFlow, blocchi non visti
Easy97,581,055,544,5
Medium53,536,535,512,5
Hard31,514,517,010,0
04

Prezzo e requisiti di deployment

La scheda del checkpoint indica la licenza Apache 2.0 per il modello. La licenza dei pesi non determina da sola i diritti d’uso dei dati: Molmo2-4B, il modello base, è stato addestrato anche con dataset di terze parti che possono prevedere limitazioni accademiche o non commerciali. La scheda raccomanda di esaminare le condizioni applicabili al caso d’uso.

Ai2 non pubblica una tariffa ufficiale per un’API commerciale di Molmo2-4B-tb. Il checkpoint è scaricabile da Hugging Face; un eventuale servizio di inferenza di terze parti può avere disponibilità, prezzi e condizioni propri. La scheda stima circa 20 GB di memoria GPU per l’inferenza in bfloat16. Il file dei pesi usa il formato nativo Molmo2, non quello standard di Transformers; per l’inferenza è indicato il codice del repository ToyBlocks.

La scheda elenca dipendenze software come PyTorch, torchvision, omegaconf, tokenizers, sentencepiece, einops, huggingface_hub e accelerate. Ai2 dichiara che l’addestramento è stato eseguito su un nodo con 8 GPU NVIDIA H100 da 80 GB, per circa 8 ore. La stima d’impatto ambientale della scheda è di circa 61 kg di CO₂ equivalente per esecuzione; è una stima dichiarata, legata alle ipotesi energetiche riportate dal fornitore, non una misura indipendente.

Passaggi per il deployment locale

Il deployment richiede il checkpoint, il codice ToyBlocks e un ambiente compatibile con le dipendenze del modello.

  1. 01Scaricare il checkpoint: hf download allenai/Molmo2-4B-tb --local-dir Molmo2-4B-tb
  2. 02Clonare il repository ToyBlocks e configurare un ambiente virtuale con Python 3.11, come nel percorso di installazione documentato dal repository.
  3. 03Installare le dipendenze necessarie per ToyBlocks e Isaac Sim seguendo le istruzioni del repository; l’elenco può variare con la configurazione GPU e CUDA.
  4. 04Usare il codice di inferenza ToyBlocks specificando il percorso dei pesi e l’immagine in ingresso.
  5. 05Verificare la disponibilità di circa 20 GB di memoria GPU per l’inferenza in bfloat16 e controllare la compatibilità dell’hardware e del software prima di eseguire il modello.
05

Limiti, sicurezza e alternative

La scheda del modello afferma che non sono stati adattati benchmark di sicurezza alle attività ToyBlocks. L’assenza di benchmark non dimostra che il sistema sia sicuro: il modello è circoscritto allo spostamento di blocchi su un tavolo e la scheda esclude gli altri usi dal proprio ambito. Non è quindi una base validata per controllare sistemi critici o prendere decisioni su persone.

Un limite pratico è la dipendenza dal componente che esegue le azioni. Nei test pubblicati, l’uso di un pianificatore di movimento e quello di ManiFlow producono risultati diversi. Le percentuali non isolano il contributo del pianificatore di alto livello: riflettono anche la capacità dell’esecutore di interpretare il punto e completare il movimento.

Per attività generali di visione-linguaggio, Molmo2-4B è un’alternativa più vicina al modello base, ma non è per questo un pianificatore robotico sostitutivo. Per altre attività di manipolazione, un team può valutare un framework di simulazione o una policy addestrata sul compito specifico; il trasferimento a oggetti, robot e ambienti diversi richiede test dedicati e non deriva automaticamente dai risultati ToyBlocks.

06

Criteri pratici per scegliere

Molmo2-4B-tb può essere pertinente per gruppi di ricerca che studiano l’impilamento di blocchi in ambienti controllati e vogliono provare un pianificatore di alto livello collegato a un esecutore distinto. Non è un modello generale per robotica: la sua configurazione, i compiti e i risultati descritti riguardano ToyBlocks.

ToyBlocks offre strumenti per generare dimostrazioni e valutare policy in simulazione a ciclo chiuso. Questo permette di confrontare condizioni di addestramento e test e di analizzare dove un sistema fallisce. La possibilità di ripetere la valutazione in simulazione è utile per la ricerca, ma non dimostra da sola che il comportamento si trasferisca a un robot reale.

Il modello è meno adatto quando il progetto richiede generalizzazione a oggetti, robot o compiti diversi, garanzie di sicurezza oppure un servizio API ufficiale con condizioni commerciali definite. In questi casi, conviene partire dai requisiti concreti, valutare separatamente pianificatore ed esecutore e raccogliere risultati su scenari rappresentativi prima di scegliere un’architettura.

Quando valutare Molmo2-4B-tb

Criteri di orientamento; l’idoneità finale dipende dai test e dai vincoli del progetto.

CriterioPuò essere adattoLimite da considerare
Impilamento di blocchi su un tavoloSì, come sistema sperimentale in ToyBlocksI risultati non si estendono automaticamente ad altri compiti
Tracciabilità tra dati e comportamentoToyBlocks offre strumenti per generare dati e valutare policyLa tracciabilità non garantisce prestazioni o riproducibilità
Uso commercialeLa licenza del checkpoint è indicata come Apache 2.0Verificare separatamente le condizioni dei dataset del modello base
Generalizzazione ad altri robotDa valutare con ulteriori dati e proveNon è dimostrata dai benchmark ToyBlocks
Deployment in bfloat16La scheda stima circa 20 GB di memoria GPUIl fabbisogno dipende dalla configurazione e non include i costi operativi
07

Come interpretare i risultati

Le metriche pubblicate sono tassi di successo su compiti definiti, non misure universali della qualità della robotica. La differenza tra blocchi visti e non visti indica che il risultato può cambiare quando il sistema incontra elementi esclusi dall’addestramento; il calo nei livelli Medium e Hard segnala inoltre che la maggiore complessità resta impegnativa.

Le prove sul robot reale, con 6 successi su 10, costituiscono un risultato distinto dalla simulazione. Il numero limitato di prove rende la stima incerta e non consente di stabilire come varierebbe la percentuale con altri robot, oggetti, condizioni o esecutori. Ai2 non presenta questo risultato come una misura del pianificatore isolato.

Per un confronto interno, un team dovrebbe mantenere costanti gli obiettivi e gli esecutori quando cambia il pianificatore, includere configurazioni e blocchi non usati nell’addestramento e registrare gli errori di selezione del punto, scelta dell’azione ed esecuzione. Questi controlli aiutano a capire quale componente contribuisce al fallimento; non trasformano una valutazione limitata in una garanzia di affidabilità.

08

Sintesi per la scelta

Molmo2-4B-tb è un checkpoint specializzato che collega una descrizione dell’obiettivo e una vista della scena a un passo discreto e a un punto d’azione. La sua utilità riguarda soprattutto la sperimentazione sull’impilamento di blocchi in ToyBlocks, con un esecutore di basso livello scelto separatamente.

I risultati dichiarati mostrano prestazioni migliori nei compiti più semplici e con blocchi già rappresentati nell’addestramento; il sistema completo varia sensibilmente al cambiare dell’esecutore e la prova reale pubblicata comprende solo 10 tentativi. Il checkpoint è indicato come Apache 2.0 e richiede, secondo la scheda, circa 20 GB di memoria GPU in bfloat16, mentre i dataset del modello base possono avere condizioni differenti.

La decisione dipende quindi da tre verifiche: corrispondenza tra il compito e l’ambito ToyBlocks, capacità dell’esecutore di basso livello e compatibilità delle licenze e dell’infrastruttura con il progetto. Per applicazioni diverse o con conseguenze rilevanti, il modello richiede valutazioni specifiche e supervisione adeguata; i risultati pubblicati non sostituiscono tali verifiche.

09

Continua a esplorare

Fonti consultate

03

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.

Proponi una correzione