Lancio e disponibilità dei pesi
L'Allen Institute for AI (Ai2) ha pubblicato i pesi di Molmo2-4B-tb e ManiFlow-tb, due modelli progettati specificamente per il compito di impilare blocchi su un tavolo. La disponibilità dei file è confermata nei repository ufficiali di Hugging Face, dove i pesi sono accessibili sotto la licenza Apache 2.0. La scheda del modello indica una data di sviluppo nel novembre 2026, in linea con la data di verifica delle risorse.
Il lancio fa parte del progetto ToyBlocks, un framework di simulazione aperto basato su IsaacSim/IsaacLab. Questo ambiente consente ai ricercatori di generare dati di dimostrazione in modo scalabile senza la necessità di una teleoperazione costosa. I modelli sono distribuiti insieme al codice di addestramento e valutazione, facilitando la riproduzione dei risultati e l'adattamento a nuovi scenari di ricerca.
Architettura e funzionamento del sistema gerarchico
Il sistema opera mediante un'architettura gerarchica a due livelli. Molmo2-4B-tb agisce come il modello di alto livello, con circa 4,5 miliardi di parametri. Prende in input un'immagine della fotocamera frontale da 640x360 pixel e un obiettivo testuale, e produce un piano di azione discreto insieme a un punto obiettivo nell'immagine. Questo punto indica dove il robot deve agire.
ManiFlow-tb è il modello di basso livello, con 322,5 milioni di parametri. Riceve le immagini della fotocamera frontale e della pinza, lo stato del robot a 9 dimensioni, l'etichetta del compito e la mappa di calore obiettivo generata dal modello di alto livello. La sua uscita è un segmento di 25 azioni eseguite da un orizzonte di previsione di 50. Questa separazione consente al pianificatore di concentrarsi sulla strategia e alla politica di basso livello sull'esecuzione motoria precisa.
Confronto dei modelli ToyBlocks
| Caratteristica | Molmo2-4B-tb | ManiFlow-tb |
|---|---|---|
| Ruolo | Pianificatore di alto livello | Politica di basso livello |
| Parametri | ~4,5 miliardi | 322,5 milioni |
| Input | Immagine frontale, obiettivo testuale | Immagini, stato robot, compito, mappa obiettivo |
| Output | Piano, azione, punto obiettivo | Segmento di 25 azioni |
Risultati di valutazione in simulazione e su robot reale
Ai2 ha pubblicato metriche di successo in loop chiuso per il sistema completo. Nella simulazione di ToyBlocks, con il set di test Easy (impilamento di base) e blocchi visti durante l'addestramento, il sistema raggiunge un 97,5% di successo quando si utilizza un pianificatore di movimento come esecutore di basso livello. Quando il pianificatore viene sostituito dalla politica appresa ManiFlow-tb, il successo scende al 55,5% nello stesso set di test.
Su un robot reale, la combinazione di Molmo2-4B-tb e ManiFlow-tb ha ottenuto 6 successi su 10 tentativi. Per ManiFlow-tb valutato in isolamento con un piano di riferimento (oracolo) in simulazione, i risultati oscillano tra il 54% e il 59% di successo in 128 episodi, a seconda della variabilità della simulazione. Queste cifre riflettono le prestazioni del sistema completo o dei suoi componenti in condizioni controllate, non una garanzia di prestazioni in ambienti non strutturati.
Tassi di successo in simulazione (ToyBlocks)
Percentuale di successo in 200 episodi per set di test ed esecutore di basso livello.
| Difficoltà | Pianificatore (visti) | Pianificatore (non visti) | ManiFlow (visti) | ManiFlow (non visti) |
|---|---|---|---|---|
| Easy | 97,5% | 81,0% | 55,5% | 44,5% |
| Medium | 53,5% | 36,5% | 35,5% | 12,5% |
| Hard | 31,5% | 14,5% | 17,0% | 10,0% |
Requisiti tecnici e considerazioni di deployment
Il deployment di Molmo2-4B-tb richiede circa 20 GB di memoria GPU in precisione bfloat16. Il modello utilizza un codificatore visivo SigLIP 2 e un modello linguistico Qwen3-4B. ManiFlow-tb è memorizzato in formato safetensors con precisione bf16 e richiede l'infrastruttura di ToyBlocks per la valutazione e l'esecuzione.
È importante sottolineare che questi modelli sono limitati alla manipolazione di blocchi su un tavolo. Non emettono comandi di motore generici né sono progettati per altri tipi di robot o compiti. La licenza dei pesi è Apache 2.0, ma il modello di base Molmo2-4B è stato addestrato con dati di terze parti soggetti a restrizioni di uso accademico e non commerciale. Gli utenti devono rivedere queste condizioni prima di applicare il modello a casi d'uso specifici.
Implicazioni per la ricerca in robotica
La pubblicazione di ToyBlocks e dei suoi modelli offre alla comunità uno strumento controllato per l'apprendimento dei robot. Consentendo il controllo totale sulla generazione dei dati, i ricercatori possono tracciare i risultati delle politiche addestrate fino ai dati di addestramento. Questo facilita l'analisi dei guasti e il miglioramento iterativo dei sistemi.
L'approccio di generare dati sintetici su scala riduce la dipendenza dalla teleoperazione, che è costosa e lenta. La capacità di variare le esperienze di addestramento, come aumentare le dimostrazioni di spinta o capovolgimento, consente di valutare la generalizzazione delle politiche in compiti non visti. Questo framework è particolarmente utile per studiare l'interazione tra pianificazione di alto livello ed esecuzione di basso livello in ambienti di manipolazione.
Flusso di lavoro di ToyBlocks
Processo tipico per generare dati e valutare politiche in ToyBlocks.
- 01Installare le dipendenze e aggiornare i sottomoduli.
- 02Scaricare gli asset e configurare l'ambiente di simulazione.
- 03Generare dati di dimostrazione usando il pipeline di generazione dati.
- 04Addestrare la politica di basso livello (ManiFlow) con i dati generati.
- 05Valutare la politica in loop chiuso in simulazione o su robot reale.
Continua a esplorare
Fonti consultate
Correzioni e trasparenza
Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.
Proponi una correzione