Qué hace el modelo exacto
Molmo2-4B-tb es un planificador de alto nivel diseñado específicamente para el framework de simulación ToyBlocks, desarrollado por el Allen Institute for AI (Ai2). Su función es interpretar un objetivo textual de apilación de bloques y una imagen de la cámara frontal del robot para determinar el siguiente paso de la tarea.
El modelo no controla directamente los actuadores del robot. En su lugar, genera un plan breve, nombra la acción a realizar (como *pick*, *place*, *flip* o *rotate*) y emite un punto objetivo en coordenadas normalizadas (0-1000) que indica dónde debe actuar el ejecutor de bajo nivel, como un planificador de movimiento o una política aprendida ManiFlow.
Este checkpoint es una versión afinada de Molmo2-4B, el modelo base de la familia de visión-lenguaje de Ai2. La afinación se realizó con 6.000 pasos de entrenamiento en episodios simulados de apilación de tres bloques, mezclando un 25% de datos de apuntado general (PixMo-Points, PixMo-Count, CoSyn-Point) para mantener las capacidades de localización espacial del modelo original.
La jerarquía separa la decisión sobre qué hacer de la ejecución física: Molmo2-4B-tb propone un paso a partir del objetivo y la imagen, mientras que otro componente recibe la acción y el punto objetivo. Por eso, el modelo no determina por sí solo cómo se mueve el brazo ni garantiza que el movimiento se complete correctamente.
El ajuste orienta el checkpoint a episodios de apilación de tres bloques dentro de ToyBlocks. La inclusión de datos de apuntado general busca conservar capacidades de localización espacial, pero no demuestra que el modelo generalice a objetos, robots o tareas distintos de los descritos.
Capacidades y ejemplos por tarea
La entrada del modelo consiste en una imagen de 640x360 píxeles de la cámara frontal y una cadena de texto que describe el objetivo de la torre, por ejemplo: "stack A 4 B". El modelo procesa esta información a una tasa de aproximadamente 6 Hz, lo que permite una planificación en tiempo real para tareas de sobremesa.
El formato de salida es estructurado: primero declara el progreso actual del objetivo, luego nombra el siguiente paso y finalmente apunta al bloque o punto de la mesa donde debe ejecutarse la acción. Por ejemplo, si el objetivo es apilar el bloque A sobre el 4 y el 4 sobre el B, el modelo puede responder: "now: A not on 4, 4 on B. next: move A to 4. Do: block A <points coords='1 1 367 623'>block A</points> pick".
Las acciones discretas soportadas incluyen: *pick* (agarrar), *place* (colocar sobre un bloque o la mesa), *flip* (girar en cuatro direcciones), *rotate* (rotación horaria o antihoraria) y *done* (tarea completada). Esta discretización simplifica la interfaz con los ejecutores de bajo nivel y facilita la evaluación del rendimiento del planificador.
La frecuencia aproximada de 6 Hz describe el ritmo de procesamiento indicado para esta configuración; no equivale por sí sola a una garantía de respuesta en tiempo real de todo el robot. La ejecución completa también depende del componente de bajo nivel y de que este pueda convertir la acción y las coordenadas en un movimiento.
Las coordenadas normalizadas expresan una ubicación objetivo dentro del formato esperado por el sistema, no una orden de movimiento completa. El ejemplo muestra cómo se representa una acción de recogida, pero no establece que el punto señalado identifique siempre el bloque con precisión ni que el ejecutor consiga agarrarlo.
La lista de acciones delimita el vocabulario de decisiones que expone el planificador: permite indicar recogida, colocación, reorientación, giro o finalización. Esa interfaz discreta organiza el intercambio entre componentes, pero la ejecución material depende del planificador de movimiento o de la política aprendida que recibe la salida.
Benchmarks y metodología publicada
Ai2 evalúa el modelo en tres conjuntos de prueba de 200 episodios cada uno, clasificados por dificultad: Easy (apilación simple), Medium (reorientación de bloques y apilación) y Hard (búsqueda de bloques, reorientación y apilación). Cada conjunto se divide en bloques vistos durante el entrenamiento (en nuevas configuraciones) y bloques no vistos (held-out).
Los resultados varían significativamente según el ejecutor de bajo nivel. Con un planificador de movimiento (motion planner), el modelo alcanza un 97,5% de éxito en tareas Easy con bloques vistos, pero cae al 81,0% con bloques no vistos. Con la política aprendida ManiFlow-tb, el rendimiento es menor: 55,5% en Easy visto y 44,5% en Easy no visto.
En tareas más complejas, la brecha se amplía. En el conjunto Hard, el éxito con planificador de movimiento es del 31,5% (visto) y 14,5% (no visto), mientras que con ManiFlow-tb es del 17,0% (visto) y 10,0% (no visto). En un robot real, con ManiFlow como ejecutor, el sistema completo logró 6 éxitos en 10 ensayos (60%).
Los episodios de prueba distinguen la dificultad de la tarea y si los bloques aparecieron durante el entrenamiento; «no visto» se refiere a bloques reservados, aunque las configuraciones de los bloques vistos también sean nuevas. Esta separación permite observar diferencias de rendimiento dentro de la evaluación publicada, pero no mide una capacidad general de transferencia a cualquier objeto o entorno.
Las tasas de éxito corresponden al sistema evaluado con cada ejecutor, no a una medida aislada del planificador de alto nivel. La diferencia entre el planificador de movimiento y ManiFlow-tb muestra que la elección del ejecutor cambia el resultado, y los valores más bajos en tareas Hard reflejan el desempeño en esa configuración concreta.
El resultado de seis éxitos en diez ensayos reales describe el sistema completo con ManiFlow como ejecutor. No permite atribuir los éxitos exclusivamente a Molmo2-4B-tb ni garantiza que se repita la misma tasa en otras pruebas o configuraciones.
Tasa de éxito en simulación (%)
Resultados reportados por Ai2 en la tarjeta de modelo. Cada celda corresponde a 200 episodios.
| Dificultad | Motion Planner (visto) | Motion Planner (no visto) | ManiFlow (visto) | ManiFlow (no visto) |
|---|---|---|---|---|
| Easy | 97,5 | 81,0 | 55,5 | 44,5 |
| Medium | 53,5 | 36,5 | 35,5 | 12,5 |
| Hard | 31,5 | 14,5 | 17,0 | 10,0 |
Precio y requisitos de despliegue
Molmo2-4B-tb se distribuye bajo la licencia Apache 2.0, lo que permite su uso en investigación y educación sin tarifa de licencia del modelo. No existe una API comercial oficial de Ai2 para este checkpoint; el acceso es a través de la descarga de pesos desde Hugging Face o mediante proveedores de inferencia de terceros.
El despliegue local requiere aproximadamente 20 GB de memoria de GPU en formato bfloat16. El modelo se ejecuta en el formato nativo de Molmo2, no en el formato estándar de Hugging Face Transformers, por lo que se debe utilizar el código de inferencia proporcionado en el repositorio de ToyBlocks.
Los requisitos de software incluyen PyTorch (>=2.3.1), torchvision, omegaconf, tokenizers, sentencepiece, einops, huggingface_hub y accelerate. El entrenamiento original se realizó en un nodo con 8 GPUs NVIDIA H100 80GB, consumiendo aproximadamente 8 horas de cómputo y emitiendo unos 61 kg de CO2e por ejecución.
La licencia del checkpoint y las condiciones de los datos usados para entrenar el modelo base son cuestiones distintas. Apache 2.0 se aplica al modelo distribuido, pero la advertencia sobre conjuntos de datos de terceros significa que el uso comercial requiere revisar también las licencias de esos datos, no solo la del checkpoint.
La cifra de memoria es un requisito aproximado para el despliegue local indicado y depende del formato bfloat16 y del entorno de ejecución descrito. Usar el código nativo de Molmo2 evita asumir compatibilidad directa con el formato estándar de Transformers; los paquetes enumerados forman parte del entorno necesario para ejecutar ese flujo.
El consumo energético y las emisiones citados describen una ejecución del entrenamiento original en la infraestructura indicada, no el coste de cada inferencia ni una medida universal de entrenamiento. La configuración local de inferencia y el nodo usado para entrenar corresponden a fases distintas del ciclo de vida del modelo.
Proceso de despliegue local
Pasos para ejecutar el modelo en infraestructura propia.
- 01Descargar los pesos desde Hugging Face: hf download allenai/Molmo2-4B-tb --local-dir Molmo2-4B-tb
- 02Clonar el repositorio de ToyBlocks y configurar el entorno virtual con Python 3.11
- 03Instalar las dependencias: uv pip install -e ".[dev,isaac,torch-cu128,vecgen]"
- 04Ejecutar el script de inferencia proporcionado en el repositorio, especificando la ruta a los pesos y la imagen de entrada
- 05Verificar que la GPU tenga al menos 20 GB de memoria disponible y que el formato bfloat16 esté soportado
Limitaciones, seguridad y alternativas
El modelo no ha pasado por benchmarks de seguridad específicos, ya que su alcance está limitado a la apilación de bloques en simulación y robot real. No debe usarse para controlar sistemas críticos de seguridad ni para tareas que impliquen decisiones sobre personas o entornos no controlados.
Una limitación importante es la dependencia del ejecutor de bajo nivel. El rendimiento del sistema completo varía drásticamente según si se usa un planificador de movimiento o una política aprendida. Esto significa que los benchmarks publicados no miden al planificador aislado, sino al sistema jerárquico completo.
Como alternativas, los equipos pueden considerar el modelo base Molmo2-4B para tareas de visión-lenguaje general, o desarrollar su propio planificador si necesitan mayor control sobre la lógica de decisión. Para tareas de manipulación más complejas, se pueden explorar frameworks como Isaac Sim con políticas aprendidas específicas, aunque esto requiere más esfuerzo de investigación y datos de entrenamiento.
La ausencia de benchmarks de seguridad específicos limita lo que puede concluirse sobre el comportamiento del modelo fuera de su tarea acotada. La recomendación de no emplearlo en sistemas críticos o en decisiones sobre personas refleja ese límite: su evaluación en apilación de bloques no acredita seguridad para otros usos.
La comparación entre ejecutores también condiciona cómo interpretar los benchmarks: cada tasa combina la propuesta del planificador con la capacidad del componente que ejecuta la acción. Por tanto, un resultado bajo o alto no identifica por sí solo qué componente causó un fallo o un éxito.
La licencia Apache 2.0 no elimina las condiciones que puedan aplicarse a los datos de entrenamiento del modelo base. Revisar ambas capas de licencias es especialmente relevante antes de un uso comercial; la licencia del checkpoint, por sí sola, no resuelve los derechos asociados a materiales de terceros.
Criterios prácticos de elección
Molmo2-4B-tb es adecuado para equipos de investigación en robótica que trabajan con tareas de apilación de bloques en entornos controlados y necesitan un planificador de alto nivel reproducible. No es una solución general para manipulación robótica.
Conviene usarlo cuando se requiere trazabilidad entre los datos de entrenamiento y el rendimiento del modelo, ya que ToyBlocks permite generar datos de demostración de forma escalable y evaluar las políticas en bucle cerrado en simulación. Esto facilita el diagnóstico de fallos y la mejora iterativa del sistema.
No es la opción adecuada si se necesita un modelo que generalice a otros tipos de objetos, robots o tareas. En esos casos, es preferible usar el modelo base Molmo2-4B como punto de partida para una afinación específica, o explorar otras arquitecturas de visión-lenguaje con mayor capacidad de generalización.
La trazabilidad resulta útil porque conecta los datos de demostración, la evaluación en bucle cerrado y el análisis de fallos dentro de ToyBlocks. Esa conexión facilita comparar iteraciones del sistema, aunque no convierte los resultados de simulación en una garantía de comportamiento equivalente en un robot real.
La decisión de usar este checkpoint depende de aceptar su alcance estrecho: apilación de bloques en mesa y coordinación con un ejecutor de bajo nivel. Si el proyecto exige otros objetos, robots o tareas, la necesidad de una afinación específica o de otra arquitectura refleja una brecha de generalización que los resultados descritos no resuelven.
Cuándo usar Molmo2-4B-tb
Criterios para decidir si este modelo es apropiado para su proyecto.
| Criterio | Adecuado | No adecuado |
|---|---|---|
| Tarea de apilación de bloques en mesa | Sí | No |
| Necesidad de trazabilidad de datos | Sí | No |
| Uso en producción comercial | No (revisar licencias de datos) | Sí |
| Generalización a otros robots | No | Sí |
| Infraestructura con GPU de 20 GB+ | Sí | No |
Continúa explorando
Fuentes consultadas
Correcciones y transparencia
Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.
Proponer una corrección