Lanzamiento y disponibilidad de los pesos
El Allen Institute for AI (Ai2) ha publicado los pesos de Molmo2-4B-tb y ManiFlow-tb, dos modelos diseñados específicamente para la tarea de apilar bloques sobre una mesa. La disponibilidad de los archivos se confirma en los repositorios oficiales de Hugging Face, donde los pesos están accesibles bajo la licencia Apache 2.0. La ficha del modelo indica una fecha de desarrollo en noviembre de 2026, coincidiendo con la fecha de verificación de los recursos.
El lanzamiento forma parte del proyecto ToyBlocks, un marco de simulación abierto basado en IsaacSim/IsaacLab. Este entorno permite a los investigadores generar datos de demostración de forma escalable sin necesidad de teleoperación costosa. Los modelos se distribuyen junto con el código de entrenamiento y evaluación, facilitando la reproducción de los resultados y la adaptación a nuevos escenarios de investigación.
Arquitectura y funcionamiento del sistema jerárquico
El sistema opera mediante una arquitectura jerárquica de dos niveles. Molmo2-4B-tb actúa como el modelo de alto nivel, con aproximadamente 4.500 millones de parámetros. Toma como entrada una imagen de la cámara frontal de 640x360 píxeles y un objetivo textual, y produce un plan de acción discreta junto con un punto objetivo en la imagen. Este punto indica dónde debe actuar el robot.
ManiFlow-tb es el modelo de bajo nivel, con 322,5 millones de parámetros. Recibe las imágenes de la cámara frontal y de la pinza, el estado del robot de 9 dimensiones, la etiqueta de la tarea y el mapa de calor objetivo generado por el modelo de alto nivel. Su salida es un segmento de 25 acciones ejecutadas de un horizonte de predicción de 50. Esta separación permite que el planificador se enfoque en la estrategia y la política de bajo nivel en la ejecución motora precisa.
Comparativa de los modelos ToyBlocks
| Característica | Molmo2-4B-tb | ManiFlow-tb |
|---|---|---|
| Rol | Planificador de alto nivel | Política de bajo nivel |
| Parámetros | ~4.500 millones | 322,5 millones |
| Entradas | Imagen frontal, objetivo textual | Imágenes, estado robot, tarea, mapa objetivo |
| Salida | Plan, acción, punto objetivo | Segmento de 25 acciones |
Resultados de evaluación en simulación y robot real
Ai2 ha publicado métricas de éxito en bucle cerrado para el sistema completo. En la simulación de ToyBlocks, con el conjunto de pruebas Easy (apilado básico) y bloques vistos en el entrenamiento, el sistema alcanza un 97,5 % de éxito cuando se utiliza un planificador de movimiento como ejecutor de bajo nivel. Cuando se sustituye el planificador por la política aprendida ManiFlow-tb, el éxito desciende al 55,5 % en el mismo conjunto de pruebas.
En un robot real, la combinación de Molmo2-4B-tb y ManiFlow-tb logró 6 éxitos en 10 ensayos. Para ManiFlow-tb evaluado de forma aislada con un plan de referencia (oráculo) en simulación, los resultados oscilan entre el 54 % y el 59 % de éxito en 128 episodios, dependiendo de la variabilidad de la simulación. Estas cifras reflejan el rendimiento del sistema completo o de sus componentes en condiciones controladas, no una garantía de rendimiento en entornos no estructurados.
Tasas de éxito en simulación (ToyBlocks)
Porcentaje de éxito en 200 episodios por conjunto de pruebas y ejecutor de bajo nivel.
| Dificultad | Planificador (vistos) | Planificador (no vistos) | ManiFlow (vistos) | ManiFlow (no vistos) |
|---|---|---|---|---|
| Easy | 97,5 % | 81,0 % | 55,5 % | 44,5 % |
| Medium | 53,5 % | 36,5 % | 35,5 % | 12,5 % |
| Hard | 31,5 % | 14,5 % | 17,0 % | 10,0 % |
Requisitos técnicos y consideraciones de despliegue
El despliegue de Molmo2-4B-tb requiere aproximadamente 20 GB de memoria de GPU en precisión bfloat16. El modelo utiliza un codificador de visión SigLIP 2 y un modelo de lenguaje Qwen3-4B. ManiFlow-tb se almacena en formato safetensors con precisión bf16 y requiere la infraestructura de ToyBlocks para su evaluación y ejecución.
Es importante destacar que estos modelos están limitados a la manipulación de bloques sobre una mesa. No emiten comandos de motor genéricos ni están diseñados para otros tipos de robots o tareas. La licencia de los pesos es Apache 2.0, pero el modelo base Molmo2-4B se entrenó con datos de terceros sujetos a restricciones de uso académico y no comercial. Los usuarios deben revisar estas condiciones antes de aplicar el modelo a casos de uso específicos.
Implicaciones para la investigación en robótica
La publicación de ToyBlocks y sus modelos ofrece a la comunidad una herramienta controlada para el aprendizaje de robots. Al permitir el control total sobre la generación de datos, los investigadores pueden rastrear los resultados de las políticas entrenadas hasta los datos de entrenamiento. Esto facilita el análisis de fallos y la mejora iterativa de los sistemas.
El enfoque de generar datos sintéticos a escala reduce la dependencia de la teleoperación, que es costosa y lenta. La capacidad de variar las experiencias de entrenamiento, como aumentar las demostraciones de empuje o volteo, permite evaluar la generalización de las políticas en tareas no vistas. Este marco es particularmente útil para estudiar la interacción entre planificación de alto nivel y ejecución de bajo nivel en entornos de manipulación.
Flujo de trabajo de ToyBlocks
Proceso típico para generar datos y evaluar políticas en ToyBlocks.
- 01Instalar dependencias y actualizar submódulos.
- 02Descargar activos y configurar el entorno de simulación.
- 03Generar datos de demostración usando el pipeline de generación de datos.
- 04Entrenar la política de bajo nivel (ManiFlow) con los datos generados.
- 05Evaluar la política en bucle cerrado en simulación o robot real.
Continúa explorando
Fuentes consultadas
Correcciones y transparencia
Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.
Proponer una corrección