Ai2 publica Molmo2-4B-tb e ManiFlow-tb para empilhamento de blocos em simulação e robô real
Imagem gerada pela Equipa Editorial da Inferama
01

Lançamento e disponibilidade dos pesos

O Allen Institute for AI (Ai2) publicou os pesos de Molmo2-4B-tb e ManiFlow-tb, dois modelos projetados especificamente para a tarefa de empilhar blocos sobre uma mesa. A disponibilidade dos arquivos é confirmada nos repositórios oficiais do Hugging Face, onde os pesos estão acessíveis sob a licença Apache 2.0. A ficha do modelo indica uma data de desenvolvimento em novembro de 2026.

O lançamento faz parte do projeto ToyBlocks, um framework de simulação aberto baseado em IsaacSim/IsaacLab. Este ambiente permite que pesquisadores gerem dados de demonstração de forma escalável sem a necessidade de teleoperação custosa. Os modelos são distribuídos junto com o código de treinamento e avaliação, facilitando a reprodução dos resultados e a adaptação a novos cenários de pesquisa.

02

Arquitetura e funcionamento do sistema hierárquico

O sistema opera por meio de uma arquitetura hierárquica de dois níveis. Molmo2-4B-tb atua como o modelo de alto nível, com aproximadamente 4,5 bilhões de parâmetros. Ele recebe como entrada uma imagem da câmera frontal de 640x360 pixels e um objetivo textual, e produz um plano de ação discreto junto com um ponto objetivo na imagem. Este ponto indica onde o robô deve agir.

ManiFlow-tb é o modelo de baixo nível, com 322,5 milhões de parâmetros. Ele recebe as imagens da câmera frontal e da pinça, o estado do robô de 9 dimensões, o rótulo da tarefa e o mapa de calor objetivo gerado pelo modelo de alto nível. Sua saída é um segmento de 25 ações executadas de um horizonte de previsão de 50. Essa separação permite que o planejador se concentre na estratégia e a política de baixo nível na execução motora precisa.

Comparativo dos modelos ToyBlocks

CaracterísticaMolmo2-4B-tbManiFlow-tb
PapelPlanejador de alto nívelPolítica de baixo nível
Parâmetros~4,5 bilhões322,5 milhões
EntradasImagem frontal, objetivo textualImagens, estado do robô, tarefa, mapa objetivo
SaídaPlano, ação, ponto objetivoSegmento de 25 ações
03

Resultados de avaliação em simulação e robô real

A Ai2 publicou métricas de sucesso em laço fechado para o sistema completo. Na simulação do ToyBlocks, com o conjunto de testes Easy (empilhamento básico) e blocos vistos no treinamento, o sistema atinge 97,5% de sucesso quando se utiliza um planejador de movimento como executor de baixo nível. Quando o planejador é substituído pela política aprendida ManiFlow-tb, o sucesso cai para 55,5% no mesmo conjunto de testes.

Em um robô real, a combinação de Molmo2-4B-tb e ManiFlow-tb obteve 6 sucessos em 10 tentativas. Para ManiFlow-tb avaliado isoladamente com um plano de referência (oráculo) em simulação, os resultados variam entre 54% e 59% de sucesso em 128 episódios, dependendo da variabilidade da simulação. Essas cifras refletem o desempenho do sistema completo ou de seus componentes em condições controladas, não uma garantia de desempenho em ambientes não estruturados.

Taxas de sucesso em simulação (ToyBlocks)

Porcentagem de sucesso em 200 episódios por conjunto de testes e executor de baixo nível.

DificuldadePlanejador (vistos)Planejador (não vistos)ManiFlow (vistos)ManiFlow (não vistos)
Easy97,5%81,0%55,5%44,5%
Medium53,5%36,5%35,5%12,5%
Hard31,5%14,5%17,0%10,0%
04

Requisitos técnicos e considerações de implantação

A implantação do Molmo2-4B-tb requer aproximadamente 20 GB de memória de GPU em precisão bfloat16. O modelo utiliza um codificador de visão SigLIP 2 e um modelo de linguagem Qwen3-4B. ManiFlow-tb é armazenado em formato safetensors com precisão bf16 e requer a infraestrutura do ToyBlocks para sua avaliação e execução.

É importante destacar que esses modelos estão limitados à manipulação de blocos sobre uma mesa. Eles não emitem comandos de motor genéricos nem são projetados para outros tipos de robôs ou tarefas. A licença dos pesos é Apache 2.0, mas o modelo base Molmo2-4B foi treinado com dados de terceiros sujeitos a restrições de uso acadêmico e não comercial. Os usuários devem revisar essas condições antes de aplicar o modelo a casos de uso específicos.

05

Implicações para a pesquisa em robótica

A publicação do ToyBlocks e seus modelos oferece à comunidade uma ferramenta controlada para o aprendizado de robôs. Ao permitir o controle total sobre a geração de dados, os pesquisadores podem rastrear os resultados das políticas treinadas até os dados de treinamento. Isso facilita a análise de falhas e a melhoria iterativa dos sistemas.

A abordagem de gerar dados sintéticos em escala reduz a dependência da teleoperação, que é custosa e lenta. A capacidade de variar as experiências de treinamento, como aumentar as demonstrações de empurrão ou virada, permite avaliar a generalização das políticas em tarefas não vistas. Este framework é particularmente útil para estudar a interação entre planejamento de alto nível e execução de baixo nível em ambientes de manipulação.

Fluxo de trabalho do ToyBlocks

Processo típico para gerar dados e avaliar políticas no ToyBlocks.

  1. 01Instalar dependências e atualizar submódulos.
  2. 02Baixar ativos e configurar o ambiente de simulação.
  3. 03Gerar dados de demonstração usando o pipeline de geração de dados.
  4. 04Treinar a política de baixo nível (ManiFlow) com os dados gerados.
  5. 05Avaliar a política em laço fechado em simulação ou robô real.
06

Continue a explorar

Fontes consultadas

03

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.

Propor uma correção