O que o modelo específico faz
O Molmo2-4B-tb é um planejador de alto nível desenvolvido para o framework de simulação ToyBlocks, do Allen Institute for AI (Ai2). Ele interpreta uma meta textual de empilhamento de blocos e uma imagem da câmera frontal do robô para escolher o próximo passo da tarefa.
O modelo não controla diretamente os atuadores do robô. Ele produz um plano curto, indica uma ação — como *pick*, *place*, *flip* ou *rotate* — e aponta um alvo em coordenadas normalizadas de 0 a 1.000. Um componente de baixo nível, como um planejador de movimento ou a política aprendida ManiFlow-tb, executa a ação.
Esse checkpoint é uma versão ajustada do Molmo2-4B, modelo de visão e linguagem da Ai2. A ficha do modelo descreve o ajuste como um treinamento de 6.000 etapas com episódios simulados de empilhamento de três blocos. A mistura também incluiu 25% de dados gerais de apontamento — PixMo-Points, PixMo-Count e CoSyn-Point — para preservar capacidades de localização visual.
Capacidades e exemplo de uso
A entrada descrita na ficha do modelo é uma imagem frontal de 640 × 360 pixels e uma meta em texto, como “stack A 4 B”. A ficha estima que o modelo opere a cerca de 6 Hz. Essa taxa se refere ao modelo e não garante, por si só, que o sistema robótico completo responda nessa velocidade: o tempo de execução também depende do processamento da imagem, da política de baixo nível e do hardware.
A resposta segue uma estrutura: informa o estado atual da meta, escolhe o próximo passo e aponta para o bloco ou local onde a ação deve ocorrer. Por exemplo, diante de uma torre que precisa colocar A sobre 4 e 4 sobre B, uma saída pode indicar que A ainda não está sobre 4, recomendar mover A para 4 e selecionar o bloco A como alvo.
As ações discretas listadas são *pick* (pegar), *place* (colocar sobre outro bloco ou na mesa), *flip* (virar em quatro direções), *rotate* (girar no sentido horário ou anti-horário) e *done* (concluir). Essa interface dá ao componente de baixo nível uma ação e um alvo, mas não substitui a execução física nem demonstra que o movimento será concluído corretamente.
Benchmarks e método de avaliação divulgado
A Ai2 descreve três conjuntos de teste com 200 episódios cada. O conjunto Easy testa empilhamento; o Medium acrescenta reorientação dos blocos; e o Hard inclui busca, reorientação e empilhamento. Cada conjunto avalia blocos usados no treinamento, mas em novas configurações, e blocos reservados que não apareceram no treinamento.
Os resultados dependem do componente de baixo nível. Com um planejador de movimento, a taxa de sucesso divulgada para tarefas Easy com blocos vistos no treinamento é de 97,5%; para blocos não vistos, cai para 81,0%. Com a política aprendida ManiFlow-tb, os resultados correspondentes são 55,5% e 44,5%. Portanto, esses números avaliam sistemas compostos, não o planejador de alto nível isoladamente.
A diferença também aparece nas tarefas mais difíceis. No conjunto Hard, o planejador de movimento obtém 31,5% com blocos vistos e 14,5% com blocos não vistos; com ManiFlow-tb, os valores são 17,0% e 10,0%. Em um robô real, o sistema com ManiFlow-tb concluiu 6 de 10 tentativas, segundo a Ai2. Essa amostra pequena descreve os ensaios relatados, não estabelece uma taxa de sucesso geral para outros robôs, ambientes ou execuções.
Taxa de sucesso divulgada em simulação (%)
Resultados da ficha do modelo da Ai2. Cada conjunto de avaliação contém 200 episódios.
| Dificuldade | Planejador de movimento (vistos) | Planejador de movimento (não vistos) | ManiFlow-tb (vistos) | ManiFlow-tb (não vistos) |
|---|---|---|---|---|
| Easy | 97,5 | 81,0 | 55,5 | 44,5 |
| Medium | 53,5 | 36,5 | 35,5 | 12,5 |
| Hard | 31,5 | 14,5 | 17,0 | 10,0 |
Preço e requisitos de implantação
O checkpoint é disponibilizado sob a licença Apache 2.0, sem tarifa de licença para baixar os pesos. Isso não significa que uma implantação seja gratuita: armazenamento, GPUs, memória, energia, desenvolvimento e operação têm custos. A ficha não apresenta uma tarifa oficial de API da Ai2 para esta variante. A existência de um serviço de terceiros compatível com o checkpoint específico não deve ser presumida apenas porque um provedor oferece o Molmo2-4B base.
A ficha estima cerca de 20 GB de memória de GPU em bfloat16. O arquivo de pesos usa o formato nativo do Molmo2, não o formato padrão do Transformers, e as instruções de inferência e avaliação estão no repositório ToyBlocks. A memória necessária pode variar com a configuração; a estimativa publicada não é uma garantia para todo ambiente.
A lista de dependências inclui PyTorch 2.3.1 ou posterior, torchvision, omegaconf, tokenizers, sentencepiece, einops, huggingface_hub e accelerate. A ficha informa que o treinamento foi feito em um nó com oito GPUs NVIDIA H100 de 80 GB por cerca de oito horas. A estimativa publicada para a execução é de aproximadamente 61 kg de CO₂e. Esse valor é uma estimativa do consumo do treinamento descrito, não do custo ambiental de cada inferência nem de toda implantação.
Etapas para implantação local
O fluxo abaixo resume a instalação indicada para obter os pesos e usar o código do ToyBlocks.
- 01Baixar os pesos: hf download allenai/Molmo2-4B-tb --local-dir Molmo2-4B-tb
- 02Clonar o repositório ToyBlocks e preparar um ambiente virtual com Python 3.11.
- 03Instalar as dependências documentadas pelo repositório: uv pip install -e ".[dev,isaac,torch-cu128,vecgen]".
- 04Usar os scripts do ToyBlocks para carregar o checkpoint e fornecer a imagem e a meta textual necessárias.
- 05Confirmar a disponibilidade de memória de GPU e o suporte a bfloat16 no ambiente escolhido; a ficha estima cerca de 20 GB de memória de GPU para esse formato.
Limitações, segurança e alternativas
A ficha afirma que não foram adaptados benchmarks de segurança para o ToyBlocks, pois o escopo do modelo é movimentar blocos sobre uma mesa. Isso não equivale a uma validação de segurança. O modelo não deve ser tratado como controlador de segurança nem ser aplicado a outros robôs ou ambientes sem avaliação específica.
Uma limitação central é a dependência do componente de baixo nível. A diferença entre os resultados com o planejador de movimento e com ManiFlow-tb mostra que o desempenho depende do sistema completo. Os resultados publicados não permitem atribuir ao planejador de alto nível, isoladamente, a taxa de sucesso obtida na simulação ou no robô real.
Quem precisa de uma capacidade geral de visão e linguagem pode avaliar o Molmo2-4B base, mas ele não é a mesma variante ajustada para o ToyBlocks. Para tarefas de manipulação diferentes, uma equipe pode desenvolver ou ajustar um planejador próprio em um ambiente como o Isaac Sim. Essa alternativa exige dados, engenharia e avaliação adequados à tarefa; a disponibilidade de uma plataforma não garante generalização ou desempenho.
Critérios práticos para decidir
O Molmo2-4B-tb pode ser uma opção para equipes de pesquisa em robótica que trabalham com empilhamento de blocos em ambientes controlados e querem testar um planejador de alto nível integrado ao ToyBlocks. Seu escopo divulgado é bem mais estreito que o de um sistema geral de manipulação.
O ToyBlocks permite gerar demonstrações e avaliar políticas em simulação com controle sobre os dados e as tarefas. Esse fluxo pode ajudar equipes a examinar relações entre os exemplos de treinamento e o desempenho medido. A capacidade de rastrear essas relações depende dos registros e procedimentos adotados; não garante que uma política treinada será reproduzível ou bem-sucedida em outras condições.
O checkpoint não é a escolha direta para quem precisa generalizar a objetos, robôs ou tarefas não contemplados pela avaliação divulgada. Nesse caso, a equipe deve definir uma tarefa representativa, verificar os termos de licença e medir o sistema completo com o robô e o executor que pretende usar. Comparar apenas o planejador de alto nível com resultados de um sistema diferente pode levar a uma conclusão enganosa.
Quando considerar o Molmo2-4B-tb
Critérios para comparar o escopo do checkpoint com as necessidades do projeto.
| Critério | Compatibilidade com o escopo divulgado | O que ainda precisa ser avaliado |
|---|---|---|
| Empilhamento de blocos sobre uma mesa | Alta | Robô, executor, objetos e configurações reais de uso |
| Rastreabilidade de dados de treinamento | O ToyBlocks oferece ferramentas para gerar e avaliar dados | Registros usados e relação com os dados efetivamente treinados |
| Uso comercial | A licença do checkpoint é Apache 2.0 | Termos dos dados de terceiros e de cada componente do sistema |
| Generalização para outros robôs | Não demonstrada pelos resultados apresentados | Avaliação específica no robô e na tarefa pretendidos |
| Implantação local | Possível com o formato e o código documentados | Memória, hardware, software e custos de operação |
Conclusão
O Molmo2-4B-tb é um planejador de alto nível especializado em empilhamento de blocos, não um controlador robótico geral. A saída organiza uma meta em uma ação e um ponto-alvo que um componente de baixo nível deve executar. Essa divisão pode ser útil para pesquisa em ambientes controlados, desde que a equipe avalie o sistema completo.
Os números divulgados pela Ai2 mostram que a taxa de sucesso varia com a dificuldade, com a familiaridade dos blocos e com o executor. Os resultados em simulação não devem ser interpretados como uma garantia de desempenho físico, e os 6 sucessos em 10 tentativas no robô real constituem apenas o resultado relatado para aqueles ensaios.
Antes de adotar o checkpoint, compare os resultados com a tarefa, o robô e o executor que serão usados; confirme os requisitos de GPU e os termos de licença dos dados e componentes. Para aplicações fora do cenário de blocos sobre uma mesa, a generalização permanece sem demonstração nos resultados descritos.
Continue a explorar
Fontes consultadas
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção