Cosmos3-Nano-Sim-Bimanual: análise técnica, limites e critérios de implantação

Identidade e propósito do modelo

O Cosmos3-Nano-Sim-Bimanual é uma variante pós-treinada e destilada causalmente do modelo base Cosmos3-Nano, desenvolvido pela NVIDIA. Sua função específica é simular a evolução de um ambiente em resposta às ações de um robô bimanual e a trajetórias de câmera. Diferente de um modelo de política de controle que prevê ações, este modelo gera vídeo a partir de ações dadas, atuando como um simulador visual de dinâmica para frente.

O modelo foi publicado em 20 de outubro de 2026 sob a licença OpenMDW 1.1. Ele foi projetado para permitir a avaliação de políticas robóticas, o treinamento de aprendizado por reforço e a geração de dados sintéticos de demonstração sem a necessidade de teleoperação, desde que as entradas de controle sejam fornecidas por outro modelo ou por um operador humano.

A direção da previsão define a função do componente. O simulador recebe ações já escolhidas e gera uma possível evolução visual; um modelo de política é que escolheria as ações. Quando o vídeo é usado para avaliar uma política, essa escolha continua pertencendo a outra parte do sistema. A distinção permite organizar o experimento sem tratar o simulador como um controlador nem interpretar a sequência gerada como uma ordem fisicamente validada para o robô.

Arquitetura e especificações técnicas

O modelo possui 16 bilhões de parâmetros e utiliza uma arquitetura Transformer com Mixture-of-Transformers (MoT). Ele opera por meio da geração de vídeo em pequenos blocos de quadros latentes, condicionados no histórico em cache e nas entradas de controle recebidas. Isso permite manter a continuidade da cena através de mudanças na postura da câmera e no estado dos braços ou pinças do robô.

As entradas suportadas incluem uma imagem inicial (JPG, PNG, JPEG, WebP), sequências de ações do robô em formato JSON, trajetórias de câmera e texto opcional para descrever a cena. A saída é exclusivamente vídeo em formato MP4 ou quadros em streaming, com uma resolução de 480p e uma taxa de quadros de reprodução de 30 fps. É crucial distinguir entre a taxa de reprodução (30 fps) e o desempenho de inferência (quadros gerados por segundo), que varia conforme o hardware.

A taxa de reprodução do vídeo e a velocidade de inferência têm significados diferentes. Um arquivo pode ser reproduzido na frequência indicada mesmo quando sua geração leva mais tempo na máquina utilizada. Para um fluxo interativo, é necessário observar a produção efetiva de quadros e as demais etapas da aplicação. A referência de desempenho publicada descreve a configuração ensaiada; não garante o mesmo resultado para qualquer hardware, carga ou preparação das entradas.

Benchmarks e metodologia de avaliação

A NVIDIA publica resultados em três categorias principais: navegação de câmera (PAI-Bench-G e Sana-WM) e manipulação robótica (AgiBot-World e AgiBot-GEAR). Na navegação, o modelo é avaliado por meio do alinhamento de Umeyama para comparar trajetórias estimadas com as de entrada, medindo erros de translação absoluta (ATE) e relativa (RTE/RRE). Na manipulação, são utilizadas métricas de fidelidade de vídeo (PSNR, SSIM, LPIPS) e deriva perceptual.

Os resultados são fornecidos pela empresa e não foram reproduzidos de forma independente. Os benchmarks de navegação não comprovam a capacidade de realizar manipulações físicas com precisão, e vice-versa. Não se deve calcular a média de uma pontuação de qualidade de vídeo com uma de erro de trajetória, pois elas medem dimensões distintas do desempenho.

As métricas de navegação e de manipulação não devem ser reduzidas a uma única interpretação de qualidade. A semelhança entre imagens responde a uma pergunta diferente do erro de trajetória, e nenhuma dessas medições certifica sozinha a segurança física. A comparação deve preservar o conjunto de dados, a referência e a direção de melhoria de cada medida. Um resultado favorável no teste apresentado não estabelece uma vantagem em toda tarefa robótica ou em outra morfologia.

Requisitos de implantação e custo

O modelo é otimizado para execução em sistemas acelerados por GPU da NVIDIA, especificamente em microarquiteturas Blackwell e Hopper. A documentação oficial recomenda hardware de data center ou estações de trabalho de alto desempenho, como RTX PRO 6000, H100, H200 ou B200. O motor de inferência suportado é o vLLM-Omni, que permite servir o modelo por meio de um contêiner Docker.

Não há uma tarifa comercial de API por token publicada para esta variante específica. O principal custo é a infraestrutura própria: GPU, memória, armazenamento e operação. Os pesos podem ser baixados, mas isso não significa que a inferência seja gratuita; é necessário considerar o consumo de energia e o tempo de computação. A taxa de inferência varia significativamente: de 10,7 fps em H20 a 54,1 fps em GB200.

Os pesos disponíveis não eliminam o custo de executar o modelo. O planejamento deve considerar os recursos de GPU, a configuração e o tempo efetivo do experimento, além do trabalho de integração e operação. Um throughput observado em uma configuração não pode ser convertido automaticamente em uma previsão universal de latência. Também é preciso distinguir a infraestrutura própria das condições de um eventual serviço de terceiros, sem deduzir uma tarifa oficial de API a partir da simples disponibilidade do checkpoint.

Limitações, segurança e critérios de escolha

O modelo não é um simulador de física. A geometria, a permanência de objetos, o contato e as leis físicas são apenas aproximados. Ele pode gerar inconsistências temporais, movimento instável e imprecisões em interações físicas. Portanto, não deve ser usado para tomar decisões de segurança crítica nem para certificar a segurança de um robô no mundo real sem validação independente exaustiva.

A licença OpenMDW 1.1 permite o uso comercial e não comercial, mas os usuários são responsáveis pelos direitos das entradas e pela integração segura. Recomenda-se usar o modelo para gerar dados sintéticos ou avaliar políticas em ambientes controlados, mantendo sempre uma supervisão humana e limites de segurança independentes do vídeo gerado. A capacidade de representar um movimento em vídeo não garante que o robô físico possa executá-lo sem colisões ou danos.

A aparência coerente de uma sequência não constitui prova de que o modelo reproduza as leis físicas. A representação de objetos, contatos e movimentos pode desviar do comportamento real, mesmo quando os quadros parecem contínuos. Essa diferença é especialmente importante ao interpretar uma simulação visual: o modelo gera uma previsão em vídeo condicionada pelas entradas, não uma certificação do estado físico futuro nem uma verificação determinística de colisões.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.