O que foi lançado e quando
A NVIDIA confirmou a disponibilidade pública de cinco modelos específicos da família Cosmos3-Nano. A data de publicação estabelecida nas fichas oficiais é 20 de outubro de 2026. Estes modelos não são uma única ferramenta, mas um conjunto de checkpoints especializados que compartilham uma base arquitetural de 16 bilhões de parâmetros.
O lançamento inclui variantes para simulação de direção, transferência de controles visuais, manipulação bimanual e robótica cirúrgica. Todos os pesos estão hospedados no repositório oficial da NVIDIA no Hugging Face, com o código de suporte disponível no GitHub. Esta disponibilidade imediata permite que equipes de pesquisa e desenvolvimento comecem a integração sem esperar por uma API comercial.
Variantes, modalidades e acesso
Cada variante é projetada para um caso de uso específico. Cosmos3-Nano-Transfer-Auto e Cosmos3-Nano-Sim-Auto focam na geração de cenas de direção, diferenciando-se por sua arquitetura bidirecional ou causal, respectivamente. Cosmos3-Nano-Sim-Transfer converte controles de simulação em vídeo RGB, enquanto Cosmos3-Nano-Sim-Bimanual simula a manipulação com dois braços robóticos.
A variante Cosmos3-H-Embodied-Nano destaca-se por seu foco em robótica cirúrgica, oferecendo três modos de operação: dinâmica direta, dinâmica inversa e política condicionada. O acesso é mediante download dos pesos do modelo, o que implica que o usuário deve gerenciar sua própria infraestrutura de computação. Não existe uma tarifa por API publicada; o custo recai sobre a GPU, a memória e a operação do sistema.
Resumo das variantes disponíveis
Tabela comparativa das cinco variantes lançadas pela NVIDIA.
| Modelo | Foco principal | Entradas | Saídas |
|---|---|---|---|
| Cosmos3-Nano-Transfer-Auto | Direção bidirecional | Texto, Imagem, LiDAR | Vídeo, LiDAR |
| Cosmos3-Nano-Sim-Auto | Direção causal | Texto, Imagem, LiDAR | Vídeo, LiDAR |
| Cosmos3-Nano-Sim-Transfer | Transferência de controles | Texto, Vídeo | Vídeo |
| Cosmos3-Nano-Sim-Bimanual | Manipulação bimanual | Texto, Imagem, Ações | Vídeo |
| Cosmos3-H-Embodied-Nano | Robótica cirúrgica | Texto, Imagem, Ações | Vídeo, Ações |
O que muda para o usuário
Para as equipes de engenharia, a principal implicação é a necessidade de infraestrutura própria. Tratando-se de checkpoints de 16B parâmetros, a inferência requer hardware de alto desempenho. Os usuários não podem simplesmente chamar um endpoint; devem implantar o modelo, gerenciar a codificação de vídeo e garantir a estabilidade da sequência gerada.
A distinção entre modelos causais e bidirecionais é crucial. Sim-Auto, por ser causal, permite uma simulação em laço fechado onde o modelo responde a controles em tempo real, algo que Transfer-Auto não oferece da mesma maneira. Em robótica, a variante H-Embodied-Nano permite não apenas prever o vídeo, mas também inferir as ações necessárias, o que a torna útil para o treinamento de políticas de controle.
Preço, limites e o que falta por verificar
Não há um preço por uso publicado, já que os modelos são de código aberto sob licenças específicas (NVIDIA Open Model License ou OpenMDW 1.1). O custo real é a infraestrutura: estima-se que sejam necessárias GPUs de última geração para lidar com os 16B parâmetros e a geração de vídeo a 480p ou 720p.
É importante notar que as métricas publicadas (FID, FVD, PSNR, MSE) provêm da NVIDIA e não foram reproduzidas de forma independente. Além disso, a aparência fotográfica realista não garante a consistência física nem a segurança. Os usuários devem validar a estabilidade temporal e a precisão dos controles antes de utilizar esses dados em sistemas críticos.
Implicações técnicas e licenciamento
A família Cosmos3-Nano apoia-se no framework cosmos-framework da NVIDIA. A licença varia conforme o modelo: a maioria utiliza OpenMDW 1.1, enquanto Cosmos3-H-Embodied-Nano está sob a NVIDIA Open Model License Agreement. Isso implica restrições específicas para o uso comercial e a modificação do código.
A integração requer atenção às dependências de software e à configuração dos controles de entrada. Por exemplo, na variante de direção, a sincronização entre o vídeo multivista e o LiDAR é um desafio técnico que o usuário deve resolver. A disponibilidade desses modelos marca um passo rumo à democratização da simulação de alto desempenho, mas exige uma maturidade técnica considerável por parte dos usuários.
Passos para implantar um modelo Cosmos3-Nano
Processo básico para começar a utilizar um dos modelos publicados.
- 01Clonar o repositório cosmos-framework do GitHub.
- 02Baixar os pesos do modelo específico do Hugging Face.
- 03Configurar o ambiente de execução com as dependências de GPU e CUDA.
- 04Definir os parâmetros de entrada (prompts, imagens, controles).
- 05Executar a inferência e validar a saída visual e de dados.
Questões em aberto
- Não foi verificada a existência de uma API comercial ou tarifas por tokens para esses modelos.
- A reprodutibilidade independente das métricas de desempenho (FID, PSNR, etc.) não foi realizada pela Inferama.
- O desempenho real em hardware físico ou em cenários fora da distribuição de treinamento não é garantido pelas fichas oficiais.
Continue a explorar
Fontes consultadas
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção