Nemotron 3.5 Embed 8B BF16: recursos, benchmarks e limites de implantação

O que o Nemotron 3.5 Embed 8B BF16 faz

O Nemotron-3.5-Embed-8B-BF16 é um modelo de embeddings da NVIDIA voltado à recuperação de documentos a partir de consultas. Ele não gera respostas conversacionais: transforma consultas textuais e documentos de texto, imagens ou uma combinação de ambos em vetores que um sistema de busca pode comparar. O fluxo habitual consiste em indexar os documentos, armazenar seus vetores junto ao conteúdo original e calcular o vetor de cada consulta para localizar itens relevantes.

O checkpoint não gera texto conversacional: transforma consultas textuais e documentos de texto, imagem ou ambos em vetores para recuperação. Seus exemplos com Transformers, Sentence Transformers e vLLM produzem vetores de 4.096 dimensões, com normalização L2. A matriz do produto NeMo Retriever Embedding NIM lista 2.048 para a linha do modelo 8B; não se deve presumir que essa configuração descreva a saída nativa dos exemplos do checkpoint. Antes de criar o índice, é preciso verificar a dimensão efetiva do endpoint ou runtime utilizado.

A distinção entre checkpoint e runtime importa na prática. Em geral, uma base vetorial exige que os vetores armazenados e os das consultas tenham dimensões compatíveis. Também convém manter iguais a preparação das entradas, os prefixos de tarefa e a normalização: se esses elementos mudarem entre a indexação e a busca, a comparação direta pode deixar de ser válida.

Como processa texto e imagens

O modelo cria representações vetoriais de consultas e documentos para tarefas de recuperação semântica. Os documentos podem consistir em texto, imagens de páginas ou conteúdo combinado. Esta última opção permite representar elementos visuais de documentos — por exemplo, tabelas, gráficos e infográficos — junto com o texto que os acompanha, sem transformar o sistema em um gerador de respostas.

A ficha informa que a consulta é inserida como texto e que os documentos podem incluir texto, uma imagem ou ambos. Nos exemplos, o modelo aplica um prefixo de tarefa distinto: «query:» para consultas e «passage:» para documentos. Manter essa convenção e o mesmo runtime na indexação e na busca ajuda a evitar comparações incompatíveis.

A ficha também descreve uma torre de linguagem baseada no Nemotron-3-Embed-8B que foi mantida congelada durante o ajuste multimodal. A NVIDIA afirma que os dois modelos compartilham o espaço de embeddings de texto e produzem embeddings textuais idênticos. Essa compatibilidade se refere ao texto nas condições descritas para o checkpoint; não autoriza misturar vetores de dimensões ou configurações diferentes sem verificá-los. A integração deve manter coerentes o modelo, a preparação de consultas e documentos, a normalização e a dimensão do índice.

Segundo a ficha, o checkpoint aceita entradas de até 32.768 tokens. O processamento de imagens usa, por padrão, um limite de 1.120 pixels para o lado maior, configurável até 1.540. Os limites de comprimento e resolução descrevem capacidades de entrada, não uma garantia de que todos os documentos longos ou visualmente densos serão recuperados corretamente.

O que mostram os benchmarks publicados

A ficha da NVIDIA apresenta resultados no ViDoRe V3 e no MIRACL-VISION, dois benchmarks de recuperação visual. A métrica informada é NDCG@10. A ficha descreve o ViDoRe V3 como uma avaliação de recuperação de documentos visuais e o MIRACL-VISION como um conjunto de recuperação visual multilíngue. Esses resultados descrevem os testes indicados pela NVIDIA, não uma medição universal do desempenho em qualquer corpus.

Nos resultados publicados, o Nemotron-3.5-Embed-8B-BF16 obtém 60,39 no ViDoRe V3 para imagem, 60,65 para texto e 61,47 para imagem e texto. No MIRACL-VISION para imagem, obtém 72,64. A ficha também publica resultados do Nemotron-3.5-Embed-1B-BF16 e do Qwen3-VL-Embedding-8B. As pontuações permitem comparar esses modelos nas condições da avaliação, mas não predizem diretamente a qualidade da recuperação em uma coleção própria.

A ficha informa que a avaliação de texto abrangeu 34 idiomas e a de imagens, 18. Esse alcance se refere aos idiomas avaliados, não a uma garantia de qualidade equivalente para cada idioma, dialeto ou tipo de documento. A ficha diz que o modelo pode aceitar outros idiomas, mas eles não integram esses conjuntos de avaliação.

Os resultados publicados pela NVIDIA descrevem avaliações do fornecedor, não uma certificação independente nem uma garantia de desempenho em outros corpora. Para decidir se o modelo atende a um caso de uso específico, uma equipe pode criar um conjunto próprio de consultas e documentos e calcular métricas de recuperação com julgamentos de relevância. A comparação deve manter as mesmas condições e distinguir esses resultados locais das pontuações do fornecedor.

Requisitos e configuração de implantação

A ficha inclui exemplos de uso com Transformers, Sentence Transformers e vLLM. Já a documentação do produto NeMo Retriever Embedding NIM especifica requisitos de software, CPU e GPU para seus contêineres e enumera as configurações otimizadas por modelo. Os requisitos do NIM não devem ser confundidos com os de qualquer outra forma de executar o checkpoint: cada runtime pode ter compatibilidades, valores padrão e limites diferentes.

As configurações otimizadas do NIM para Nemotron 3.5 Embed 1B incluem opções FP16, mas essa tabela não estabelece as combinações suportadas pelo checkpoint 8B. A precisão de inferência depende do modelo, do runtime e da GPU. O sufixo BF16 identifica o checkpoint e não garante que um contêiner use essa mesma precisão; antes de implantar a variante 8B, é necessário verificar sua configuração específica.

A matriz do NIM informa que a seleção de kernels e da precisão pode depender da arquitetura detectada e da configuração do modelo. Uma configuração de fallback pode funcionar em certos equipamentos compatíveis, mas a documentação não garante que tenha os mesmos recursos ou o mesmo desempenho de uma configuração otimizada. A possibilidade de executar um modelo não significa que todas as combinações de hardware e precisão estejam validadas.

A licença OpenMDW-1.1 estabelece os termos e condições de uso do checkpoint. Ela não equivale a uma tarifa de serviço nem comprova a disponibilidade de um endpoint gerenciado específico. O custo de uma instalação própria depende da infraestrutura escolhida, de sua utilização e da carga de inferência.

Limites e critérios para escolher o modelo

O modelo é voltado à recuperação, não à geração de texto, e a recuperação não garante que o documento selecionado esteja correto ou seja suficiente. A ficha do modelo alerta que ele nem sempre recupera os documentos corretos para uma consulta. Em aplicações nas quais um erro pode ter consequências importantes, convém validar os resultados com o conteúdo original e projetar controles adequados ao uso.

O limite de 32.768 tokens não significa que qualquer documento desse tamanho possa ser processado sem perda ou recuperado com precisão. Entradas que excedam os limites do checkpoint ou do runtime devem ser tratadas de acordo com o comportamento concreto da implementação. Para documentos longos, pode ser necessária uma estratégia de fragmentação; as unidades devem preservar contexto suficiente para que uma consulta encontre a seção pertinente.

Para comparar o modelo 8B com a variante 1B ou com outras alternativas, avalie as mesmas consultas e documentos em condições equivalentes. Registre também a dimensão de saída, a latência e o uso de recursos de cada configuração. As pontuações de benchmarks publicados podem orientar o que comparar, mas não substituem um teste no corpus-alvo nem justificam, por si só, que uma variante seja melhor para todos os casos.

O Nemotron-3.5-Embed-8B-BF16 pode ser adequado quando o sistema precisa representar documentos visuais e texto em um fluxo de recuperação e a equipe pode sustentar e validar a implantação escolhida. Antes de integrá-lo a um índice existente, confirme a compatibilidade de dimensões e configurações. Se o caso de uso envolver apenas texto ou se a carga de inferência exigir recursos limitados, compare alternativas com uma avaliação local, em vez de presumir que um modelo maior sempre oferecerá uma melhoria prática.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.