Nemotron 3.5 Embed 8B BF16: Fähigkeiten, Benchmarks und Deployment-Grenzen

Was Nemotron 3.5 Embed 8B BF16 leistet

Nemotron-3.5-Embed-8B-BF16 ist ein Embedding-Modell von NVIDIA, das Dokumente anhand von Suchanfragen abrufen soll. Es erzeugt keine dialogartigen Antworten: Stattdessen wandelt es eine Textanfrage und Dokumente aus Text, Bildern oder einer Kombination beider Formate in Vektoren um, die ein Suchsystem miteinander vergleichen kann. Üblicherweise werden zunächst die Dokumente indexiert und ihre Vektoren zusammen mit den ursprünglichen Inhalten gespeichert. Für eine Suche wird anschließend der Vektor der Anfrage berechnet, um relevante Elemente zu finden.

Der Checkpoint erzeugt keinen dialogartigen Text: Er wandelt Textanfragen sowie Dokumente aus Text, Bildern oder beidem in Vektoren für Retrieval um. Die Beispiele für Transformers, Sentence Transformers und vLLM erzeugen L2-normalisierte Vektoren mit 4.096 Dimensionen. Die Support-Matrix für das Produkt Embedding NIM nennt für den Eintrag des 8B-Modells 2.048 Dimensionen. Diese Angabe darf nicht ohne Weiteres als native Ausgabe der Checkpoint-Beispiele verstanden werden. Vor dem Aufbau eines Index sollte die tatsächliche Dimension des gewählten Endpoints oder der Laufzeit geprüft werden.

Der Unterschied zwischen Checkpoint und Laufzeit ist praktisch relevant. Eine Vektordatenbank setzt normalerweise voraus, dass gespeicherte Vektoren und Suchvektoren kompatible Dimensionen haben. Auch die Eingabeaufbereitung, die Aufgabenpräfixe und die Normalisierung sollten gleich bleiben. Ändern sich diese Punkte zwischen Indexierung und Suche, ist ein direkter Vergleich möglicherweise nicht mehr gültig.

Wie das Modell Text und Bilder verarbeitet

Das Modell erstellt Vektorrepräsentationen von Anfragen und Dokumenten für semantische Retrieval-Aufgaben. Dokumente können aus Text, Seitenbildern oder einer Kombination beider Formate bestehen. Dadurch lassen sich visuelle Elemente wie Tabellen, Diagramme und Infografiken zusammen mit begleitendem Text repräsentieren, ohne dass das System dadurch Antworten generiert.

Laut Modellkarte werden Anfragen als Text eingegeben; Dokumente können Text, ein Bild oder beides enthalten. Die Beispiele verwenden unterschiedliche Aufgabenpräfixe: „query:“ für Anfragen und „passage:“ für Dokumente. Diese Konvention beizubehalten und für Indexierung und Suche dieselbe Laufzeit zu verwenden, hilft dabei, inkompatible Vergleiche zu vermeiden.

Die Modellkarte beschreibt außerdem einen Sprachmodell-Turm auf Basis von Nemotron-3-Embed-8B, der während der multimodalen Feinabstimmung eingefroren blieb. NVIDIA zufolge teilen beide Modelle den Text-Embedding-Raum und erzeugen identische Text-Embeddings. Diese Kompatibilität bezieht sich auf Text unter den für den Checkpoint beschriebenen Bedingungen. Sie berechtigt nicht dazu, Vektoren mit unterschiedlichen Dimensionen oder Ausgabekonfigurationen ungeprüft zu mischen. Bei der Integration sollten Modell, Aufbereitung von Anfragen und Dokumenten, Normalisierung und Indexdimension aufeinander abgestimmt sein.

Der Checkpoint unterstützt laut Modellkarte Eingaben mit bis zu 32.768 Tokens. Bilder werden standardmäßig mit einer längsten Kante von 1.120 Pixeln verarbeitet; dieser Wert lässt sich auf bis zu 1.540 Pixel einstellen. Längen- und Auflösungsgrenzen beschreiben Eingabemöglichkeiten. Sie garantieren nicht, dass jedes lange oder visuell dichte Dokument zuverlässig abgerufen wird.

Was die veröffentlichten Benchmarks zeigen

NVIDIA veröffentlicht Ergebnisse für ViDoRe V3 und MIRACL-VISION, zwei Benchmarks für visuelles Retrieval. Als Metrik wird NDCG@10 angegeben. Die Modellkarte beschreibt ViDoRe V3 als Benchmark für visuelles Dokumenten-Retrieval und MIRACL-VISION als mehrsprachigen Datensatz für visuelles Retrieval. Die Ergebnisse beziehen sich auf die von NVIDIA genannten Tests und messen nicht die Leistung auf jedem beliebigen Korpus.

Den veröffentlichten Zahlen zufolge erreicht Nemotron-3.5-Embed-8B-BF16 bei ViDoRe V3 einen NDCG@10-Wert von 60,39 für Bilder, 60,65 für Text und 61,47 für Bild und Text. Bei MIRACL-VISION erreicht das Modell für Bilder 72,64. Die Modellkarte enthält außerdem Ergebnisse für Nemotron-3.5-Embed-1B-BF16 und Qwen3-VL-Embedding-8B. Diese Werte ermöglichen einen Vergleich innerhalb der angegebenen Evaluierung, sagen aber nicht unmittelbar die Retrieval-Qualität in einer eigenen Sammlung voraus.

Laut Modellkarte wurde die Textevaluation in 34 Sprachen und die Bildevaluation in 18 Sprachen durchgeführt. Diese Angaben beziehen sich auf die evaluierten Sprachen und garantieren keine gleichwertige Qualität für jede Sprache, jeden Dialekt oder Dokumenttyp. Die Modellkarte hält fest, dass das Modell möglicherweise weitere Sprachen unterstützt, führt diese jedoch nicht als Teil der genannten Evaluierungssets auf.

Die von NVIDIA veröffentlichten Ergebnisse beschreiben die Evaluationen des Anbieters, keine unabhängige Zertifizierung und keine Leistungsgarantie für andere Korpora. Um die Eignung für einen konkreten Anwendungsfall zu prüfen, kann ein Team eigene Anfragen und Dokumente zusammenstellen und Retrieval-Metriken anhand von Relevanzurteilen berechnen. Ein Vergleich sollte unter gleichen Bedingungen erfolgen und diese eigenen Ergebnisse von den Werten des Anbieters unterscheiden.

Anforderungen und Deployment-Konfiguration

Die Modellkarte enthält Beispiele für Transformers, Sentence Transformers und vLLM. Die Produktdokumentation zu NeMo Retriever Embedding NIM beschreibt dagegen Software-, CPU- und GPU-Anforderungen für die Container und führt optimierte Konfigurationen je Modell auf. NIM-Anforderungen dürfen nicht mit den Anforderungen jeder beliebigen Ausführung des Checkpoints gleichgesetzt werden: Jede Laufzeit kann andere Kompatibilitäten, Standardwerte und Grenzen haben.

Die optimierten NIM-Konfigurationen für Nemotron 3.5 Embed 1B enthalten FP16-Optionen. Diese Tabelle belegt jedoch nicht, welche Kombinationen der 8B-Checkpoint unterstützt. Die Inferenzpräzision hängt von Modell, Laufzeit und GPU ab. Der Zusatz BF16 bezeichnet den Checkpoint und garantiert nicht, dass ein Container mit derselben Inferenzpräzision arbeitet. Vor dem Einsatz der 8B-Variante muss ihre konkrete Konfiguration geprüft werden.

Laut NIM-Matrix kann die Auswahl von Kernels und Präzision von der erkannten Architektur und der Modellkonfiguration abhängen. Eine Fallback-Konfiguration kann auf bestimmten kompatiblen Geräten ausführbar sein, doch die Dokumentation garantiert weder dieselben Funktionen noch dieselbe Leistung wie bei einer optimierten Konfiguration. Die Möglichkeit, ein Modell auszuführen, bedeutet nicht, dass jede Kombination aus Hardware und Präzision unter allen Bedingungen validiert wurde.

Die Lizenz OpenMDW-1.1 regelt die Nutzung des Checkpoints nach ihren Bedingungen. Sie ist weder ein Preis für einen Dienst noch ein Beleg dafür, dass ein bestimmter gehosteter Endpoint verfügbar ist. Die Kosten einer eigenen Installation hängen von der gewählten Infrastruktur, ihrer Auslastung und der Inferenzlast ab.

Grenzen und Auswahlkriterien

Das Modell ist für Retrieval vorgesehen, nicht für Textgenerierung. Außerdem garantiert Retrieval nicht, dass das ausgewählte Dokument richtig oder ausreichend ist. Die Modellkarte weist darauf hin, dass das Modell nicht immer die richtigen Dokumente zu einer Anfrage abruft. Bei Anwendungen mit erheblichen Folgen eines Fehlers sollten die Ergebnisse anhand des Originalinhalts geprüft und dem Anwendungsfall entsprechende Kontrollen eingerichtet werden.

Die Grenze von 32.768 Tokens bedeutet nicht, dass jedes Dokument dieser Länge verlustfrei verarbeitet oder präzise abgerufen werden kann. Eingaben, die die Grenzen des Checkpoints oder der Laufzeit überschreiten, müssen entsprechend dem konkreten Verhalten der Implementierung behandelt werden. Bei langen Dokumenten kann eine Segmentierung erforderlich sein. Die Abschnitte sollten genügend Kontext behalten, damit eine Anfrage den relevanten Teil finden kann.

Um das 8B-Modell mit der 1B-Variante oder anderen Alternativen zu vergleichen, sollten dieselben Anfragen und Dokumente unter vergleichbaren Bedingungen verwendet werden. Dokumentiere außerdem die Ausgabedimension, Latenz und Ressourcennutzung jeder Konfiguration. Veröffentlichte Benchmarkwerte können zeigen, welche Optionen sich vergleichen lassen. Sie ersetzen jedoch keinen Test auf dem Zielkorpus und belegen für sich genommen nicht, dass eine Variante für alle Anwendungsfälle besser ist.

Nemotron-3.5-Embed-8B-BF16 kann relevant sein, wenn ein Retrieval-System visuelle Dokumente und Text abbilden soll und das Team das gewählte Deployment betreiben und validieren kann. Vor der Integration in einen bestehenden Index muss die Kompatibilität der Dimensionen und Konfigurationen geprüft werden. Bei reinen Textanwendungen oder einer Inferenzlast mit engen Ressourcenbeschränkungen sollten Alternativen mit einem lokalen Test verglichen werden, statt pauschal anzunehmen, dass ein größeres Modell immer einen praktischen Vorteil bietet.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.