Was Deep Principle veröffentlicht hat
Deep Principle hat eine quantisierte INT8-Version von Hydrogen-1.0 in einem öffentlichen Repository veröffentlicht. Der Checkpoint ist eine Variante des wissenschaftlichen Modells des Unternehmens und keine neue Hydrogen-Generation. In der Dokumentation wird GLM-5.3 von Z.AI als Basismodell genannt.
Die identifizierbare öffentliche Revision des Repositorys enthält die Gewichte und die Dokumentation dieser Variante. Das ursprüngliche Veröffentlichungsdatum ist jedoch nicht bestätigt: Anhand der Revision lässt sich der Stand des Artefakts erkennen, sie allein belegt aber nicht, wann die Veröffentlichung angekündigt wurde oder wann die Dateien erstmals verfügbar waren.
Das Modell ist für textbasierte wissenschaftliche Fragen, Erklärungen von Herleitungen und strukturierte Antworten auf offene Forschungsprobleme vorgesehen. Das Modellblatt nennt Beispiele aus dem wissenschaftlichen Rechnen, der Erkundung von Reaktionsnetzwerken, der NMR-Strukturanalyse und der Versuchsplanung. Diese Demonstrationen nutzen externe Werkzeuge und bestimmte Forschungsumgebungen; für sich genommen belegen sie weder eine allgemeine Leistungsfähigkeit noch verifizierte wissenschaftliche Ergebnisse.
Die Veröffentlichung bietet eine Bereitstellungsoption mit kleineren Gewichten als die BF16-Version, bringt aber Anforderungen an die Kompatibilität und mögliche Auswirkungen der Quantisierung mit sich. Weniger Speicherbedarf garantiert weder mehr Geschwindigkeit noch höhere Genauigkeit. Laut Modellblatt ist nicht zu erwarten, dass diese Variante schneller als BF16 läuft.
Zugriff, Größe und Verfügbarkeit
Das Repository enthält die INT8-Gewichte und die zugehörigen Konfigurationsdateien zum Herunterladen und Ausführen in einer kompatiblen Umgebung. Der Checkpoint umfasst ungefähr 793 GB beziehungsweise 739 GiB; für die BF16-Variante nennt das Modellblatt etwa 1,5 TB. Der geringere Speicherbedarf kann die Planung von Speicherplatz und Arbeitsspeicher erleichtern, doch die Bereitstellung benötigt weiterhin erhebliche Ressourcen.
Die Veröffentlichung der Gewichte bestätigt weder eine öffentlich gehostete API noch einen Cloud-Nutzungspreis. Wer das Modell testen möchte, braucht eigene Infrastruktur oder einen Anbieter, der diesen Checkpoint unterstützt. Die Kosten für Rechenleistung und Speicher hängen von der jeweiligen Umgebung ab. Das Modellblatt nennt keine Ein- oder Ausgabepreise für eine gehostete API.
Die Dokumentation gibt ein Kontextfenster von bis zu 1 Million Tokens und eine maximale Ausgabe von bis zu 128.000 Tokens an. Zugleich weist sie darauf hin, dass die tatsächlich nutzbaren Grenzen vom Inferenz-Framework, der Dienstkonfiguration und den verfügbaren Ressourcen abhängen. Der Beispielbefehl für die Bereitstellung begrenzt den Kontext auf 262.144 Tokens und liegt damit unter dem für das Modell angegebenen Maximum. Die Maximalwerte sind daher nicht mit dem Limit jeder Installation gleichzusetzen.
Die vorhandenen Gewichtsdateien belegen, dass in der identifizierten Revision eine herunterladbare Distribution vorliegt. Sie belegen für sich genommen weder die Verfügbarkeit eines verwalteten Dienstes noch, dass sich das Modell auf jedem Rechner bereitstellen lässt oder alle Anbieter dasselbe Kontextlimit anbieten.
Was die Verfügbarkeitsangaben aussagen
Das Modellblatt unterscheidet zwischen dem herunterladbaren Checkpoint und den Grenzen der jeweiligen Bereitstellung.
| Angabe | Was sich daraus schließen lässt | Was dadurch nicht bestätigt wird |
|---|---|---|
| INT8-Gewichte im Repository | In der identifizierten Revision ist eine Gewichtsdistribution verfügbar. | Eine gehostete API oder das ursprüngliche Veröffentlichungsdatum. |
| Angegebenes Kontextfenster von bis zu 1 Million Tokens | Modell und Dokumentation beschreiben diesen Wert als vorgesehenes Maximum. | Dass jedes Runtime-System oder jeder Server es aktivieren kann. |
| Bereitstellungsbeispiel mit 262.144 Tokens | Diese konkrete Konfiguration setzt ein niedrigeres Limit. | Dass alle Installationen dieses Limit verwenden müssen. |
| Kein veröffentlichter API-Preis | Im Modellblatt ist kein Preis für einen gehosteten Dienst bestätigt. | Dass der Betrieb eigener Infrastruktur kostenlos ist. |
Was sich durch die INT8-Quantisierung ändert
INT8 beschreibt, dass bestimmte Modellgewichte als 8-Bit-Ganzzahlen gespeichert werden. Laut Deep Principle werden bei dieser Distribution die gerouteten Experten in den Layern 3 bis 77 und die dichten MLP-Netzwerke in den Layern 0 bis 2 quantisiert. Die Gewichte sind symmetrisch quantisiert, mit einer Skala pro Gruppe von 128 Gewichten. Die Aktivierungen und mehrere gemeinsam genutzte Komponenten, darunter Attention, Router und Embeddings, bleiben in BF16.
Der teilweise Umfang ist wichtig: INT8 bedeutet nicht, dass jede Modellkomponente 8-Bit-Ganzzahlen verwendet. Das Modellblatt beschreibt eine reine Gewichtquantisierung, die direkt auf die BF16-Gewichte und ohne Kalibrierungsdaten angewendet wurde. Als Checkpoint-Format nennt es compressed-tensors pack-quantized. Eine kompatible Runtime muss daher dieses Format und einen Pfad für ganzzahlige Gewichte in MoE-Modellen unterstützen.
Als praktischen Vorteil nennt der Anbieter einen geringeren Speicherbedarf der Gewichte gegenüber BF16. Im Gegenzug müssen die Konfigurationsdateien erhalten bleiben und die Inferenz-Engine muss die Kombination aus INT8- und BF16-Komponenten unterstützen. Das Format ist nicht an eine bestimmte GPU-Marke gebunden. Diese Formatportabilität belegt jedoch keine getestete Kompatibilität mit jeder Hardware.
Die Dokumentation warnt, dass die Quantisierung die Ausgaben beeinflussen kann, und empfiehlt, das Modell für den vorgesehenen Einsatz zu validieren. Sie veröffentlicht keine eigene numerische Genauigkeitsmessung für diese INT8-Variante. Daher lässt sich nicht beziffern, wie stark sich die Qualität gegenüber BF16 verändert.
Anforderungen und Umfang der Tests
Deep Principle berichtet, den Checkpoint mit SGLang 0.5.20 auf acht NVIDIA-B300-GPUs getestet zu haben. Das Modellblatt beschränkt diese Aussage auf diese Umgebung: Andere Hardware und andere Runtimes sind nicht als getestet ausgewiesen. Der Test dient als Konfigurationshinweis, nicht als Garantie, dass die Installation auf jedem Server funktioniert.
Im Startbeispiel muss die Fusion gemeinsam genutzter Experten deaktiviert werden. Als Grund nennt die Dokumentation, dass die gemeinsam genutzten Experten BF16 verwenden, während die gerouteten Experten INT8 verwenden; die Runtime kann diese Gewichte nicht zu einem einzigen Expertentensor zusammenführen. Laut Dokumentation kann SGLang die Gewichte der gemeinsam genutzten Experten nicht korrekt platzieren, wenn diese Option fehlt.
Bei der Bereitstellung müssen außerdem die Konfigurationsdateien des Checkpoints zusammenbleiben, darunter config.json, der Tokenizer, die Chat-Vorlage, generation_config.json und der Gewichtsindex. Diese Dateien sorgen dafür, dass die Runtime die Quantisierungseinstellungen und Generierungskonventionen verwendet, die zu dieser Distribution gehören. Dateien einer anderen Variante können die tatsächliche Konfiguration verändern oder das korrekte Laden verhindern.
Das Modellblatt weist außerdem darauf hin, dass Remote-Code vor der Ausführung geprüft werden sollte. Formatkompatibilität, verfügbarer Speicher und die Kontextkonfiguration sind voneinander getrennte Bedingungen: Die Erfüllung einer Bedingung garantiert nicht die anderen. Insbesondere erfordert ein höheres Kontextlimit als im Beispiel Unterstützung durch die Runtime und ausreichenden Speicher.
Prüfungen vor der Bereitstellung
Mit diesen Schritten lässt sich beurteilen, ob eine Umgebung den Checkpoint ausführen kann; sie ersetzen keine Funktionstests.
- 01Prüfen, ob die Runtime compressed-tensors pack-quantized und einen kompatiblen Pfad für MoE-Modelle mit ganzzahligen Gewichten unterstützt.
- 02Sicherstellen, dass der verfügbare Speicher für die Gewichte, den gewünschten Kontext und die zusätzlichen Ressourcen des Dienstes ausreicht.
- 03Gewichte, config.json, Tokenizer, Chat-Vorlage, generation_config.json und Gewichtsindex derselben Distribution zusammen aufbewahren.
- 04Die vom Checkpoint benötigte Behandlung der gemeinsam genutzten Experten konfigurieren; das SGLang-Beispiel enthält --disable-shared-experts-fusion.
- 05Mit einem Kontextlimit beginnen, das zu Speicher und Runtime passt, und es nur erhöhen, wenn die Umgebung dies unterstützt.
- 06Antworten mit realen Aufgaben testen und wissenschaftliche Schlussfolgerungen unabhängig überprüfen.
Wofür das Modell gedacht ist und was es nicht belegt
Hydrogen-1.0 ist für explorative und pädagogische Arbeit mit wissenschaftlichen Fragen vorgesehen: zum Erklären von Gleichungen, für Herleitungen unter ausdrücklich genannten Annahmen und zum Erstellen strukturierter Entwürfe, die Fachleute prüfen können. Das Modellblatt stellt seine Antworten nicht als bestätigte experimentelle Ergebnisse dar. Eine ausführliche oder selbstsicher formulierte Erklärung belegt nicht ihre Richtigkeit.
Das Modell kann Fehler bei Fakten, Berechnungen, Gleichungen, Referenzen oder wissenschaftlichen Erklärungen machen. Die Leistung kann außerdem je nach Fachgebiet, Sprache, Aufgabenformat und Eingabelänge variieren. Ein langes Kontextfenster garantiert nicht, dass das Modell jedes bereitgestellte Detail zuverlässig abruft, versteht oder verwendet.
Laut Modellblatt konzentriert sich die Evaluation auf wissenschaftliche Multiple-Choice-Fragen und offene Forschungsprobleme. Für diese INT8-Quantisierung werden keine eigenen numerischen Ergebnisse angegeben. Auch die Demonstrationen des ursprünglichen Modells lassen sich nicht automatisch auf diese Distribution übertragen und sind nicht als unabhängige Replikationen zu verstehen.
Um das Modell für eine konkrete Aufgabe zu beurteilen, sollten repräsentative Beispiele vorbereitet, Berechnungen mit unabhängigen Methoden überprüft und Zitate sowie Aussagen anhand von Primärliteratur kontrolliert werden. Bei Anwendungen mit Folgen für Gesundheit, Sicherheit oder andere wichtige Entscheidungen reichen die Antworten nicht als Entscheidungsgrundlage ohne fachkundige Prüfung.
Lizenz und enthaltene Materialien
Die quantisierten Hydrogen-1.0-INT8-Gewichte werden unter der im Repository enthaltenen MIT-Lizenz veröffentlicht. Bei Nutzung oder Weitergabe der Gewichte müssen die Copyright- und Lizenzhinweise erhalten bleiben. Das Dokument zum Lizenzumfang ordnet das Basismodell GLM-5.3 Z.AI zu und stellt klar, dass die Hydrogen-Lizenz die Lizenz eines separat bezogenen GLM-5.3-Original-Checkpoints nicht ändert.
Die von Deep Principle eigenständig verfasste Dokumentation und die ursprünglichen Beispiele haben einen anderen Lizenzumfang und werden unter der Apache License 2.0 ausgewiesen. Dateien Dritter, etwa Konfigurationen, Tokenizer, Vorlagen oder Code, behalten ihre jeweiligen Lizenzen und Hinweise. Die MIT-Lizenz der Gewichte macht nicht automatisch alle zugehörigen Komponenten zu MIT-lizenziertem Material.
Die vollständigen Trainingsdatensätze und Trainingsrezepte sind nicht im Repository enthalten. Die Lizenzen der veröffentlichten Dateien gewähren auch keinen Zugang zu Trainingsmaterialien, die nicht Teil der Distribution sind, und keine Rechte zu deren Weiterverbreitung.
Die überprüfbare Neuerung ist eine herunterladbare INT8-Variante mit kleineren Gewichten als BF16 und besonderen Anforderungen an die Ausführung. Das ursprüngliche Veröffentlichungsdatum und die Verfügbarkeit eines gehosteten Dienstes bleiben unbestätigt; zudem wurde keine numerische Evaluation veröffentlicht, die den Einfluss dieser Quantisierung auf die Qualität misst.
Weiter entdecken
Verwendete Quellen
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen