Deep Principle pubblica Hydrogen-1.0 in formato INT8 per il download
Immagine generata dalla Redazione di Inferama
01

Che cosa ha pubblicato Deep Principle

Deep Principle ha pubblicato in un repository pubblico una distribuzione quantizzata INT8 di Hydrogen-1.0. Il checkpoint è una variante del modello scientifico dell’azienda, non una nuova generazione di Hydrogen. La documentazione indica GLM-5.3, di Z.AI, come modello di base.

La revisione identificabile del repository contiene i pesi e la documentazione di questa variante. Tuttavia, la data originale di pubblicazione non è confermata: la revisione permette di identificare lo stato del checkpoint, ma da sola non stabilisce quando sia stato annunciato o quando sia diventato disponibile.

Il modello è progettato per interagire tramite testo su temi scientifici, spiegare derivazioni e organizzare risposte a problemi di ricerca aperti. La scheda menziona dimostrazioni di calcolo scientifico, esplorazione di reti di reazione, analisi di strutture tramite NMR e pianificazione sperimentale. Questi esempi combinano strumenti esterni e ambienti di ricerca specifici; da soli non dimostrano prestazioni generali né risultati scientifici verificati.

La pubblicazione offre un’opzione di distribuzione con pesi meno ingombranti rispetto alla versione BF16, ma richiede compatibilità specifiche e potrebbe risentire degli effetti della quantizzazione. La riduzione della memoria non garantisce un aumento della velocità o della precisione. La scheda precisa che non ci si aspetta che questa variante sia più veloce di BF16.

02

Accesso, dimensioni e disponibilità

Il repository mette a disposizione i pesi INT8 e i relativi file di configurazione, da scaricare ed eseguire in un ambiente compatibile. Il checkpoint occupa circa 793 GB, equivalenti a 739 GiB, rispetto a circa 1,5 TB per la versione BF16 indicata nella scheda. Il risparmio di spazio può essere utile per pianificare archiviazione e memoria, ma l’esecuzione richiede comunque risorse considerevoli.

La pubblicazione dei pesi non conferma la disponibilità di una API pubblica ospitata né una tariffa per l’uso nel cloud. Per provare il modello occorre disporre di un’infrastruttura propria o di un fornitore compatibile con questo checkpoint; i costi di calcolo e archiviazione dipendono dall’ambiente scelto. La scheda non indica prezzi di input o output per una API ospitata.

La documentazione dichiara una finestra di contesto fino a 1 milione di token e una lunghezza massima dell’output fino a 128.000 token, ma avverte che i limiti effettivi dipendono dal framework di inferenza, dalla configurazione del servizio e dalle risorse disponibili. Il comando di esempio per l’avvio imposta il contesto a 262.144 token, un valore inferiore al massimo dichiarato per il modello. I massimi dichiarati non vanno quindi confusi con il limite effettivo di ogni installazione.

La presenza dei file dei pesi nel repository dimostra che, nella revisione identificata, esiste una distribuzione scaricabile. Non dimostra che sia disponibile un servizio gestito, che ogni utente possa eseguirlo sul proprio computer o che tutti i fornitori offrano la stessa finestra di contesto.

Che cosa indicano i dati sulla disponibilità

La scheda distingue il checkpoint scaricabile dai limiti stabiliti per ciascuna distribuzione.

DatoChe cosa permette di concludereChe cosa non conferma
Pesi INT8 nel repositoryNella revisione identificata è disponibile una distribuzione dei pesi.Una API ospitata o la data originale di pubblicazione.
Contesto dichiarato fino a 1 milione di tokenIl modello e la scheda descrivono questo valore come capacità prevista.Che qualsiasi runtime o server possa abilitarlo.
Esempio di distribuzione con 262.144 tokenQuella configurazione specifica imposta un limite inferiore.Che tutte le installazioni debbano usare lo stesso limite.
Prezzo della API non pubblicatoLa scheda non conferma una tariffa per un servizio ospitato.Che l’uso di un’infrastruttura propria sia gratuito.
03

Che cosa cambia con la quantizzazione INT8

INT8 descrive il modo in cui determinati pesi del modello vengono memorizzati come interi a 8 bit. In questa distribuzione, Deep Principle indica che vengono quantizzati gli esperti instradati dei livelli da 3 a 77 e gli MLP densi dei livelli da 0 a 2, usando pesi simmetrici e una scala per ogni gruppo di 128 pesi. Le attivazioni e vari componenti condivisi, tra cui attenzione, router ed embedding, restano in BF16.

L’ambito della quantizzazione è parziale: INT8 non significa che ogni componente del modello usi interi a 8 bit. La scheda descrive una quantizzazione dei soli pesi, applicata direttamente ai pesi BF16 senza dati di calibrazione. Indica inoltre il formato del checkpoint come compressed-tensors pack-quantized: il runtime deve supportare quel formato e il relativo percorso per i pesi interi nei modelli MoE.

Il vantaggio pratico indicato dal fornitore è una riduzione dello spazio occupato dai pesi rispetto a BF16. In cambio, occorre conservare i file di configurazione e usare un motore di inferenza compatibile con la combinazione di componenti INT8 e BF16. Il formato non dipende da una specifica marca di GPU, ma questa portabilità non dimostra che la compatibilità sia stata provata su qualsiasi hardware.

La documentazione avverte che la quantizzazione può influire sugli output e raccomanda di convalidare il modello per il compito previsto. Non pubblica una misura numerica della precisione specifica di questa variante INT8; non è quindi possibile quantificare quanto la qualità differisca da BF16.

04

Requisiti e ambito dei test

Deep Principle dichiara di aver provato il checkpoint con SGLang 0.5.20 e otto GPU NVIDIA B300. La scheda limita esplicitamente questa affermazione a tale ambiente: non risultano test su altri hardware o runtime. Il risultato offre un riferimento di configurazione, non garantisce che l’installazione funzioni su qualsiasi server.

L’esempio di avvio richiede di disattivare la fusione degli esperti condivisi. Il motivo indicato è che gli esperti condivisi usano BF16, mentre gli esperti instradati usano INT8: il runtime non può fondere i rispettivi pesi in un unico tensore degli esperti. Secondo la documentazione, se si omette questa opzione SGLang non colloca correttamente i pesi degli esperti condivisi.

La distribuzione richiede anche di conservare insieme ai pesi i file di configurazione del checkpoint, incluso config.json, il tokenizer, il template di conversazione, generation_config.json e l’indice dei pesi. Questi file consentono al runtime di usare la configurazione di quantizzazione e le convenzioni di generazione previste per questa variante. Sostituirli con file appartenenti a un’altra versione può modificare la configurazione effettiva o impedire il corretto caricamento.

La scheda raccomanda inoltre di esaminare il codice remoto prima di eseguirlo. Compatibilità del formato, memoria disponibile e configurazione del contesto sono condizioni distinte: soddisfarne una non garantisce che siano soddisfatte le altre. In particolare, aumentare il contesto rispetto all’esempio richiede un runtime compatibile e memoria sufficiente.

Controlli prima della distribuzione

Usa questi passaggi per valutare se un ambiente può eseguire il checkpoint; non sostituiscono i test di funzionamento.

  1. 01Verifica che il runtime supporti il formato compressed-tensors pack-quantized e un percorso compatibile con i modelli MoE con pesi interi.
  2. 02Controlla che la memoria disponibile sia sufficiente per i pesi, il contesto richiesto e le risorse aggiuntive del servizio.
  3. 03Conserva insieme i pesi, config.json, il tokenizer, il template di conversazione, generation_config.json e l’indice dei pesi della stessa distribuzione.
  4. 04Configura la gestione degli esperti condivisi richiesta dal checkpoint; l’esempio per SGLang include --disable-shared-experts-fusion.
  5. 05Inizia con un limite di contesto compatibile con la memoria e il runtime, e aumentalo solo se l’ambiente lo supporta.
  6. 06Prova le risposte sui compiti effettivi e verifica in modo indipendente le conclusioni scientifiche.
05

A che cosa serve e che cosa non dimostra

Hydrogen-1.0 è orientato all’esplorazione didattica e al supporto di attività scientifiche: spiegare equazioni, sviluppare derivazioni esplicitando le ipotesi e preparare bozze strutturate da sottoporre a revisione esperta. La scheda non presenta le sue risposte come risultati sperimentali confermati. Una spiegazione dettagliata o sicura di sé non ne dimostra la correttezza.

Il modello può produrre errori nei fatti, nei calcoli, nelle equazioni, nei riferimenti o nelle spiegazioni scientifiche. Le prestazioni possono inoltre variare a seconda della disciplina, della lingua, del formato del compito e della lunghezza dell’input. Una finestra di contesto ampia non garantisce che il modello recuperi, comprenda o utilizzi correttamente ogni dettaglio fornito.

La scheda afferma che la valutazione si concentra su domande scientifiche a scelta multipla e problemi aperti di ricerca. Non presenta risultati numerici specifici per questa quantizzazione INT8. Le dimostrazioni della versione originale non possono essere attribuite automaticamente a questa distribuzione né considerate repliche indipendenti.

Per valutare il modello in un compito concreto, prepara esempi rappresentativi, controlla i calcoli con metodi indipendenti e verifica citazioni e affermazioni nella letteratura primaria. Nelle applicazioni che possono influire sulla salute, sulla sicurezza o su altre decisioni importanti, le risposte non costituiscono una base sufficiente per decidere senza una revisione competente.

06

Licenza e materiali inclusi

I pesi quantizzati di Hydrogen-1.0 INT8 sono distribuiti con la licenza MIT inclusa nel repository. La licenza richiede di conservare gli avvisi di copyright e di autorizzazione quando si usano o si ridistribuiscono i pesi. Il documento sull’ambito delle licenze attribuisce a Z.AI il modello di base GLM-5.3 e chiarisce che la licenza di Hydrogen non modifica quella applicabile a un checkpoint originale di GLM-5.3 ottenuto separatamente.

La documentazione e gli esempi originali scritti da Deep Principle hanno un ambito distinto e sono indicati come materiali soggetti ad Apache License 2.0. I file di terze parti, come configurazioni, tokenizer, template o codice, mantengono le rispettive licenze e i relativi avvisi. La licenza MIT dei pesi non rende automaticamente MIT tutti i componenti correlati.

Il repository non include i dataset di training completi né le ricette complete di addestramento. La licenza dei file pubblicati non concede nemmeno accesso o diritti di ridistribuzione sui materiali di training che non fanno parte della distribuzione.

La novità verificabile è una variante INT8 scaricabile, con pesi più piccoli di quelli BF16 e requisiti di esecuzione specifici. La data originale di pubblicazione e l’esistenza di un servizio ospitato non sono confermate; inoltre, non è stata pubblicata una valutazione numerica che misuri l’effetto di questa quantizzazione sulla qualità.

07

Continua a esplorare

Fonti consultate

03

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.

Proponi una correzione