Il lancio di modelli decisionali open weight
Baseten ha lanciato Bison-1 e Groundhog-1, due modelli open weight progettati per compiti decisionali. Sono stati post-addestrati partendo dalla famiglia Gemma 4 di Google, a differenza dei precedenti modelli decisionali di Baseten, basati su Qwen.
I modelli sono stati annunciati il 20 novembre 2026 e sono disponibili tramite le API di Baseten Model. I relativi pesi sono anche pubblicati su Hugging Face: questo consente ai team di scaricarli e valutare un deployment autonomo, anziché affidarsi soltanto all’inferenza gestita. La disponibilità dei pesi, da sola, non elimina i requisiti di infrastruttura e gestione necessari per eseguire i modelli.
Architettura e base Gemma 4
Bison-1 si basa su Gemma 4 31B, un modello denso da 31 miliardi di parametri. Groundhog-1 utilizza invece Gemma 4 26B-A4B, un’architettura Mixture of Experts (MoE) con 26 miliardi di parametri complessivi e circa 4 miliardi attivi per token. Il numero di parametri attivi descrive il funzionamento dell’architettura MoE; non è una misura diretta delle prestazioni nei compiti di un’organizzazione.
Baseten presenta la scelta di Gemma 4 come una risposta alla domanda di modelli con una base statunitense, anche per ragioni di approvvigionamento e sovranità tecnologica. La provenienza del modello di base può essere rilevante nelle valutazioni di procurement, ma non dimostra da sola la conformità a una specifica normativa o a un requisito di residenza dei dati. La licenza e le condizioni applicabili ai pesi di Bison-1 e Groundhog-1 vanno verificate nei rispettivi repository; le condizioni del modello di base non bastano a stabilire quelle dei modelli post-addestrati.
I due modelli sono modelli decisionali: ricevono uno stato, per esempio testo, JSON o immagini, insieme a una domanda con opzioni definite, e restituiscono probabilità per le opzioni. Non sono progettati per produrre una risposta discorsiva come farebbe un chatbot generalista. Questa impostazione può adattarsi a classificazione, instradamento e scoring, ma la qualità va misurata sul compito concreto e sulle etichette del team.
Confronto tecnico tra i modelli decisionali di Baseten
| Modello | Parametri | Modello di base | Finestra di contesto | Prezzo per 1 milione di token |
|---|---|---|---|---|
| Bison-1 | 31B | Gemma 4 31B | 128k | $0,10 |
| Groundhog-1 | 26B (MoE, circa 4B attivi) | Gemma 4 26B-A4B | 128k | $0,035 |
| Mammoth-1 | 27B | Qwen | 16k | $0,10 |
| Elephant-1 | 9B | Qwen | 16k | $0,035 |
Contesto esteso e input multimodale
Una delle modifiche principali è la finestra di contesto di 128k token, otto volte quella da 16k dei precedenti modelli decisionali di Baseten. Una finestra più ampia può permettere di includere documenti, conversazioni o politiche aziendali più lunghi senza selezionare estratti o creare prima un riassunto. Non garantisce, però, che il modello individui correttamente ogni dettaglio rilevante, né che la latenza resti costante con input più lunghi.
Bison-1 e Groundhog-1 accettano testo e immagini. L’input visivo può essere utile quando la decisione dipende da moduli scansionati, fotografie o schermate, purché il caso d’uso e l’interfaccia effettivamente utilizzata supportino quel tipo di input. Un test di ablazione, confrontando l’elaborazione multimodale con quella basata solo sul testo, aiuta a capire se le immagini migliorano i risultati abbastanza da giustificarne i costi e i tempi.
Il contesto lungo è particolarmente pertinente quando una decisione dipende da un dettaglio lontano dalla domanda. Un caso proposto da Baseten riguarda una fattura che sembra pronta per il pagamento, mentre un’e-mail precedente nello stesso thread indica che l’ordine è stato annullato. Includere la conversazione completa può aiutare il modello a considerare quel dettaglio; non assicura che lo interpreti correttamente. La valutazione dovrebbe quindi includere esempi con informazioni decisive collocate in punti diversi del contesto.
Posizione nel Decision Index e calibrazione
Nel Decision Index v2.1 di Artificial Analysis, Bison-1 ottiene un punteggio di 76 e si colloca al primo posto tra 19 modelli decisionali elencati. Il risultato riportato da Baseten è superiore a quello di d1.2-ultra, con 75, e di Mammoth-1, con 71. È un risultato riferito a quello specifico indice e alla sua versione: non stabilisce che Bison-1 sia il migliore per ogni applicazione o insieme di dati.
La calibrazione riguarda la corrispondenza tra le probabilità dichiarate e la frequenza con cui le previsioni si rivelano corrette. Baseten riporta per Bison-1 un Brier score di 0,14, rispetto a 0,15 per d1.2-ultra, e indica che il valore più basso è il migliore in questo confronto. Una metrica aggregata non garantisce una buona calibrazione sulle decisioni di un singolo team: occorre confrontare le probabilità con esempi etichettati pertinenti al proprio caso.
Baseten attribuisce parte del miglioramento della calibrazione all’uso di etichette morbide nel training: invece di insegnare sempre che un’opzione è corretta al 100%, il modello può ricevere un obiettivo probabilistico, per esempio 83% per A e 17% per B. L’azienda afferma che Bison-1 ha la calibrazione migliore nell’indice. Tale affermazione e il punteggio del benchmark descrivono i risultati riportati per quel confronto; non costituiscono una verifica indipendente delle prestazioni su altri compiti.
Il punteggio ufficiale di Groundhog-1 nell’indice non è indicato nell’annuncio. Baseten si aspetta che raggiunga prestazioni paragonabili a Mammoth-1, ma questa aspettativa non va confusa con un risultato già pubblicato. Anche la collocazione della famiglia di modelli sulla frontiera di Pareto tra accuratezza e tempo è presentata da Baseten attraverso grafici del fornitore; va intesa come un’indicazione da valutare, non come una prova indipendente.
Disponibilità, costi e valutazione del deployment
Bison-1 e Groundhog-1 sono disponibili tramite le API di Baseten Model e come pesi su Hugging Face. L’annuncio dichiara che entrambi utilizzano la stessa API degli altri modelli decisionali di Baseten, perciò chi usa già quell’interfaccia può valutare la migrazione cambiando il nome del modello. La compatibilità dichiarata non garantisce che ogni integrazione, formato di input o comportamento applicativo resti invariato: conviene verificare il proprio schema e i casi limite.
I prezzi pubblicati da Baseten sono 0,10 dollari per milione di token per Bison-1 e 0,035 dollari per Groundhog-1. Il costo per token non rappresenta da solo il costo totale: incidono anche volume delle richieste, lunghezza degli input, infrastruttura, latenza e monitoraggio. I prezzi indicati riguardano l’uso tramite API; il deployment autonomo comporta costi operativi distinti, tra cui GPU e gestione del servizio.
Per la scelta del modello, Baseten posiziona Bison-1 per i casi in cui si cerca la massima accuratezza con contesto lungo e Groundhog-1 per contesto lungo con prezzo e latenza più vicini alla fascia di Elephant-1. Queste indicazioni descrivono il posizionamento del fornitore, non una raccomandazione universale. Una prova sui propri dati può mostrare se un modello più piccolo o meno costoso è sufficiente, oppure se il modello più grande produce un vantaggio misurabile.
Un confronto utile parte dalle decisioni storiche etichettate e dal sistema attuale: regole, embeddings o un modello conversazionale. Si applicano poi lo stesso schema di produzione e le stesse opzioni a ciascun candidato, misurando precisione, Brier score, ECE, latenza p95 e costi con le medesime condizioni. Per il contesto lungo, è opportuno verificare il comportamento con input di lunghezza rappresentativa e misurare l’effetto delle immagini separatamente. Un risultato favorevole nel benchmark non sostituisce una valutazione sulle etichette e sui vincoli operativi del proprio ambiente.
Procedura per valutare una migrazione
- 01Definire una linea di base con il sistema decisionale attuale, che si tratti di regole, embeddings o un modello conversazionale.
- 02Eseguire i casi di prova rappresentativi sul nuovo modello mantenendo lo stesso schema di produzione e le stesse opzioni di risposta.
- 03Confrontare precisione e calibrazione, inclusi Brier score ed ECE, usando le proprie etichette e non soltanto i risultati aggregati di un indice.
- 04Testare input lunghi e misurare la latenza p95 rispetto ai requisiti del servizio.
- 05Confrontare input con immagini e input di solo testo per misurare il contributo effettivo della modalità visiva.
Che cosa misurare prima di adottarli
I modelli decisionali restituiscono probabilità per un insieme di opzioni prestabilite. Perché il risultato sia interpretabile, la domanda e le opzioni devono corrispondere al problema reale. Opzioni incomplete o ambigue possono rendere poco utile una previsione anche quando il modello produce valori probabilistici. Se il flusso di lavoro consente l’astensione, è utile verificare anche quando il modello rifiuta o non assegna una risposta utilizzabile.
La valutazione dovrebbe includere non solo l’accuratezza media, ma anche la calibrazione per classi e casi rilevanti, la latenza e il comportamento sugli input difficili. Una probabilità elevata non equivale a certezza: anche un modello calibrato può sbagliare, soprattutto su eventi rari o distribuzioni diverse da quelle usate nei test. Le soglie di automazione, quindi, vanno validate e monitorate nel contesto in cui verranno applicate.
Per documenti e conversazioni non affidabili, come e-mail o immagini caricate dagli utenti, anche un modello decisionale può essere esposto a contenuti manipolativi o istruzioni inserite nei dati. La finestra di contesto più ampia non è un controllo di sicurezza. È possibile limitare gli input, trattare il contenuto esterno come dato non attendibile, usare metadati verificabili e prevedere una revisione umana per le decisioni incerte. Queste misure riducono alcuni rischi, ma non garantiscono che ogni tentativo di manipolazione venga neutralizzato.
Il rilascio aggiunge due opzioni basate su Gemma 4 alla famiglia di modelli decisionali di Baseten: Bison-1, con il primo posto riportato nel Decision Index v2.1, e Groundhog-1, il cui risultato ufficiale nel medesimo indice non è ancora specificato nell’annuncio. Contesto da 128k, input di immagini e pesi disponibili ampliano le possibilità di test e deployment; la scelta finale dipende però dai risultati sui dati propri, dai requisiti di latenza e dai costi effettivi.
Continua a esplorare
Fonti consultate
Correzioni e trasparenza
Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.
Proponi una correzione