Lançamento de modelos de decisão abertos
A Baseten lançou o Bison-1 e o Groundhog-1, dois modelos de pesos abertos projetados especificamente para tarefas de decisão. Esses modelos foram pós-treinados a partir da família Gemma 4 da Google, marcando uma mudança em relação aos modelos anteriores da empresa, que se baseavam na arquitetura Qwen.
O lançamento ocorreu em 20 de novembro de 2026 e está disponível imediatamente através das APIs da Baseten Model. Além disso, os pesos de ambos os modelos foram liberados no Hugging Face sob uma licença aberta, permitindo que as equipes auditem o treinamento e implantem a inferência em suas próprias infraestruturas, se desejarem.
Arquitetura e base Gemma 4
O Bison-1 é construído sobre o Gemma 4 31B, um modelo denso de 31 bilhões de parâmetros. O Groundhog-1, por sua vez, baseia-se no Gemma 4 26B-A4B, uma arquitetura de especialistas misturados (MoE) com 26 bilhões de parâmetros totais, dos quais apenas 4 bilhões estão ativos por token. Essa diferença arquitetônica permite que o Groundhog-1 ofereça um equilíbrio entre custo e latência que se aproxima ao dos modelos menores, mantendo uma capacidade de raciocínio superior.
O uso da Gemma 4 responde à demanda de equipes que buscam modelos com uma base ocidental por questões de soberania tecnológica e conformidade regulatória. A família Gemma 4, lançada pela Google, está disponível sob a licença Apache 2.0, o que facilita sua integração em ambientes corporativos que exigem rastreabilidade da origem do modelo base.
Comparação técnica da família de modelos de decisão da Baseten
| Modelo | Parâmetros | Arquitetura base | Janela de contexto | Preço por 1M de tokens |
|---|---|---|---|---|
| Bison-1 | 31B | Gemma 4 31B | 128k | $0,10 |
| Groundhog-1 | 26B (MoE, ~4B ativos) | Gemma 4 26B-A4B | 128k | $0,035 |
| Mammoth-1 | 27B | Qwen | 16k | $0,10 |
| Elephant-1 | 9B | Qwen | 16k | $0,035 |
Capacidades de contexto e multimodalidade
Uma das melhorias mais significativas é a expansão da janela de contexto para 128k tokens, o que representa um aumento de oito vezes em relação aos 16k tokens dos modelos anteriores da Baseten. Essa capacidade permite incluir documentos completos, longas threads de e-mail ou políticas corporativas inteiras na entrada do modelo sem a necessidade de resumir ou selecionar trechos.
Ambos os modelos aceitam entrada multimodal, processando simultaneamente texto e imagens. Isso é particularmente útil em cenários onde a decisão depende de documentos digitalizados, fotos de danos ou capturas de tela de interfaces de usuário. A combinação de contexto longo e visão permite que o modelo capture detalhes que podem estar distantes da pergunta principal ou que são visíveis apenas no componente gráfico.
Desempenho e calibração no Decision Index
No Decision Index v2.1 da Artificial Analysis, o Bison-1 obtém uma pontuação de 76, posicionando-se em primeiro lugar entre 19 modelos de decisão avaliados. Segue-se o d1.2-ultra com 75 pontos e o Mammoth-1, o modelo anterior da Baseten, com 71 pontos. A Baseten espera que o Groundhog-1 alcance um desempenho comparável ao do Mammoth-1 neste índice.
Um aspecto destacado é a calibração de probabilidades. O Bison-1 apresenta a menor pontuação Brier do índice, com um valor de 0,14, em comparação com 0,15 do d1.2-ultra. Uma pontuação Brier mais baixa indica que a confiança declarada pelo modelo se alinha melhor com sua precisão empírica. Isso foi alcançado em parte pelo uso de rótulos suaves durante o treinamento, ensinando o modelo a atribuir probabilidades como 83% para a opção A e 17% para a B, em vez de rótulos binários de 100%.
Disponibilidade e considerações de implantação
Os modelos estão disponíveis imediatamente através das APIs da Baseten Model e como pesos abertos no Hugging Face. A API mantém compatibilidade com os modelos anteriores, o que significa que as equipes que já utilizam o Mammoth-1 ou o Elephant-1 podem migrar simplesmente alterando o nome do modelo em suas solicitações, sem a necessidade de reescrever a lógica de integração.
Para as equipes que optam pelo auto-hospedamento, os pesos abertos permitem a implementação em ambientes VPC ou locais. No entanto, isso exige gerenciar a infraestrutura de GPU, o loteamento de inferência e o monitoramento. A Baseten oferece a opção gerenciada para aqueles que preferem evitar a complexidade operacional, enquanto a opção de pesos abertos fornece flexibilidade para auditorias e conformidade com requisitos de residência de dados.
Etapas para avaliar a migração para Bison-1 ou Groundhog-1
- 01Estabelecer uma linha de base com o modelo de decisão atual (regras, embeddings ou modelo de chat).
- 02Reproduzir o tráfego real na Baseten utilizando o Bison-1 em uma amostra representativa de casos.
- 03Comparar métricas de calibração (Brier, ECE) e precisão sobre os próprios rótulos, não apenas em índices agregados.
- 04Realizar testes de carga com entradas de 128k tokens para verificar se a latência p95 atende aos SLAs.
- 05Avaliar a necessidade de multimodalidade e realizar testes de ablação para medir a contribuição real da visão.
Continue a explorar
Fontes consultadas
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção