Inception lança Mercury 3: LLM de difusão atinge 1.068 tokens por segundo

O lançamento do Mercury 3 e suas métricas principais

A Inception Labs apresentou o Mercury 3, a última iteração de sua família de modelos de linguagem baseados em difusão (dLLM). A característica distintiva deste lançamento é a velocidade de inferência reportada: 1.068 tokens por segundo. Este número posiciona o modelo em uma categoria de desempenho muito superior à dos modelos autoregressivos padrão, que geralmente operam em faixas de 50 a 100 tokens por segundo em hardware comercial.

Além da velocidade, a Inception destaca um contexto de 1 milhão de tokens, uma capacidade que permite processar documentos extensos ou sessões de código longas sem perder coerência. A empresa afirma que o Mercury 3 é comparável em qualidade a modelos de referência como GPT-6 Luna e Claude Haiku 5.5, mas com uma velocidade de geração 4 a 8 vezes maior. Essas afirmações provêm dos benchmarks internos da Inception, que mostram uma vantagem em 8 de 12 testes avaliados.

Arquitetura de difusão aplicada à linguagem

Diferentemente dos modelos autoregressivos, que geram texto token por token de forma sequencial, os modelos de difusão geram uma representação ruidosa da resposta completa e a refinam em paralelo através de várias iterações. Este processo, inspirado na geração de imagens, permite que o modelo modifique múltiplas posições do texto simultaneamente, rompendo a dependência estrita da sequência.

A principal vantagem é a paralelização do computo. Enquanto um modelo autoregressivo deve esperar que o token anterior seja gerado para prever o próximo, um dLLM pode processar a sequência completa em cada passo de refinamento. Isso explica a drástica redução na latência de geração, já que o tempo total depende do número de passos de difusão (que costuma ser baixo) e não do comprimento da saída.

Desempenho em relação a modelos de referência

A Inception Labs compara o Mercury 3 com GPT-6 Luna e Claude Haiku 5.5 em uma série de benchmarks que incluem raciocínio matemático, conhecimento especializado e programação. Segundo os dados fornecidos pela empresa, o Mercury 3 supera ou empata com esses modelos na maioria dos testes, mantendo uma velocidade significativamente superior.

É importante notar que essas comparações se baseiam em avaliações realizadas pela Inception. Embora a empresa cite a Artificial Analysis como validadora externa para versões anteriores (como o Mercury 2), a disponibilidade de testes independentes e replicáveis para o Mercury 3 é limitada. A comunidade técnica deve aguardar que terceiros publiquem resultados padronizados para confirmar a paridade de qualidade em tarefas de raciocínio profundo.

Limitações e zonas de incerteza

Apesar das métricas promissoras, existem dúvidas sobre a robustez da arquitetura de difusão em contextos extremamente longos. Embora o contexto de 1M tokens seja uma especificação técnica, não foi demonstrado de forma independente que a coerência se mantenha estável em todo o intervalo da janela de contexto, especialmente em comparação com os modelos autoregressivos que foram otimizados durante anos para esse fim.

Além disso, a opacidade nos detalhes de treinamento e alinhamento continua sendo uma preocupação. Não foram publicadas informações detalhadas sobre os conjuntos de dados utilizados nem as técnicas específicas de alinhamento do Mercury 3. A falta de um paper técnico completo e revisado por pares para esta versão específica limita a capacidade da comunidade de auditar o modelo e verificar as afirmações de qualidade.

Implicações para o desenvolvimento de agentes

A baixa latência do Mercury 3 tem implicações diretas para o desenvolvimento de agentes de IA. Em aplicações de voz, a velocidade de resposta é crucial para manter a naturalidade da conversa. Um modelo que gera texto a 1.068 tokens/s permite integrar raciocínio complexo sem as pausas perceptíveis que caracterizam os modelos mais lentos.

Para os desenvolvedores, a compatibilidade com a API da OpenAI facilita a integração. No entanto, a decisão de adotar um dLLM deve ser baseada no caso de uso específico. Para tarefas que exigem máxima fidelidade e raciocínio profundo, os modelos autoregressivos de fronteira podem continuar sendo preferidos. Para tarefas de alta frequência, extração de dados ou interação em tempo real, o Mercury 3 oferece uma proposta de valor atraente em termos de custo e velocidade.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.