Inception presenta Mercury 3: un LLM de difusión que alcanza 1.068 tokens por segundo

El lanzamiento de Mercury 3 y sus métricas principales

Inception Labs ha presentado Mercury 3, la última iteración de su familia de modelos de lenguaje basados en difusión (dLLM). La característica distintiva de este lanzamiento es la velocidad de inferencia reportada: 1.068 tokens por segundo. Esta cifra sitúa al modelo en una categoría de rendimiento muy superior a la de los modelos autoregresivos estándar, que suelen operar en rangos de 50 a 100 tokens por segundo en hardware comercial.

Además de la velocidad, Inception destaca un contexto de 1 millón de tokens, una capacidad que permite procesar documentos extensos o sesiones de código largas sin perder coherencia. La compañía afirma que Mercury 3 es comparable en calidad a modelos de referencia como GPT-6 Luna y Claude Haiku 5.5, pero con una velocidad de generación 4 a 8 veces mayor. Estas afirmaciones provienen de los benchmarks internos de Inception, que muestran una ventaja en 8 de 12 pruebas evaluadas.

Arquitectura de difusión aplicada al lenguaje

A diferencia de los modelos autoregresivos, que generan texto token a token de forma secuencial, los modelos de difusión generan una representación ruidosa de la respuesta completa y la refinan en paralelo a través de varias iteraciones. Este proceso, inspirado en la generación de imágenes, permite que el modelo modifique múltiples posiciones del texto simultáneamente, rompiendo la dependencia estricta de la secuencia.

La ventaja principal es la paralelización del cómputo. Mientras que un modelo autoregresivo debe esperar a que se genere el token anterior para predecir el siguiente, un dLLM puede procesar la secuencia completa en cada paso de refinamiento. Esto explica la drástica reducción en la latencia de generación, ya que el tiempo total depende del número de pasos de difusión (que suele ser bajo) y no de la longitud de la salida.

Rendimiento frente a modelos de referencia

Inception Labs compara Mercury 3 con GPT-6 Luna y Claude Haiku 5.5 en una serie de benchmarks que incluyen razonamiento matemático, conocimiento experto y programación. Según los datos proporcionados por la empresa, Mercury 3 supera o empata con estos modelos en la mayoría de las pruebas, manteniendo una velocidad significativamente superior.

Es importante señalar que estas comparaciones se basan en evaluaciones realizadas por Inception. Aunque la empresa cita a Artificial Analysis como validador externo para versiones anteriores (como Mercury 2), la disponibilidad de pruebas independientes y replicables para Mercury 3 es limitada. La comunidad técnica debe esperar a que terceros publiquen resultados estandarizados para confirmar la paridad de calidad en tareas de razonamiento profundo.

Limitaciones y zonas de incertidumbre

A pesar de las métricas prometedoras, existen dudas sobre la robustez de la arquitectura de difusión en contextos extremadamente largos. Mientras que el contexto de 1M tokens es una especificación técnica, no se ha demostrado de forma independiente que la coherencia se mantenga estable en todo el rango de la ventana de contexto, especialmente en comparación con los modelos autoregresivos que han sido optimizados durante años para este fin.

Además, la opacidad en los detalles de entrenamiento y alineamiento sigue siendo una preocupación. No se ha publicado información detallada sobre los datasets utilizados ni las técnicas específicas de alineamiento de Mercury 3. La falta de un paper técnico completo y revisado por pares para esta versión específica limita la capacidad de la comunidad para auditar el modelo y verificar las afirmaciones de calidad.

Implicaciones para el desarrollo de agentes

La baja latencia de Mercury 3 tiene implicaciones directas para el desarrollo de agentes de IA. En aplicaciones de voz, la velocidad de respuesta es crucial para mantener la naturalidad de la conversación. Un modelo que genera texto a 1.068 tokens/s permite integrar razonamiento complejo sin las pausas perceptibles que caracterizan a los modelos más lentos.

Para los desarrolladores, la compatibilidad con la API de OpenAI facilita la integración. Sin embargo, la decisión de adoptar un dLLM debe basarse en el caso de uso específico. Para tareas que requieren máxima fidelidad y razonamiento profundo, los modelos autoregresivos de frontera pueden seguir siendo preferidos. Para tareas de alta frecuencia, extracción de datos o interacción en tiempo real, Mercury 3 ofrece una propuesta de valor atractiva en términos de coste y velocidad.

Continúa explorando

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.