Inception lance Mercury 3 : un LLM de diffusion à 1 068 jetons par seconde

Le lancement de Mercury 3 et ses métriques clés

Inception Labs a présenté Mercury 3, la dernière itération de sa famille de modèles de langage basés sur la diffusion (dLLM). La caractéristique distinctive de ce lancement est la vitesse d'inférence rapportée : 1 068 jetons par seconde. Ce chiffre place le modèle dans une catégorie de performance nettement supérieure à celle des modèles autorégressifs standards, qui opèrent généralement dans une fourchette de 50 à 100 jetons par seconde sur du matériel commercial.

Outre la vitesse, Inception met en avant un contexte d'un million de jetons, une capacité permettant de traiter des documents étendus ou de longues sessions de code sans perte de cohérence. L'entreprise affirme que Mercury 3 est comparable en qualité à des modèles de référence tels que GPT-6 Luna et Claude Haiku 5.5, mais avec une vitesse de génération 4 à 8 fois supérieure. Ces affirmations proviennent des benchmarks internes d'Inception, qui montrent un avantage sur 8 des 12 tests évalués.

Architecture de diffusion appliquée au langage

Contrairement aux modèles autorégressifs, qui génèrent le texte jeton par jeton de manière séquentielle, les modèles de diffusion génèrent une représentation bruitée de la réponse complète et la raffinent en parallèle à travers plusieurs itérations. Ce processus, inspiré de la génération d'images, permet au modèle de modifier simultanément plusieurs positions du texte, brisant la dépendance stricte à la séquence.

L'avantage principal est la parallélisation du calcul. Alors qu'un modèle autorégressif doit attendre la génération du jeton précédent pour prédire le suivant, un dLLM peut traiter la séquence complète à chaque étape de raffinement. Cela explique la réduction drastique de la latence de génération, puisque le temps total dépend du nombre d'étapes de diffusion (généralement faible) et non de la longueur de la sortie.

Performance par rapport aux modèles de référence

Inception Labs compare Mercury 3 à GPT-6 Luna et Claude Haiku 5.5 dans une série de benchmarks incluant le raisonnement mathématique, la connaissance experte et la programmation. Selon les données fournies par l'entreprise, Mercury 3 surpasse ou égale ces modèles dans la majorité des tests, tout en maintenant une vitesse nettement supérieure.

Il est important de noter que ces comparaisons se basent sur des évaluations réalisées par Inception. Bien que l'entreprise cite Artificial Analysis comme validateur externe pour des versions antérieures (comme Mercury 2), la disponibilité de tests indépendants et réplicables pour Mercury 3 est limitée. La communauté technique doit attendre que des tiers publient des résultats standardisés pour confirmer la parité de qualité dans les tâches de raisonnement profond.

Limites et zones d'incertitude

Malgré des métriques prometteuses, des doutes subsistent sur la robustesse de l'architecture de diffusion dans des contextes extrêmement longs. Bien que le contexte de 1M de jetons soit une spécification technique, il n'a pas été démontré de manière indépendante que la cohérence reste stable sur toute la plage de la fenêtre de contexte, en particulier par rapport aux modèles autorégressifs optimisés depuis des années à cet effet.

De plus, l'opacité des détails d'entraînement et d'alignement reste une préoccupation. Aucune information détaillée n'a été publiée sur les jeux de données utilisés ni sur les techniques spécifiques d'alignement de Mercury 3. L'absence d'un papier technique complet et évalué par les pairs pour cette version spécifique limite la capacité de la communauté à auditer le modèle et à vérifier les affirmations de qualité.

Implications pour le développement d'agents

La faible latence de Mercury 3 a des implications directes pour le développement d'agents IA. Dans les applications vocales, la vitesse de réponse est cruciale pour maintenir la naturalité de la conversation. Un modèle générant du texte à 1 068 jetons/s permet d'intégrer un raisonnement complexe sans les pauses perceptibles caractérisant les modèles plus lents.

Pour les développeurs, la compatibilité avec l'API d'OpenAI facilite l'intégration. Cependant, la décision d'adopter un dLLM doit se baser sur le cas d'usage spécifique. Pour les tâches nécessitant une fidélité maximale et un raisonnement profond, les modèles autorégressifs de pointe peuvent rester préférés. Pour les tâches à haute fréquence, l'extraction de données ou l'interaction en temps réel, Mercury 3 offre une proposition de valeur attractive en termes de coût et de vitesse.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.