Une approche radicale : l'intelligence vocale native
Le 23 octobre 2026, Block a annoncé le lancement de Dessa, un modèle d'intelligence artificielle conçu spécifiquement pour l'interaction vocale. Contrairement à la plupart des assistants actuels, qui dépendent d'une chaîne de traitement convertissant l'audio en texte, le traitant puis le resynthétisant, Dessa opère comme un système de bout en bout de la voix à la voix. Cela signifie que le modèle reçoit de l'audio et produit de l'audio sans passer par une étape intermédiaire de transcription textuelle.
L'entreprise décrit cette approche comme une expérience en « intelligence vocale native ». La prémisse est que, tout comme les humains apprennent les langues en écoutant avant de lire, un modèle peut acquérir des compétences linguistiques et conversationnelles directement à partir des signaux acoustiques. Block a délibérément exclu tout pré-entraînement basé sur des livres, des pages web ou des jeux de données textuels pour explorer les capacités qui émergent lorsqu'un modèle est exposé uniquement à la dynamique de la conversation humaine.
Architecture full-duplex et gestion du dialogue
L'une des caractéristiques techniques les plus remarquables de Dessa est sa capacité à fonctionner en mode duplex complet. En pratique, cela permet au système d'écouter et de parler simultanément, imitant le comportement d'un appel téléphonique réel. Le modèle peut réagir aux interruptions de l'utilisateur, intercaler des sons de reconnaissance (comme « oui » ou « ah ») pendant que l'interlocuteur parle et ajuster son rythme à celui de la conversation.
Cette architecture permet au modèle de capturer des signaux non verbaux cruciaux pour la communication naturelle. Selon les documents de Block, Dessa gère le rythme et les aspects émotionnels du dialogue, y compris la détection du sarcasme, de l'ironie ou des changements d'état émotionnel de l'orateur. Les démonstrations publiques ont montré le modèle riant à moitié, augmentant le volume sur demande et complétant des phrases, bien que des erreurs occasionnelles aient également été observées, comme s'adresser incorrectement à un utilisateur par un nom qui n'était pas le sien.
Comparaison des flux de traitement vocal
Tableau contrastant l'approche traditionnelle avec celle de Dessa.
| Caractéristique | Modèle Traditionnel (STT-TTS) | Dessa (Speech-to-Speech) |
|---|---|---|
| Traitement intermédiaire | Transcription en texte | Aucun (audio direct) |
| Gestion des interruptions | Limitée (attend la fin de l'utilisateur) | Full-duplex (réaction en temps réel) |
| Détection des nuances | Basée sur les mots-clés | Basée sur le ton, les pauses et le rythme |
| Latence perçue | Plus élevée (plusieurs étapes) | Plus faible (processus continu) |
Entraînement exclusif sur de l'audio humain
L'équipe de recherche de Block, dirigée par Ragavan Thurairatnam, a entraîné Dessa en utilisant exclusivement de l'audio de conversations humaines. L'entreprise affirme qu'aucune donnée textuelle ni modèle pré-entraîné en langage écrit n'a été utilisé. Cette méthode vise à reproduire l'acquisition du langage chez l'humain, où l'entrée auditive est la source primaire d'apprentissage avant l'exposition à l'écriture.
Selon les déclarations de l'entreprise, cette approche permet au modèle d'apprendre la structure de la langue, les normes sociales de la conversation et les signaux émotionnels directement à la source. Cependant, les analystes soulignent que cette méthodologie soulève des questions ouvertes sur l'efficacité avec laquelle le modèle acquiert des faits concrets ou des connaissances structurées, des domaines où les modèles basés sur le texte ont généralement un avantage clair en raison de la densité d'information des corpus écrits.
Exigences matérielles et exécution locale
Block a mis en avant l'efficacité computationnelle de Dessa. L'entreprise affirme que l'entraînement du modèle a été réalisé sur un seul rack NVIDIA GB200 NVL72, une configuration significativement plus petite que celle utilisée pour entraîner des modèles de langage de frontière basés sur le texte, qui nécessitent généralement des dizaines de milliers d'accélérateurs.
En ce qui concerne l'inférence, Block indique que Dessa s'exécute plus vite que le temps réel sur un MacBook Pro M4 Max ou supérieur. Cela suggère que le modèle a une taille de paramètres et une empreinte mémoire permettant son exécution sur du matériel grand public haut de gamme. La capacité d'exécuter le modèle localement a des implications importantes pour la confidentialité, car les conversations n'ont pas besoin d'être envoyées à des serveurs externes pour être traitées.
Avantages de l'inférence locale
Processus d'exécution locale de Dessa.
- 01L'utilisateur parle et l'audio est capté localement.
- 02Le modèle Dessa traite l'audio sur le CPU/GPU de l'appareil.
- 03La réponse audio est générée sans envoyer de données au cloud.
- 04La réponse est reproduite en temps réel, maintenant une latence faible.
Accès restreint et évaluation des risques
Malgré l'annonce, Dessa n'est pas disponible pour le grand public. Block a limité l'accès anticipé à un petit groupe de chercheurs en sécurité de l'intelligence artificielle. L'entreprise a déclaré que son objectif est d'étudier les implications et les risques associés à un modèle vocal qui sonne convaincant et réagit aux signaux émotionnels.
Les principales préoccupations tournent autour de l'usurpation d'identité et de la manipulation de la confiance. Contrairement aux chatbots textuels, une voix capable de détecter et de répondre aux nuances émotionnelles a un potentiel plus élevé d'être utilisée pour des fraudes ou d'influencer la prise de décision des utilisateurs. Block a indiqué vouloir une évaluation externe du comportement du modèle avant une distribution plus large, reconnaissant que les démonstrations publiques, bien que prometteuses, ne constituent pas une base suffisante pour affirmer la fiabilité générale du système.
Questions ouvertes
- L'affirmation selon laquelle l'entraînement a été réalisé sur un seul rack NVIDIA GB200 NVL72 n'a pas été vérifiée de manière indépendante.
- La capacité du modèle à retenir des informations factuelles et structurées sans pré-entraînement textuel n'est pas confirmée par des évaluations externes.
- La latence de réponse exacte en millisecondes n'a pas été publiée, rendant l'affirmation « plus rapide que le temps réel » non reproductible avec des données précises.
- Il n'existe pas d'API publique ni de documentation technique détaillée permettant à des tiers d'évaluer l'architecture interne du modèle.
Poursuivre l’exploration
Sources consultées
Corrections et transparence
Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.
Proposer une correction