MIT présente UQ-DAAAM, un système qui corrige les souvenirs imprécis des robots
Image générée par l’équipe éditoriale d’Inferama
01

Le problème de la mémoire robotique imprécise

Dans un scénario d'urgence, un assistant robotique pourrait avoir besoin de localiser un défibrillateur mural. Cependant, si le robot a étiqueté incorrectement cet appareil comme un extincteur dans sa mémoire stockée, il ne saura pas où trouver l'équipement vital. Ce type d'erreur de perception persiste si le système ne dispose pas d'un mécanisme pour se corriger lui-même.

Les robots mobiles capturent des images de leur environnement avec des caméras embarquées, mais voient souvent les objets de manière partielle, de loin ou dans des conditions d'éclairage déficientes. Dans ces cas, les modèles de vision par ordinateur peuvent générer des descriptions erronées, comme confondre une cheminée grise avec un écureuil sur un toit. Sans moyen de rectification, cette mémoire incorrecte impacte les applications ultérieures du robot.

02

Architecture d'UQ-DAAAM

Le nouveau système, nommé UQ-DAAAM (Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment), s'appuie sur le travail antérieur DAAAM. Ce dernier utilise un modèle de vision-langage (VLM) pour décrire rigoureusement les objets dans les scènes capturées par le robot et stocke ces descriptions dans une représentation basée sur des cartes 3D.

UQ-DAAAM intègre la quantification de l'incertitude dans ce cadre. Le système compare plusieurs descriptions du même objet vues sous différents angles pour mesurer la confiance du robot dans ce qu'il a vu. En fusionnant la confiance du VLM et la cohérence entre les vues, le système génère un nombre unique qui capture la certitude globale sur l'objet.

03

Mécanisme de détection et de correction

Lorsque le nombre d'incertitude dépasse un seuil déterminé, UQ-DAAAM active un processus de raffinement. Le système utilise une heuristique mathématique pour sélectionner des vues supplémentaires qui réduiront l'incertitude sans avoir besoin de réexécuter le modèle de vision-langage complet, ce qui réduit considérablement la charge de calcul.

Une fois les vues supplémentaires identifiées, le système emploie un grand modèle de langage (LLM) pour fusionner les nouvelles descriptions avec les existantes. Pour améliorer la précision, le LLM accorde plus de poids aux nouvelles descriptions et à celles avec une moindre ambiguïté. Ce processus permet au robot de mettre à jour ses souvenirs en temps réel tout en se déplaçant dans l'environnement.

Flux de correction de la mémoire

Processus étape par étape pour la correction des descriptions d'objets.

  1. 01Le robot capture plusieurs images du même objet sous différents angles.
  2. 02Le système calcule la confiance du VLM et la cohérence entre les descriptions.
  3. 03Si l'incertitude dépasse le seuil, des images supplémentaires sont sélectionnées par heuristique.
  4. 04Un LLM fusionne les descriptions, en privilégiant celles avec une moindre ambiguïté.
  5. 05La mémoire du robot est mise à jour avec la description corrigée.
04

Résultats et précision

Dans les tests réalisés, l'étape de raffinement a été capable de résoudre les ambiguïtés pour environ 92 pour cent des objets dans l'environnement du robot. Ce processus n'a requis que deux descriptions supplémentaires par objet pour atteindre la correction.

Par rapport aux méthodes de référence, UQ-DAAAM a augmenté la confiance du robot et amélioré la précision de ses réponses à des questions sur les objets, leurs emplacements et le moment où il les a vus pour la dernière fois. La précision des descriptions d'objets a augmenté de 5 pour cent par rapport à l'état de l'art précédent.

Métriques de performance d'UQ-DAAAM

Comparaison des résultats rapportés par les chercheurs.

MétriqueRésultat rapporté
Objets avec ambiguïté résolue92%
Descriptions supplémentaires par objet2
Amélioration de la précision de la description5% par rapport à l'état de l'art
05

Applications et limites

Luca Carlone, professeur associé au MIT et auteur principal, souligne que permettre à un robot de savoir ce qu'il ne sait pas est essentiel pour que cette technologie soit déployée de manière sûre. Contrairement aux modèles de langage conversationnels, en IA physique, un simple avertissement ne suffit pas ; le robot doit gérer activement son incertitude.

Les chercheurs prévoient d'appliquer UQ-DAAAM à différents types de robots, comme les manipulateurs mobiles, et d'utiliser la quantification de l'incertitude pour identifier les zones à haute incertitude que le robot pourrait revisiter. Le travail a été présenté à la Conférence sur le Traitement de l'Information Neuronale (NeurIPS) et est soutenu en partie par le Laboratoire de Recherche de l'Armée des États-Unis et le Bureau de Recherche Navale.

06

Poursuivre l’exploration

Sources consultées

03

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.

Proposer une correction