MIT stellt UQ-DAAAM vor: Ein System, das ungenaue Erinnerungen in Robotern korrigiert
Bild erstellt vom Redaktionsteam von Inferama
01

Das Problem des ungenauen robotischen Gedächtnisses

In einem Notfallszenario könnte ein robotischer Assistent einen wandmontierten Defibrillator lokalisieren müssen. Wenn der Roboter dieses Gerät jedoch fälschlicherweise als Feuerlöscher in seinem gespeicherten Gedächtnis etikettiert hat, weiß er nicht, wo das lebenswichtige Gerät zu finden ist. Dieser Wahrnehmungsfehler bleibt bestehen, wenn das System keinen Mechanismus zur Selbstkorrektur besitzt.

Mobile Roboter erfassen Bilder ihrer Umgebung mit Bordkameras, sehen Objekte jedoch oft nur teilweise, aus der Ferne oder bei schlechten Lichtverhältnissen. In solchen Fällen können Computer-Vision-Modelle fehlerhafte Beschreibungen generieren, wie etwa eine graue Schornsteinöffnung mit einem auf einem Dach sitzenden Eichhörnchen zu verwechseln. Ohne eine Möglichkeit zur Korrektur beeinträchtigt dieses falsche Gedächtnis die nachgelagerten Anwendungen des Roboters.

Die Persistenz solcher Fehler stellt ein grundlegendes Risiko für die Zuverlässigkeit autonomer Systeme dar, da ein einmal falsch gespeichertes Merkmal ohne aktive Überprüfung dauerhaft in der Wissensbasis verbleibt. Ohne einen internen Mechanismus zur Validierung der eigenen Wahrnehmung kann der Roboter seine fehlerhaften Annahmen nicht hinterfragen, was zu systematischen Fehlschlüssen in kritischen Situationen führt.

02

Architektur von UQ-DAAAM

Das neue System, UQ-DAAAM (Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment) genannt, baut auf der früheren Arbeit DAAAM auf. Letzteres verwendet ein Vision-Language-Modell (VLM), um Objekte in von dem Roboter erfassten Szenen detailliert zu beschreiben, und speichert diese Beschreibungen in einer darstellungsbasierten 3D-Karte.

UQ-DAAAM integriert die Unsicherheitsquantifizierung in diesen Rahmen. Das System vergleicht mehrere Beschreibungen desselben Objekts aus verschiedenen Blickwinkeln, um das Vertrauen des Roboters in das Gesehene zu messen. Durch die Fusion des VLM-Vertrauens und der Konsistenz zwischen den Ansichten erzeugt das System eine einzige Zahl, die die globale Gewissheit über das Objekt erfasst.

03

Mechanismus der Erkennung und Korrektur

Wenn die Unsicherheitszahl einen bestimmten Schwellenwert überschreitet, aktiviert UQ-DAAAM einen Verfeinerungsprozess. Das System verwendet eine mathematische Heuristik, um zusätzliche Ansichten auszuwählen, die die Unsicherheit reduzieren, ohne das vollständige Vision-Language-Modell erneut auszuführen, was die Rechenaufwand drastisch reduziert.

Sobald die zusätzlichen Ansichten identifiziert sind, verwendet das System ein Large Language Model (LLM), um die neuen Beschreibungen mit den vorhandenen zu fusionieren. Um die Genauigkeit zu verbessern, gewichtet das LLM die neuen Beschreibungen und diejenigen mit geringerer Mehrdeutigkeit stärker. Dieser Prozess ermöglicht es dem Roboter, seine Erinnerungen in Echtzeit zu aktualisieren, während er sich durch die Umgebung bewegt.

Die Auswahl der zusätzlichen Ansichten erfolgt gezielt, um den Rechenaufwand zu minimieren, da die vollständige Neuberechnung durch das Vision-Language-Modell für jede einzelne Aufnahme zu aufwendig wäre. Diese heuristische Strategie stellt sicher, dass nur die notwendigsten Datenpunkte zur Klärung der Unsicherheit erhoben werden, was die Echtzeitfähigkeit des Systems in dynamischen Umgebungen erhält.

Ablauf der Gedächtniskorrektur

Schritt-für-Schritt-Prozess zur Korrektur von Objektbeschreibungen.

  1. 01Der Roboter erfasst mehrere Bilder desselben Objekts aus verschiedenen Winkeln.
  2. 02Das System berechnet das VLM-Vertrauen und die Konsistenz zwischen den Beschreibungen.
  3. 03Wenn die Unsicherheit den Schwellenwert überschreitet, werden zusätzliche Frames per Heuristik ausgewählt.
  4. 04Ein LLM fusioniert die Beschreibungen und priorisiert die mit geringerer Mehrdeutigkeit.
  5. 05Das Gedächtnis des Roboters wird mit der korrigierten Beschreibung aktualisiert.
04

Ergebnisse und Genauigkeit

In den durchgeführten Tests war der Verfeinerungsschritt in der Lage, Mehrdeutigkeiten für etwa 92 Prozent der Objekte in der Umgebung des Roboters aufzulösen. Dieser Prozess erforderte nur zwei zusätzliche Beschreibungen pro Objekt, um die Korrektur zu erreichen.

Im Vergleich zu Basismethoden erhöhte UQ-DAAAM das Vertrauen des Roboters und verbesserte die Genauigkeit seiner Antworten auf Fragen zu Objekten, deren Standorten und dem Zeitpunkt ihrer letzten Sichtung. Die Genauigkeit der Objektbeschreibungen stieg um 5 Prozent im Vergleich zum vorherigen Stand der Technik.

Leistungsindikatoren von UQ-DAAAM

Vergleich der von den Forschern berichteten Ergebnisse.

MetrikBerichtetes Ergebnis
Objekte mit aufgelöster Mehrdeutigkeit92%
Zusätzliche Beschreibungen pro Objekt2
Verbesserung der Beschreibungsgenauigkeit5% gegenüber dem Stand der Technik
05

Anwendungen und Einschränkungen

Luca Carlone, Associate Professor am MIT und Hauptautor, betont, dass es wesentlich ist, einem Roboter zu ermöglichen, zu wissen, was er nicht weiß, damit diese Technologie sicher eingesetzt werden kann. Im Gegensatz zu konversationellen Sprachmodellen reicht bei physischer KI eine Haftungsaussage nicht aus; der Roboter muss seine Unsicherheit aktiv verwalten.

Die Forscher planen, UQ-DAAAM auf verschiedene Robotertypen, wie mobile Manipulatoren, anzuwenden und die Unsicherheitsquantifizierung zu nutzen, um Bereiche mit hoher Unsicherheit zu identifizieren, die der Roboter erneut besuchen könnte. Die Arbeit wurde auf der Conference on Neural Information Processing Systems (NeurIPS) vorgestellt und wird teilweise vom U.S. Army Research Laboratory und dem U.S. Office of Naval Research unterstützt.

Die aktive Verwaltung der Unsicherheit unterscheidet physische KI-Systeme fundamental von rein sprachbasierten Modellen, da hier keine abstrakte Haftung, sondern eine konkrete operative Sicherheit im Vordergrund steht. Der Roboter muss in der Lage sein, die Grenzen seines Wissens zu erkennen und darauf basierend sein Verhalten anzupassen, um unvorhergesehene Risiken in der physischen Welt zu vermeiden.

06

Weiter entdecken

Verwendete Quellen

03

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.

Korrektur vorschlagen