Ai2 veröffentlicht Molmo2-4B-tb und ManiFlow-tb für Blockstapeln in Simulation und auf einem realen Roboter
Bild erstellt vom Redaktionsteam von Inferama
01

Veröffentlichung und Verfügbarkeit der Gewichte

Das Allen Institute for AI (Ai2) hat die Gewichte von Molmo2-4B-tb und ManiFlow-tb veröffentlicht, zwei Modelle, die speziell für die Aufgabe des Stapelns von Blöcken auf einem Tisch entwickelt wurden. Die Gewichte sind unter der Apache 2.0-Lizenz zugänglich. Die Modellkarte weist einen Entwicklungszeitraum im November 2026 aus.

Die Veröffentlichung ist Teil des Projekts ToyBlocks, einem offenen Simulationsframework basierend auf IsaacSim/IsaacLab. Diese Umgebung ermöglicht es Forschern, Demonstrationsdaten skalierbar zu generieren, ohne auf kostspielige Teleoperation angewiesen zu sein. Die Modelle werden zusammen mit dem Trainings- und Evaluierungscode verteilt, was die Reproduzierbarkeit der Ergebnisse und die Anpassung an neue Forschungsszenarien erleichtert.

02

Architektur und Funktionsweise des hierarchischen Systems

Das System arbeitet nach einer hierarchischen Zwei-Stufen-Architektur. Molmo2-4B-tb dient als Hochstu-Modell mit etwa 4,5 Milliarden Parametern. Es nimmt ein Bild der Frontkamera mit 640x360 Pixeln und ein textuelles Ziel als Eingabe und erzeugt einen diskreten Aktionsplan sowie einen Zielpunkt im Bild. Dieser Punkt gibt an, wo der Roboter handeln soll.

ManiFlow-tb ist das Low-Level-Modell mit 322,5 Millionen Parametern. Es erhält die Bilder der Front- und Greiferkamera, den 9-dimensionalen Roboterzustand, das Aufgabenlabel und die Ziel-Hitzekarte, die vom Hochstu-Modell generiert wurde. Die Ausgabe ist ein Segment von 25 ausgeführten Aktionen aus einer Vorhersagehorizont von 50. Diese Trennung ermöglicht es dem Planer, sich auf die Strategie zu konzentrieren, während die Low-Level-Policy für die präzise motorische Ausführung zuständig ist.

Vergleich der ToyBlocks-Modelle

MerkmalMolmo2-4B-tbManiFlow-tb
RolleHochstu-PlanerLow-Level-Policy
Parameter~4,5 Milliarden322,5 Millionen
EingabenFrontbild, textuelles ZielBilder, Roboterzustand, Aufgabe, Zielkarte
AusgabePlan, Aktion, ZielpunktSegment von 25 Aktionen
03

Evaluierungsergebnisse in Simulation und auf dem realen Roboter

Ai2 hat Metriken für den geschlossenen Regelkreis für das Gesamtsystem veröffentlicht. In der ToyBlocks-Simulation erreicht das System im Testset Easy (grundlegendes Stapeln) mit in der Trainingsphase gesehenen Blöcken eine Erfolgsrate von 97,5 %, wenn ein Bewegungsplaner als Low-Level-Ausführer verwendet wird. Wird der Planer durch die gelernte Policy ManiFlow-tb ersetzt, sinkt die Erfolgsrate auf 55,5 % im selben Testset.

Auf einem realen Roboter erzielte die Kombination aus Molmo2-4B-tb und ManiFlow-tb 6 Erfolge in 10 Versuchen. Für ManiFlow-tb, das isoliert mit einem Referenzplan (Orakel) in der Simulation evaluiert wurde, liegen die Ergebnisse zwischen 54 % und 59 % Erfolgsquote in 128 Episoden, abhängig von der Variabilität der Simulation. Diese Zahlen spiegeln die Leistung des Gesamtsystems oder seiner Komponenten unter kontrollierten Bedingungen wider, stellen aber keine Garantie für die Leistung in unstrukturierten Umgebungen dar.

Erfolgsquoten in der Simulation (ToyBlocks)

Prozentuale Erfolgsquote in 200 Episoden pro Testset und Low-Level-Ausführer.

SchwierigkeitPlaner (gesehen)Planer (ungesehen)ManiFlow (gesehen)ManiFlow (ungesehen)
Easy97,5 %81,0 %55,5 %44,5 %
Medium53,5 %36,5 %35,5 %12,5 %
Hard31,5 %14,5 %17,0 %10,0 %
04

Technische Anforderungen und Überlegungen zur Bereitstellung

Die Bereitstellung von Molmo2-4B-tb erfordert etwa 20 GB GPU-Speicher in bfloat16-Präzision. Das Modell verwendet einen SigLIP 2-Vision-Encoder und ein Qwen3-4B-Sprachmodell. ManiFlow-tb wird im Safetensors-Format mit bf16-Präzision gespeichert und benötigt die ToyBlocks-Infrastruktur für seine Evaluierung und Ausführung.

Es ist wichtig zu beachten, dass diese Modelle auf die Manipulation von Blöcken auf einem Tisch beschränkt sind. Sie geben keine generischen Motorbefehle aus und sind nicht für andere Robotertypen oder Aufgaben konzipiert. Die Lizenz der Gewichte ist Apache 2.0, aber das Basismodell Molmo2-4B wurde mit Dritt-Daten trainiert, die akademischen und nicht-kommerziellen Nutzungsbeschränkungen unterliegen. Nutzer sollten diese Bedingungen prüfen, bevor sie das Modell auf spezifische Anwendungsfälle anwenden.

05

Auswirkungen auf die Robotikforschung

Die Veröffentlichung von ToyBlocks und seinen Modellen bietet der Community ein kontrolliertes Werkzeug für das Robotiklernen. Durch die vollständige Kontrolle über den Datengenerierungsprozess können Forscher die Ergebnisse trainierter Policies bis zu den Trainingsdaten zurückverfolgen. Dies erleichtert die Fehleranalyse und die iterative Verbesserung der Systeme.

Der Ansatz, synthetische Daten im großen Maßstab zu generieren, reduziert die Abhängigkeit von der Teleoperation, die kostspielig und langsam ist. Die Möglichkeit, die Trainingserfahrungen zu variieren, wie z. B. die Demonstrationen von Schieben oder Wenden zu erhöhen, ermöglicht es, die Generalisierungsfähigkeit der Policies in unbekannten Aufgaben zu bewerten. Dieses Framework ist besonders nützlich, um die Interaktion zwischen Hochstu-Planung und Low-Level-Ausführung in Manipulationsumgebungen zu untersuchen.

ToyBlocks-Workflow

Typischer Prozess zur Datengenerierung und Policy-Evaluierung in ToyBlocks.

  1. 01Abhängigkeiten installieren und Submodule aktualisieren.
  2. 02Assets herunterladen und die Simulationsumgebung konfigurieren.
  3. 03Demonstrationsdaten mit dem Datengenerierungs-Pipeline generieren.
  4. 04Die Low-Level-Policy (ManiFlow) mit den generierten Daten trainieren.
  5. 05Die Policy im geschlossenen Regelkreis in der Simulation oder auf dem realen Roboter evaluieren.
06

Weiter entdecken

Verwendete Quellen

03

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.

Korrektur vorschlagen