Was das exakte Modell tut
Molmo2-4B-tb ist ein High-Level-Planer, der speziell für den Simulationsframework ToyBlocks entwickelt wurde, der vom Allen Institute for AI (Ai2) stammt. Seine Aufgabe besteht darin, ein textuelles Stapelziel für Blöcke und ein Bild der vorderen Kamera des Roboters zu interpretieren, um den nächsten Schritt der Aufgabe zu bestimmen.
Das Modell steuert die Aktuatoren des Roboters nicht direkt. Stattdessen erzeugt es einen kurzen Plan, benennt die auszuführende Aktion (wie *pick*, *place*, *flip* oder *rotate*) und gibt einen Zielpunkt in normalisierten Koordinaten (0-1000) aus, der angibt, wo der Low-Level-Ausführer, wie ein Bewegungsplaner oder eine erlernte ManiFlow-Policy, handeln soll.
Dieser Checkpoint ist eine feinjustierte Version von Molmo2-4B, dem Basismodell der Vision-Language-Familie von Ai2. Die Feinjustierung erfolgte mit 6.000 Trainingsschritten in simulierten Episoden des Stapelns von drei Blöcken, wobei 25 % allgemeine Pointing-Daten (PixMo-Points, PixMo-Count, CoSyn-Point) gemischt wurden, um die räumlichen Lokalisierungsfähigkeiten des ursprünglichen Modells beizubehalten.
Die Arbeitsteilung zwischen den beiden Ebenen ist zentral: Molmo2-4B-tb legt fest, welche diskrete Aktion als Nächstes erfolgen soll und auf welchen Punkt sie zielt. Die konkrete Bewegung bleibt dem nachgeschalteten Ausführer überlassen. Ein ausgegebener Zielpunkt ist daher weder ein Motorbefehl noch eine vollständige Bewegungsbahn, sondern eine räumliche Vorgabe für die nächste Ausführungsstufe.
Die Feinjustierung verbindet simulierte Stapelaufgaben mit allgemeinen Daten zum räumlichen Zeigen. Der Anteil dieser Pointing-Daten soll Lokalisierungsfähigkeiten des Basismodells erhalten; er ändert jedoch nicht den ausdrücklich begrenzten Aufgabenbereich des Checkpoints. Die Trainingsbeschreibung belegt für sich genommen keine Übertragbarkeit auf andere Roboter oder Manipulationsaufgaben.
Fähigkeiten und Beispiele pro Aufgabe
Die Eingabe des Modells besteht aus einem Bild von 640x360 Pixeln der vorderen Kamera und einem Textstring, der das Turmziel beschreibt, z. B. "stack A 4 B". Das Modell verarbeitet diese Informationen mit einer Rate von etwa 6 Hz, was eine Echtzeitplanung für Tischaufgaben ermöglicht.
Das Ausgabeformat ist strukturiert: Zuerst deklariert es den aktuellen Fortschritt des Ziels, dann benennt es den nächsten Schritt und schließlich zeigt es auf den Block oder den Punkt auf dem Tisch, an dem die Aktion ausgeführt werden muss. Wenn das Ziel beispielsweise darin besteht, Block A auf 4 und 4 auf B zu stapeln, kann das Modell antworten: "now: A not on 4, 4 on B. next: move A to 4. Do: block A <points coords='1 1 367 623'>block A</points> pick".
Die unterstützten diskreten Aktionen umfassen: *pick* (greifen), *place* (auf einen Block oder den Tisch legen), *flip* (in vier Richtungen drehen), *rotate* (im Uhrzeigersinn oder gegen den Uhrzeigersinn rotieren) und *done* (Aufgabe abgeschlossen). Diese Diskretisierung vereinfacht die Schnittstelle zu den Low-Level-Ausführern und erleichtert die Leistungsbewertung des Planers.
Die Koordinatenangabe in der Modellausgabe dient dazu, das bezeichnete Objekt oder den Zielbereich im Kamerabild räumlich zu verorten. Zusammen mit der Aktionsbezeichnung lässt sich daraus eine Anweisung an den Low-Level-Ausführer bilden. Die strukturierte Ausgabe beschreibt einen Planungsschritt, nicht den Nachweis, dass der Roboter ihn korrekt oder sicher ausgeführt hat.
Die Aktion *done* signalisiert, dass das Modell die Aufgabe als abgeschlossen einstuft. Sie ist Teil des diskreten Aktionsvokabulars und ersetzt keine unabhängige Prüfung des tatsächlichen Zustands auf dem Tisch. Ebenso beschreibt *place* eine vorgesehene Platzierung; ob sie gelingt, hängt auch von der nachgeschalteten Ausführung ab.
Benchmarks und veröffentlichte Methodik
Ai2 bewertet das Modell in drei Testsets mit jeweils 200 Episoden, klassifiziert nach Schwierigkeitsgrad: Easy (einfaches Stapeln), Medium (Neuausrichtung von Blöcken und Stapeln) und Hard (Suchen von Blöcken, Neuausrichtung und Stapeln). Jedes Set wird in während des Trainings gesehene Blöcke (in neuen Konfigurationen) und ungesehene Blöcke (held-out) unterteilt.
Die Ergebnisse variieren je nach Low-Level-Ausführer erheblich. Mit einem Bewegungsplaner (motion planner) erreicht das Modell eine Erfolgsrate von 97,5 % bei Easy-Aufgaben mit gesehenen Blöcken, fällt aber auf 81,0 % bei ungesehenen Blöcken ab. Mit der erlernten Policy ManiFlow-tb ist die Leistung geringer: 55,5 % bei Easy gesehen und 44,5 % bei Easy ungesehen.
Bei komplexeren Aufgaben vergrößert sich die Lücke. Im Hard-Set beträgt der Erfolg mit dem Bewegungsplaner 31,5 % (gesehen) und 14,5 % (ungesehen), während er mit ManiFlow-tb 17,0 % (gesehen) und 10,0 % (ungesehen) beträgt. An einem realen Roboter mit ManiFlow als Ausführer erzielte das Gesamtsystem 6 Erfolge in 10 Versuchen (60 %).
Die Erfolgsraten messen das Ergebnis des hierarchischen Systems aus Planer und jeweiligem Low-Level-Ausführer. Deshalb lassen sich die Werte der beiden Ausführer nicht als isolierter Leistungsvergleich des Planungsmodells lesen: Der nachgeschaltete Ausführer verändert, ob ein geplanter Schritt erfolgreich umgesetzt wird. Die ausgewiesenen Prozentwerte gelten für die beschriebenen Episoden und Konfigurationen, nicht als allgemeine Erfolgswahrscheinlichkeit für andere Aufgaben.
Die Trennung zwischen gesehenen und nicht gesehenen Blöcken prüft, ob das System mit während des Trainings nicht verwendeten Blöcken zurechtkommt. Die Ergebnisse fallen in den berichteten Tests bei nicht gesehenen Blöcken niedriger aus. Das zeigt eine Einschränkung innerhalb dieser Evaluation; daraus folgt weder eine vollständige Aussage über alle möglichen Objekte noch eine Garantie für die Übertragbarkeit auf neue Konfigurationen.
Auch der Versuch am realen Roboter bewertet das Gesamtsystem mit ManiFlow als Ausführer. Sechs erfolgreiche Durchläufe von zehn belegen das Ergebnis dieser kleinen Versuchsreihe, isolieren aber nicht den Beitrag des Planers. Die Zahl ist daher nicht ohne Weiteres mit den simulierten Raten oder mit Ergebnissen anderer Ausführungssysteme gleichzusetzen.
Erfolgsrate in der Simulation (%)
Von Ai2 in der Modellkarte berichtete Ergebnisse. Jede Zelle entspricht 200 Episoden.
| Schwierigkeit | Motion Planner (gesehen) | Motion Planner (ungesehen) | ManiFlow (gesehen) | ManiFlow (ungesehen) |
|---|---|---|---|---|
| Easy | 97,5 | 81,0 | 55,5 | 44,5 |
| Medium | 53,5 | 36,5 | 35,5 | 12,5 |
| Hard | 31,5 | 14,5 | 17,0 | 10,0 |
Preis und Bereitstellungsanforderungen
Molmo2-4B-tb wird unter der Apache-2.0-Lizenz verteilt, was seine Verwendung in Forschung und Bildung ohne Modelllizenzgebühr ermöglicht. Es gibt keine offizielle kommerzielle API von Ai2 für diesen Checkpoint; der Zugriff erfolgt über den Download der Gewichte von Hugging Face oder über Inference-Anbieter von Drittanbietern.
Die lokale Bereitstellung erfordert etwa 20 GB GPU-Speicher im bfloat16-Format. Das Modell läuft im nativen Molmo2-Format, nicht im Standardformat von Hugging Face Transformers, daher muss der Inferenzcode aus dem ToyBlocks-Repository verwendet werden.
Die Softwareanforderungen umfassen PyTorch (>=2.3.1), torchvision, omegaconf, tokenizers, sentencepiece, einops, huggingface_hub und accelerate. Das ursprüngliche Training erfolgte auf einem Knoten mit 8 NVIDIA H100 80GB GPUs, was etwa 8 Stunden Rechenzeit in Anspruch nahm und pro Lauf etwa 61 kg CO2e emittierte.
Die Lizenz des Checkpoints und die Bedingungen für seine Trainingsdaten sind getrennt zu beurteilen. Die Apache-2.0-Lizenz beschreibt die Lizenzierung des Modells, hebt aber mögliche Einschränkungen der im Basismodell verwendeten Drittanbieterdaten nicht auf. Vor einer Nutzung in Forschung, Bildung oder Produktion müssen die jeweils einschlägigen Lizenzbedingungen geprüft werden.
Der angegebene GPU-Speicherbedarf bezieht sich auf die lokale Ausführung im bfloat16-Format. Er ist ein Planungswert für die benötigte Hardware, keine Zusage, dass das Modell auf jeder GPU mit dieser Speicherkapazität ohne weitere Anpassungen läuft. Zusätzlich verlangt das native Molmo2-Format den vorgesehenen Inferenzcode aus dem ToyBlocks-Repository; ein Transformers-Standardablauf ist laut Beschreibung nicht der vorgesehene Weg.
Prozess der lokalen Bereitstellung
Schritte zur Ausführung des Modells auf eigener Infrastruktur.
- 01Gewichte von Hugging Face herunterladen: hf download allenai/Molmo2-4B-tb --local-dir Molmo2-4B-tb
- 02ToyBlocks-Repository klonen und die virtuelle Umgebung mit Python 3.11 einrichten
- 03Abhängigkeiten installieren: uv pip install -e ".[dev,isaac,torch-cu128,vecgen]"
- 04Den im Repository bereitgestellten Inferenzskript ausführen, wobei der Pfad zu den Gewichten und das Eingabebild angegeben werden
- 05Sicherstellen, dass die GPU mindestens 20 GB verfügbaren Speicher hat und das bfloat16-Format unterstützt wird
Einschränkungen, Sicherheit und Alternativen
Das Modell hat keine spezifischen Sicherheits-Benchmarks durchlaufen, da sein Umfang auf das Stapeln von Blöcken in Simulation und am realen Roboter beschränkt ist. Es darf nicht zur Steuerung sicherheitskritischer Systeme oder für Aufgaben verwendet werden, die Entscheidungen über Personen oder unkontrollierte Umgebungen beinhalten.
Eine wichtige Einschränkung ist die Abhängigkeit vom Low-Level-Ausführer. Die Leistung des Gesamtsystems variiert je nachdem, ob ein Bewegungsplaner oder eine erlernte Policy verwendet wird. Das bedeutet, dass die veröffentlichten Benchmarks nicht den isolierten Planer, sondern das vollständige hierarchische System messen.
Als Alternativen können Teams das Basismodell Molmo2-4B für allgemeine Vision-Language-Aufgaben in Betracht ziehen oder einen eigenen Planer entwickeln, wenn sie mehr Kontrolle über die Entscheidungslógica benötigen. Für komplexere Manipulationsaufgaben können Frameworks wie Isaac Sim mit spezifischen erlernten Policies erkundet werden, was jedoch mehr Forschungsaufwand und Trainingsdaten erfordert.
Die fehlenden spezifischen Sicherheits-Benchmarks begrenzen, was sich über das Verhalten des Modells in sicherheitsrelevanten Situationen sagen lässt. Sein enger Einsatzzweck ist kein Sicherheitsnachweis: Die Beschränkung auf Blockstapeln macht das System nicht für unkontrollierte Umgebungen geeignet. Der Hinweis gegen den Einsatz in sicherheitskritischen Anwendungen gilt unabhängig davon, ob einzelne Stapelversuche erfolgreich waren.
Die Benchmarks des Gesamtsystems hängen von der Kombination aus Planer und Ausführer ab. Ein Wechsel des Low-Level-Ausführers kann die Erfolgsrate deutlich verändern; die veröffentlichten Resultate beschreiben deshalb konkrete Systemkonfigurationen statt einer vom Ausführer unabhängigen Leistung des Planers. Auch die reale Versuchsreihe mit ManiFlow erlaubt keine getrennte Zuordnung der Erfolge zu einer einzelnen Systemkomponente.
Praktische Auswahlkriterien
Molmo2-4B-tb ist für Forschungsteams in der Robotik geeignet, die mit Aufgaben zum Stapeln von Blöcken in kontrollierten Umgebungen arbeiten und einen reproduzierbaren High-Level-Planer benötigen. Es ist keine allgemeine Lösung für robotergestützte Manipulation.
Es ist sinnvoll, es zu verwenden, wenn Nachverfolgbarkeit zwischen Trainingsdaten und Modellleistung erforderlich ist, da ToyBlocks die skalierbare Generierung von Demonstrationsdaten ermöglicht und die Policies in geschlossener Schleife in der Simulation bewertet. Dies erleichtert die Fehldiagnose und die iterative Verbesserung des Systems.
Es ist nicht die richtige Wahl, wenn ein Modell benötigt wird, das auf andere Objekttypen, Roboter oder Aufgaben generalisiert. In solchen Fällen ist es vorzuziehen, das Basismodell Molmo2-4B als Ausgangspunkt für eine spezifische Feinjustierung zu verwenden oder andere Vision-Language-Architekturen mit größerer Generalisierungsfähigkeit zu erkunden.
Die Eignung des Checkpoints hängt vor allem davon ab, ob die Aufgabe seinem engen Zuschnitt entspricht: Blockstapeln auf einem Tisch in einer kontrollierten Umgebung. Die Daten- und Simulationsabläufe von ToyBlocks können die Nachvollziehbarkeit von Versuchen unterstützen, doch diese Nachvollziehbarkeit ist nicht gleichbedeutend mit einer erfolgreichen Ausführung oder mit einer Übertragung auf andere Roboter und Aufgaben.
Für eine Auswahl sollten Teams außerdem den Ausführer und die verfügbare Hardware gemeinsam betrachten. Die berichteten Simulationswerte unterscheiden sich je nach Ausführer, und die lokale Bereitstellung setzt ungefähr 20 GB GPU-Speicher im bfloat16-Format voraus. Diese Bedingungen helfen, den Checkpoint einzuordnen; sie garantieren weder eine bestimmte Erfolgsrate noch eine allgemeine Eignung für den produktiven Betrieb.
Wann Molmo2-4B-tb verwenden
Kriterien zur Entscheidung, ob dieses Modell für Ihr Projekt geeignet ist.
| Kriterium | Geeignet | Nicht geeignet |
|---|---|---|
| Aufgabe des Stapelns von Blöcken auf einem Tisch | Ja | Nein |
| Bedarf an Daten-Nachverfolgbarkeit | Ja | Nein |
| Verwendung in kommerzieller Produktion | Nein (Datenlizenzen prüfen) | Ja |
| Generalisierung auf andere Roboter | Nein | Ja |
| Infrastruktur mit GPU von 20 GB+ | Ja | Nein |
Weiter entdecken
Verwendete Quellen
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen