Lancement et disponibilité des poids
L'Allen Institute for AI (Ai2) a publié les poids de Molmo2-4B-tb et ManiFlow-tb, deux modèles conçus spécifiquement pour la tâche d'empilement de blocs sur une table. La disponibilité des fichiers est confirmée dans les dépôts officiels de Hugging Face, où les poids sont accessibles sous la licence Apache 2.0. La fiche du modèle indique une date de développement en novembre 2026, coïncidant avec la date de vérification des ressources.
Le lancement fait partie du projet ToyBlocks, un cadre de simulation ouvert basé sur IsaacSim/IsaacLab. Cet environnement permet aux chercheurs de générer des données de démonstration de manière scalable sans avoir besoin de téléopération coûteuse. Les modèles sont distribués avec le code d'entraînement et d'évaluation, facilitant la reproduction des résultats et l'adaptation à de nouveaux scénarios de recherche.
Architecture et fonctionnement du système hiérarchique
Le système fonctionne via une architecture hiérarchique à deux niveaux. Molmo2-4B-tb agit comme le modèle de haut niveau, avec environ 4,5 milliards de paramètres. Il prend en entrée une image de la caméra avant de 640x360 pixels et un objectif textuel, et produit un plan d'action discret ainsi qu'un point cible dans l'image. Ce point indique où le robot doit agir.
ManiFlow-tb est le modèle de bas niveau, avec 322,5 millions de paramètres. Il reçoit les images de la caméra avant et de la pince, l'état du robot de 9 dimensions, l'étiquette de la tâche et la carte de chaleur cible générée par le modèle de haut niveau. Sa sortie est un segment de 25 actions exécutées sur un horizon de prédiction de 50. Cette séparation permet au planificateur de se concentrer sur la stratégie et à la politique de bas niveau sur l'exécution motrice précise.
Comparatif des modèles ToyBlocks
| Caractéristique | Molmo2-4B-tb | ManiFlow-tb |
|---|---|---|
| Rôle | Planificateur de haut niveau | Politique de bas niveau |
| Paramètres | ~4,5 milliards | 322,5 millions |
| Entrées | Image avant, objectif textuel | Images, état robot, tâche, carte cible |
| Sortie | Plan, action, point cible | Segment de 25 actions |
Résultats d'évaluation en simulation et sur robot réel
Ai2 a publié des métriques de succès en boucle fermée pour le système complet. Dans la simulation de ToyBlocks, avec le jeu de tests Easy (empilement de base) et des blocs vus lors de l'entraînement, le système atteint un taux de succès de 97,5 % lorsqu'un planificateur de mouvement est utilisé comme exécuteur de bas niveau. Lorsque le planificateur est remplacé par la politique apprise ManiFlow-tb, le succès diminue à 55,5 % sur le même jeu de tests.
Sur un robot réel, la combinaison de Molmo2-4B-tb et ManiFlow-tb a obtenu 6 succès sur 10 essais. Pour ManiFlow-tb évalué isolément avec un plan de référence (oracle) en simulation, les résultats varient entre 54 % et 59 % de succès sur 128 épisodes, selon la variabilité de la simulation. Ces chiffres reflètent les performances du système complet ou de ses composants dans des conditions contrôlées, et non une garantie de performance dans des environnements non structurés.
Taux de succès en simulation (ToyBlocks)
Pourcentage de succès sur 200 épisodes par jeu de tests et exécuteur de bas niveau.
| Difficulté | Planificateur (vus) | Planificateur (non vus) | ManiFlow (vus) | ManiFlow (non vus) |
|---|---|---|---|---|
| Easy | 97,5 % | 81,0 % | 55,5 % | 44,5 % |
| Medium | 53,5 % | 36,5 % | 35,5 % | 12,5 % |
| Hard | 31,5 % | 14,5 % | 17,0 % | 10,0 % |
Exigences techniques et considérations de déploiement
Le déploiement de Molmo2-4B-tb nécessite environ 20 Go de mémoire GPU en précision bfloat16. Le modèle utilise un encodeur de vision SigLIP 2 et un modèle de langage Qwen3-4B. ManiFlow-tb est stocké au format safetensors avec une précision bf16 et nécessite l'infrastructure de ToyBlocks pour son évaluation et son exécution.
Il est important de noter que ces modèles sont limités à la manipulation de blocs sur une table. Ils n'émettent pas de commandes de moteur génériques et ne sont pas conçus pour d'autres types de robots ou de tâches. La licence des poids est Apache 2.0, mais le modèle de base Molmo2-4B a été entraîné sur des données de tiers soumises à des restrictions d'utilisation académique et non commerciale. Les utilisateurs doivent examiner ces conditions avant d'appliquer le modèle à des cas d'usage spécifiques.
Implications pour la recherche en robotique
La publication de ToyBlocks et de ses modèles offre à la communauté un outil contrôlé pour l'apprentissage des robots. En permettant un contrôle total sur la génération de données, les chercheurs peuvent retracer les résultats des politiques entraînées jusqu'aux données d'entraînement. Cela facilite l'analyse des échecs et l'amélioration itérative des systèmes.
L'approche de génération de données synthétiques à l'échelle réduit la dépendance à la téléopération, qui est coûteuse et lente. La capacité de varier les expériences d'entraînement, comme augmenter les démonstrations de poussée ou de retournement, permet d'évaluer la généralisation des politiques sur des tâches non vues. Ce cadre est particulièrement utile pour étudier l'interaction entre la planification de haut niveau et l'exécution de bas niveau dans les environnements de manipulation.
Flux de travail de ToyBlocks
Processus typique pour générer des données et évaluer des politiques dans ToyBlocks.
- 01Installer les dépendances et mettre à jour les sous-modules.
- 02Télécharger les actifs et configurer l'environnement de simulation.
- 03Générer des données de démonstration en utilisant le pipeline de génération de données.
- 04Entraîner la politique de bas niveau (ManiFlow) avec les données générées.
- 05Évaluer la politique en boucle fermée en simulation ou sur robot réel.
Poursuivre l’exploration
Sources consultées
Corrections et transparence
Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.
Proposer une correction