Molmo2-4B-tb : capacités, limites et exigences de déploiement
Image générée par l’équipe éditoriale d’Inferama
01

Ce que fait exactement le modèle

Molmo2-4B-tb est un planificateur de haut niveau conçu pour ToyBlocks, un environnement de simulation développé par l’Allen Institute for AI (Ai2). Il reçoit un objectif d’empilement formulé en texte et une image de la caméra frontale du robot, puis détermine l’étape suivante à accomplir.

Le modèle ne commande pas directement les actionneurs du robot. Il produit un plan succinct, indique une action — par exemple *pick*, *place*, *flip* ou *rotate* — et émet un point cible en coordonnées normalisées de 0 à 1 000. Un composant de bas niveau, comme un planificateur de mouvement ou la politique apprise ManiFlow, exécute ensuite l’action.

Ce checkpoint est une version de Molmo2-4B ajustée pour ToyBlocks. Son entraînement a comporté 6 000 étapes sur des épisodes simulés d’empilement de trois blocs. Le mélange d’entraînement incluait également 25 % de données générales de pointage — PixMo-Points, PixMo-Count et CoSyn-Point — pour conserver les capacités de localisation du modèle de base. Ces précisions décrivent la configuration publiée par Ai2, pas une évaluation indépendante.

02

Capacités et exemple d’interaction

L’entrée comprend une image de 640 × 360 pixels de la caméra frontale et un objectif textuel décrivant l’ordre des blocs, par exemple « stack A 4 B ». La fiche du modèle indique une vitesse d’exécution d’environ 6 Hz. Ce chiffre ne suffit pas, à lui seul, à établir les performances en temps réel de l’ensemble robotique : elles dépendent aussi du traitement d’image, du matériel et du composant qui exécute les actions.

La sortie suit un format structuré : le modèle décrit d’abord l’état actuel de l’objectif, puis nomme l’étape suivante et désigne le bloc ou la zone à viser. Pour un objectif où le bloc A doit être placé sur le bloc 4, lui-même posé sur le bloc B, une réponse peut indiquer que A n’est pas encore sur 4, proposer de déplacer A vers 4, puis pointer le bloc A.

Les actions discrètes prises en charge sont *pick* (saisir), *place* (poser sur un bloc ou sur la table), *flip* (retourner vers l’une de quatre directions), *rotate* (tourner dans le sens horaire ou antihoraire) et *done* (terminer). Ces étiquettes décrivent des actions prévues, et non des mouvements garantis : l’exécuteur de bas niveau doit encore réussir à les réaliser.

03

Évaluations publiées et méthode

Ai2 décrit trois ensembles de test de 200 épisodes chacun : Easy pour l’empilement simple, Medium pour la réorientation et l’empilement, et Hard pour la recherche de blocs, leur réorientation et leur empilement. Chaque niveau distingue des blocs vus pendant l’entraînement, présentés dans de nouvelles configurations, et des blocs tenus à l’écart de l’entraînement.

Les résultats varient fortement selon l’exécuteur de bas niveau. Avec un planificateur de mouvement, le système atteint 97,5 % de réussite sur les tâches Easy avec des blocs vus, contre 81,0 % avec des blocs non vus. Avec la politique apprise ManiFlow-tb, les taux correspondants sont de 55,5 % et 44,5 %. Ces différences montrent que les chiffres ne caractérisent pas uniquement le planificateur Molmo2-4B-tb : ils dépendent du système hiérarchique complet.

L’écart demeure dans les tâches plus complexes. En Hard, le système associé au planificateur de mouvement atteint 31,5 % avec des blocs vus et 14,5 % avec des blocs non vus ; avec ManiFlow, les résultats sont de 17,0 % et 10,0 %. Sur un robot réel, Ai2 rapporte 6 réussites sur 10 essais avec ManiFlow. Ces essais portent sur le système complet, pas sur le planificateur isolé ; leur nombre limité ne permet pas d’en déduire une fiabilité générale.

Taux de réussite en simulation (%)

Résultats publiés par Ai2 dans la fiche du modèle. Chaque cellule correspond à un ensemble de 200 épisodes.

DifficultéPlanificateur de mouvement (blocs vus)Planificateur de mouvement (blocs non vus)ManiFlow (blocs vus)ManiFlow (blocs non vus)
Easy97,581,055,544,5
Medium53,536,535,512,5
Hard31,514,517,010,0
04

Licence, coûts et déploiement

Les poids de Molmo2-4B-tb sont distribués sous licence Apache 2.0, sans frais de licence pour le modèle. Ai2 ne publie pas de tarif API officiel pour ce checkpoint. Les poids peuvent être téléchargés depuis Hugging Face ; d’éventuels services d’inférence tiers ont leurs propres tarifs et conditions, et leur prise en charge de la variante « -tb » n’est pas établie ici.

La fiche estime les besoins à environ 20 Go de mémoire GPU en bfloat16. Le checkpoint utilise le format natif de Molmo2, et non un format standard directement interchangeable avec Transformers. Le dépôt ToyBlocks fournit le code d’inférence associé. La mémoire nécessaire peut varier avec la configuration d’exécution ; l’estimation publiée ne remplace pas un essai sur le matériel visé.

Les dépendances logicielles indiquées comprennent PyTorch 2.3.1 ou une version ultérieure, torchvision, omegaconf, tokenizers, sentencepiece, einops, huggingface_hub et accelerate. Pour l’entraînement, Ai2 déclare avoir utilisé un nœud équipé de 8 GPU NVIDIA H100 de 80 Go pendant environ 8 heures. L’estimation publiée des émissions de cette exécution est d’environ 61 kg CO₂e ; elle correspond à l’entraînement rapporté, pas au coût d’une inférence.

Étapes de déploiement local

Le dépôt ToyBlocks fournit l’environnement et le code nécessaires pour utiliser le checkpoint dans son format natif.

  1. 01Télécharger le checkpoint avec la commande documentée : hf download allenai/Molmo2-4B-tb --local-dir Molmo2-4B-tb.
  2. 02Cloner le dépôt ToyBlocks et préparer un environnement compatible, notamment avec Python 3.11.
  3. 03Installer les dépendances prévues par le projet : uv pip install -e ".[dev,isaac,torch-cu128,vecgen]".
  4. 04Lancer le code d’inférence de ToyBlocks en indiquant le checkpoint et l’image d’entrée.
  5. 05Vérifier la mémoire GPU disponible et la prise en charge de bfloat16 sur le matériel choisi.
05

Limites, sécurité et solutions de remplacement

La fiche du modèle précise qu’aucun benchmark de sécurité spécifique n’a été adapté aux tâches ToyBlocks. Le domaine visé se limite au déplacement de blocs sur une table. Les résultats publiés ne démontrent donc ni la sécurité d’un robot dans d’autres conditions, ni l’aptitude à des usages critiques.

Une limite pratique importante est la dépendance à l’exécuteur de bas niveau. Les taux de réussite diffèrent nettement entre le planificateur de mouvement et ManiFlow, en particulier lorsque les tâches deviennent plus difficiles ou portent sur des blocs non vus. Pour évaluer un déploiement, il faut tester l’ensemble du système retenu, avec son robot, ses capteurs et ses conditions d’utilisation, plutôt que d’extrapoler les résultats d’un seul composant.

Molmo2-4B, le modèle de base, peut servir à des tâches générales de vision-langage, mais ses capacités ne sont pas identiques à celles de la variante affinée pour ToyBlocks. Une équipe qui a besoin d’une logique de décision différente peut aussi développer ou adapter son propre planificateur. Les environnements comme Isaac Sim et les politiques apprises offrent d’autres voies, au prix d’un travail de conception, de données et d’évaluation qui leur est propre.

06

Choisir selon le projet

Molmo2-4B-tb peut convenir à une équipe de recherche en robotique qui étudie l’empilement de blocs sur table dans un environnement contrôlé et souhaite expérimenter avec un planificateur de haut niveau publiquement documenté. Il ne s’agit pas d’une solution générale de manipulation robotique, ni d’un contrôleur autonome prêt à l’emploi.

ToyBlocks permet de générer des démonstrations et d’évaluer des politiques en boucle fermée en simulation. Cette infrastructure peut aider une équipe à relier les résultats aux données d’entraînement, à examiner les échecs et à modifier les expériences. Elle ne garantit pas que le comportement observé en simulation se reproduira sur un robot réel.

Si le projet exige une généralisation à d’autres objets, robots ou tâches, cette variante ne fournit pas à elle seule cette capacité. Il faut comparer les solutions sur des scénarios représentatifs du projet, vérifier les licences des données et mesurer séparément la qualité de la planification et celle de l’exécution. Le choix d’un modèle de base ou d’une autre architecture dépendra des tâches et des contraintes réellement visées.

Adéquation au projet

Repères pour décider si la variante répond au besoin ; les résultats doivent être vérifiés dans le système visé.

CritèreAdéquation
Empilement de blocs sur une table en environnement contrôléCible prévue
Analyse des liens entre données d’entraînement et résultatsToyBlocks fournit des outils pertinents
Usage commercialÀ examiner au regard des licences des données
Généralisation à d’autres robots ou tâchesNon établie par les résultats publiés
Déploiement local avec GPU adaptéPossible avec le code ToyBlocks et le format natif
07

Poursuivre l’exploration

Sources consultées

03

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.

Proposer une correction