Deux modèles pour combiner les formes d'interaction
H Company a présenté Holo4 comme une famille de modèles pour des agents travaillant avec des logiciels. La proposition centrale ne consiste pas seulement à contrôler un écran : le modèle peut cliquer et taper dans une interface graphique, créer et exécuter du code, et appeler des outils connectés via MCP ou API. Selon la tâche, il peut recourir à l'une ou l'autre voie et les combiner.
La famille comporte deux variantes : Holo4-27B, un modèle dense de 27 milliards de paramètres, et Holo4-35B-A3B, un mélange d'experts (MoE) avec 35 milliards de paramètres au total. L'entreprise affirme que les deux sont disponibles via l'API H Models et qu'elle a également publié les poids pour téléchargement. La disponibilité des poids ne signifie pas que les conditions d'utilisation sont identiques : avant d'intégrer l'une des variantes, il faut consulter la fiche et la licence en vigueur du modèle spécifique.
Interfaces et tâches couvertes par la proposition
H Company mentionne l'usage sur postes de travail, le web et Android, ainsi que des environnements isolés pour exécuter du code et des connexions aux API d'entreprise. L'approche vise à éviter qu'un agent dépende d'une seule interface : une tâche peut commencer dans une application graphique, continuer avec du code et se terminer via un outil ou une API, si l'environnement fournit ces ressources.
C'est pertinent car une interface graphique et une API n'offrent pas les mêmes possibilités. Sur un écran, l'agent doit interpréter ce qu'il voit et agir sur les contrôles ; une API, en revanche, permet d'échanger des données via des opérations définies. MCP est un protocole pour connecter des modèles à des outils. La publication présente Holo4 comme un même modèle pouvant utiliser ces options, mais n'établit pas que chaque application, compte ou service soit automatiquement compatible : l'intégration et les permissions dépendent de l'environnement d'exécution.
Benchmarks : résultats utiles, mais non interchangeables
La publication indique que Holo4-27B a obtenu 61,7 % sur OSWorld 2.0, une évaluation de tâches de contrôle de bureau, et que Holo4-35B-A3B a atteint 30,9 %. Elle compare également les modèles sur AutomationBench, un test centré sur l'usage d'outils et d'API. L'entreprise précise que ses résultats sur AutomationBench v1.0.6 ont été mesurés dans un environnement interne et qu'elle rapportera les résultats de Holo4 sur le jeu de données privé une fois cette évaluation terminée.
Ces chiffres doivent être lus avec les conditions de chaque test. La publication avertit que les comparaisons peuvent combiner des versions de modèles, des harnais, des sous-ensembles de tâches et des niveaux d'effort différents. Sur OSWorld 2.0, une partie des coûts est estimée à partir des jetons de chaque exécution ; sur AutomationBench, certains modèles sont comparés avec des scores de jeux publics, tandis que les coûts de référence peuvent provenir d'un classement basé sur le jeu privé. Par conséquent, un chiffre isolé ne permet pas de conclure qu'un modèle est meilleur dans tous les scénarios ni de comparer directement le coût réel d'une opération d'entreprise.
Comment interpréter les preuves publiées
| Preuve | Ce que cela permet d'observer | Ce que cela ne démontre pas à lui seul |
|---|---|---|
| OSWorld 2.0 : 61,7 % pour Holo4-27B et 30,9 % pour Holo4-35B-A3B, selon la publication | Performance communiquée sur une évaluation de tâches de bureau | Succès uniforme sur n'importe quel système d'exploitation, application ou flux réel |
| AutomationBench v1.0.6 dans le harnais interne de H Company | Résultats sous la configuration et le jeu décrits par l'entreprise | Comparaison pleinement équivalente avec des chiffres obtenus dans d'autres harnais ou partitions |
| Trajectoires d'exécution publiées pour les benchmarks | Permet d'inspecter des étapes concrètes de certaines exécutions | Que toutes les exécutions soient reproductibles ou qu'il n'y ait pas d'échecs hors de ces exemples |
Démonstrations et traces : ce qui peut être vérifié
H Company montre des exemples dans FreeCAD et Godot avec des comparaisons face à un modèle de base. Parmi les tâches figurent la construction d'une représentation 3D de la tour Eiffel et d'un jeu de type Pac-Man fonctionnant sans intervention du clavier. Ce sont des démonstrations concrètes de développement logiciel et de contrôle d'outils, pas une mesure suffisante des performances générales : une tâche peut nécessiter de nombreux appels, consommer beaucoup de jetons et ne pas représenter le comportement moyen en production.
L'entreprise indique également qu'elle publie les trajectoires de ses résultats sur les benchmarks pour qu'elles puissent être examinées ou téléchargées. Cette transparence peut aider à examiner les actions et les erreurs d'une exécution particulière. Pour transformer les démonstrations en preuves reproductibles, il faut vérifier la version du modèle, le prompt, l'environnement, les outils disponibles, le nombre de tentatives et les critères utilisés pour déclarer une tâche terminée. La publication n'élimine pas le besoin de répéter les tests sur le système où l'agent sera déployé.
Processus pratique pour évaluer Holo4 dans un flux propre
- 01Définir des tâches représentatives et un résultat vérifiable pour chacune, pas seulement des instructions ouvertes.
- 02Préparer un environnement de test avec les mêmes applications, outils, données et permissions prévus pour l'usage réel.
- 03Enregistrer le modèle, la configuration, les appels, le temps, la consommation et les erreurs ; inclure des tâches que l'agent ne devrait pas compléter.
- 04Répéter chaque tâche plusieurs fois et comparer le résultat avec une alternative et une exécution humaine de référence.
- 05Examiner les traces et tester des changements d'interface, des données incomplètes et des pannes d'outils avant de considérer un déploiement.
Accès, licences et limites de déploiement
La publication officielle indique que les deux tailles sont disponibles sur l'API H Models et que les poids sont proposés dans des formats tels que FP16, FP8 et GGUF. Elle mentionne également une variante petite nommée Holotron4 Nano et annonce des points de contrôle optimisés pour DSpark dans les jours suivant la publication. La disponibilité via une API et le téléchargement des poids sont des voies distinctes : la première dépend du service et de ses conditions ; la seconde nécessite une infrastructure pour exécuter le modèle et vérifier les conditions de licence de chaque version.
L'annonce n'offre pas de garantie d'autonomie sécurisée ni ne spécifie un système universel de permissions pour les actions. Dans une intégration réelle, l'opérateur doit décider quelles applications, fichiers, API et actions sont à la portée de l'agent. Il convient de séparer la lecture et l'écriture, de restreindre les opérations sensibles, d'exiger une confirmation humaine pour les changements irréversibles et de conserver des journaux. Ce sont des mesures de déploiement prudentes, pas des garde-fous à supposer intégrés à Holo4 sans documentation spécifique.
Ce qui change et ce qui reste à démontrer
Holo4 propose une architecture pratique pour des tâches passant de l'écran au code et aux outils, et publie des poids, des exemples et des résultats d'évaluation. Pour les équipes étudiant l'automatisation, la nouvelle est une option supplémentaire à tester dans des flux délimités, surtout si les outils nécessaires sont disponibles et si leurs résultats peuvent être évalués objectivement.
Les preuves annoncées ne suffisent pas à affirmer que Holo4 est un agent à usage universel, qu'il surpasse d'autres modèles dans des conditions identiques ou qu'il opère de manière fiable sans supervision. Les différences entre tests, harnais et jeux de tâches limitent les comparaisons directes. La décision raisonnable est de traiter les chiffres comme des résultats communiqués par H Company et de valider le modèle sur des tâches propres, avec des contrôles d'accès et des tests d'échec avant de lui confier des actions importantes.
Questions ouvertes
- Les benchmarks et les estimations de coûts dépendent de versions, harnais, sous-ensembles de tâches et configurations qui ne sont pas toujours équivalents entre les modèles.
- H Company indique qu'elle publiera les résultats de Holo4 sur la partition privée d'AutomationBench après évaluation ; cette donnée n'est pas confirmée dans les informations disponibles.
- La documentation fournie ne permet pas d'établir un taux d'échec général en production ni une garantie de fonctionnement sécurisé et autonome.
- Les licences spécifiques de chaque variante doivent être vérifiées dans les fiches en vigueur des modèles ; elles ne sont pas inférées ici à partir de sources secondaires.
Poursuivre l’exploration
Sources consultées
Corrections et transparence
Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.
Proposer une correction