Command A+ vs. Command R 08-2024 : comment décider d’une migration pour un assistant RAG multilingue

La question n’est pas de savoir quel modèle paraît le plus capable, mais ce qui change dans le produit complet

Une migration de Command R 08-2024 vers Command A+ doit être évaluée comme une modification du système, et non comme le remplacement isolé d’un identifiant de modèle. Dans un assistant d’entreprise fondé sur la génération augmentée par récupération, le résultat dépend de la requête, de l’indexation, du récupérateur, des documents disponibles, des instructions, de la validation de sortie, des tentatives répétées et de l’intervention humaine. Si l’un de ces éléments change entre les essais, il sera impossible d’attribuer une différence au modèle.

La documentation de Cohere place les deux modèles dans un contexte pertinent pour ce cas : Command R 08-2024 est orienté vers les flux de récupération, les citations, les outils et l’usage multilingue ; Command A+ documente les citations, les outils et les sorties structurées, ainsi qu’une modalité d’entrée comprenant le texte et l’image. Cette différence de modalité constitue une capacité disponible, mais ne démontre pas un avantage dans un essai où les requêtes, les preuves et les réponses sont exclusivement textuelles.

La décision utile est donc précise : avec le contrat réel de l’assistant, Command A+ augmente-t-il de façon vérifiable la proportion de réponses exploitables, fidèles aux preuves et compatibles opérationnellement ? Il faut également déterminer si cette amélioration compense d’éventuels changements d’intégration, de latence ou de coût effectif. Sans mesure commune, les caractéristiques annoncées par le fournisseur servent à concevoir l’essai, mais ne prouvent pas une amélioration pour une application donnée.

Capacités publiées à normaliser avant de mesurer

Selon l’inventaire et les pages de modèles de Cohere, Command R 08-2024 utilise l’identifiant `command-r-08-2024`, reçoit du texte, dispose d’une fenêtre de contexte de 128 000 tokens et d’un maximum de sortie de 4 000 tokens. Command A+ est identifié par `command-a-plus-05-2026`, accepte en entrée le texte et l’image, génère du texte, dispose d’une fenêtre de contexte de 128 000 tokens et d’un maximum de sortie de 64 000 tokens. Le statut et la disponibilité doivent être consignés à nouveau à la date de clôture de toute évaluation, car ces attributs peuvent évoluer dans la documentation du fournisseur.

Ces différences imposent de séparer deux questions. La première est la comparaison commune : les deux modèles reçoivent la même entrée textuelle, le même contexte récupéré et la même limite pratique de réponse. La seconde est l’évaluation de capacités étendues, telles que les images ou les réponses longues. Les mélanger favoriserait le modèle dont le contrat est plus large, même si cette amplitude n’est pas activée en production.

Il faut aussi figer les réglages susceptibles de modifier le comportement de génération. Si le déploiement utilise le raisonnement, les appels d’outils, les citations ou un format JSON, la configuration doit être équivalente dans l’espace partagé par les deux modèles. Il ne faut pas supposer que des valeurs portant le même nom produisent le même comportement. La requête, la réponse brute, la version du client et les paramètres effectifs doivent être enregistrés afin de pouvoir analyser les écarts.

Construire un corpus qui représente les erreurs coûteuses, et non seulement les questions faciles

L’ensemble d’évaluation doit provenir de tâches réelles, anonymisées si nécessaire, et préserver une séparation stricte entre développement et essai final. Pour chaque requête, il faut conserver la langue, l’intention, le domaine, la longueur, la réponse attendue lorsqu’elle existe, les extraits de preuve admissibles et l’action attendue ou interdite. Les documents récupérables doivent être versionnés : une mise à jour silencieuse de l’index invalide la comparaison.

Un échantillon multilingue doit inclure les langues effectivement couvertes par le service, et non la traduction automatique d’un unique jeu de questions. Il est utile d’intégrer des requêtes courtes et longues, de la terminologie locale, des ambiguïtés et des demandes mélangeant les langues. La qualité doit être segmentée par langue, et non réduite à une moyenne globale : une amélioration agrégée peut masquer une régression importante pour une région ou une équipe donnée.

Le corpus doit comporter délibérément des cas négatifs : preuves insuffisantes, documents contradictoires, données obsolètes explicitement étiquetées comme telles, tableaux convertis en texte, demandes hors périmètre et sollicitations d’action devant attendre une approbation humaine. Une abstention correcte est un résultat utile ; une réponse convaincante dépourvue de support documentaire ne l’est pas. Les actions simulées permettent d’évaluer la sélection d’outil sans exécuter de modifications réelles dans les systèmes de clients, de facturation ou de connaissance.

Concevoir un banc d’essai commun et auditable

Le banc d’essai doit exécuter chaque cas sur les deux modèles avec le même ensemble de documents déjà récupérés ou, si l’objectif est de mesurer la récupération de bout en bout, avec le même récupérateur, les mêmes index, filtres, requête de recherche et nombre d’extraits. Il s’agit de deux mesures différentes. Fournir des passages identiques au modèle isole la génération et l’attribution des citations ; exécuter le récupérateur permet de mesurer le comportement du produit complet, mais ajoute davantage de sources de variation.

Utilisez un modèle d’instruction sémantiquement équivalent établissant la langue de réponse, la priorité des sources, l’obligation de s’abstenir, le format des citations, le schéma des champs et la règle de non-exécution des actions. Contrôlez le budget de tentatives répétées : par exemple, une nouvelle tentative après un JSON invalide doit être appliquée dans exactement les mêmes conditions. Compter comme un succès une réponse seulement après réparation ou nouvelle tentative, sans l’intégrer au coût et à la latence, fausse la conclusion.

Les outils doivent être déterministes et simulés. Chacun peut retourner des résultats prédéfinis, enregistrer les arguments et bloquer les effets de bord. La décision notée porte sur le choix de l’outil autorisé, la validité des arguments et le maintien de l’action en attente de revue. Une forte proportion de sélections correctes ne permet pas d’inférer la sécurité : la politique d’autorisations et d’approbation reste de la responsabilité de l’application.

Mesurer le résultat exploitable de bout en bout

La récupération des preuves doit être évaluée avant la qualité de la prose. Pour chaque affirmation importante, déterminez si les extraits fournis contenaient une preuve suffisante et si la réponse a choisi les passages pertinents. La fidélité des citations est plus exigeante : chaque citation doit étayer l’affirmation précise qu’elle accompagne, et non seulement traiter du même sujet. Lorsque le corpus contient des contradictions, l’évaluation doit vérifier si l’assistant exprime l’incertitude ou applique correctement la règle de priorité définie.

L’exactitude structurée doit être mesurée champ par champ. Une réponse peut être un JSON valide tout en contenant un identifiant, une date, un montant ou un statut erroné. Distinguez la validité syntaxique, le respect du schéma, l’exhaustivité, l’exactitude sémantique et la compatibilité avec la logique en aval. Si un champ n’est pas étayé par le contexte, le comportement attendu peut être une valeur nulle, un marqueur d’incertitude ou une abstention, selon le contrat fixé au préalable.

Pour les abstentions, mesurez la précision et la couverture. Pénalisez autant l’invention en l’absence de preuve que le refus injustifié lorsque la preuve est suffisante. Pour les outils, mesurez la sélection, les arguments et le respect de l’approbation humaine. Enfin, reliez la performance technique à l’exploitation : calculez les latences p50, p95 et p99 par réponse exploitable, ainsi que le coût effectif intégrant les tokens, les appels échoués, les tentatives répétées et les réponses ne passant pas la validation. Un modèle plus rapide par requête peut être moins efficient s’il impose davantage de réparations.

Traiter la compatibilité d’intégration comme une hypothèse vérifiable

Il ne convient pas de promettre que changer de modèle sans modifier le client fonctionnera uniquement parce que les deux viennent du même fournisseur. Le guide de migration entre les API V1 et V2 documente des différences dans les messages, les champs de réponse, le streaming, les documents, les citations et les appels d’outils, ainsi que des fonctions V1 non prises en charge dans V2. Si la migration comprend un changement d’API, le contrat d’intégration, et non le modèle, peut être la source d’une régression.

Les sorties structurées exigent une prudence particulière. La documentation de Cohere inclut Command A+ et Command R 08-2024 parmi les modèles compatibles avec Structured Outputs et décrit l’usage de JSON Schema et d’outils stricts. Mais elle indique également que Structured Outputs JSON n’est pas pris en charge en mode RAG. Par conséquent, un assistant devant réunir citations RAG et JSON ne doit pas supposer que ces deux fonctions peuvent être combinées dans un seul mode de requête ; cette combinaison doit devenir un essai d’intégration explicite.

Avant un pilote, créez des tests de contrat pour les requêtes normales, le streaming, les erreurs de limite, les réponses incomplètes, les citations vides, les outils sans arguments valides et les annulations. Comparez les objets consommés par l’application, et non seulement le texte visible. Une incompatibilité mineure, telle qu’un champ optionnel absent ou une représentation différente d’un appel d’outil, peut interrompre un flux en aval même lorsque la réponse linguistique est correcte.

Interpréter les résultats par segment, et non seulement par moyenne

Présentez les résultats pour l’ensemble complet et pour les segments définis avant l’ouverture des données : langue, longueur du contexte, difficulté de récupération, conflit documentaire, extraction tabulaire et proposition d’action. Indiquez le nombre de cas par segment, les réponses invalides, les abstentions et les cas exclus avec leur motif. Exclure seulement les échecs d’un modèle ou modifier la référence après avoir vu les réponses biaise la comparaison.

Une amélioration de l’exactitude peut ne pas compenser une régression sur l’abstention, les citations ou le coût. Par exemple, Command A+ pourrait générer des réponses plus longues sous une limite large, mais cela ne devrait pas être compté comme une amélioration si le produit exige une réponse concise et que l’excès dégrade l’interface ou la revue. De même, le fait que Command A+ accepte les images ne permet aucune conclusion sur un corpus ne contenant que du texte.

La revue humaine doit être effectuée en aveugle par rapport au modèle et s’appuyer sur un guide de notation incluant des cas limites. Lorsque deux évaluateurs divergent, un troisième peut trancher ou marquer le cas comme ambigu. Le taux de désaccord doit être conservé comme indicateur d’incertitude de la métrique. Pour les sujets à fort impact, une revue par des experts du domaine est préférable à une évaluation automatique fondée uniquement sur la similarité textuelle.

Décider de conserver, d’adopter ou de piloter

Conserver Command R 08-2024 est une décision raisonnable s’il respecte les seuils de qualité et d’exploitation établis et si Command A+ n’apporte pas une amélioration matérielle, cohérente et attribuable. Ce peut aussi être le choix prudent si le nouveau contrat impose des changements d’API ou de validation dont le risque n’a pas encore été démontré. L’ancienneté relative d’une mise à jour ne constitue pas, à elle seule, un critère de remplacement.

L’adoption de Command A+ se justifie lorsqu’il franchit des seuils prédéfinis sur le résultat complet : preuves et citations fiables, champs corrects, abstention appropriée, usage sûr des outils, compatibilité vérifiée, ainsi que coût ou latence acceptables. L’amélioration doit se maintenir dans les segments prioritaires et dans un test de régression d’intégration. Il est préférable de fixer à l’avance toute dégradation inacceptable ; par exemple, une baisse de la fidélité des citations dans un flux devant être auditable.

Un pilote limité est approprié lorsque les indices sont favorables, mais que des incertitudes persistent sur le trafic réel, les charges concurrentes, les langues minoritaires ou l’intégration. Orientez une fraction contrôlée des requêtes éligibles, maintenez la revue humaine et prévoyez un retour arrière immédiat. N’utilisez pas le pilote pour découvrir un contrat non défini : ses critères de réussite, sa durée, sa population et ses conditions d’arrêt doivent être établis avant l’exposition d’utilisateurs.

Valider de nouveau lorsque des images ou d’autres changements de contrat sont activés

L’entrée d’image de Command A+ ouvre une possibilité que Command R 08-2024, selon la documentation fournie, ne partage pas. Cette capacité exige une nouvelle évaluation, et non une extension automatique des résultats textuels. Le corpus doit inclure des images représentatives, des transcriptions ou références de vérité, des critères relatifs aux données illisibles et des contrôles de confidentialité, de rétention et d’accès. Il faut également déterminer ce qui constitue une preuve citable lorsque certaines informations proviennent d’une image.

De même, l’augmentation du maximum de sortie n’a de valeur que si un besoin du produit exige des réponses ou transformations plus étendues. Testez le cas d’usage avec des limites réelles, des mécanismes de troncature, un budget et une évaluation de la qualité. Ne transformez pas une capacité maximale publiée en recommandation de configuration sans avoir observé son effet sur le système.

Ce protocole ne prédit pas de vainqueur. Les sources disponibles sont de la documentation du fournisseur et décrivent des capacités, limites et contrats publiés ; elles n’apportent pas de résultats indépendants pour le corpus d’une organisation. La conclusion responsable doit être formulée après l’exécution du banc d’essai, la conservation des artefacts et la déclaration des segments ne disposant pas d’une taille ou d’une revue suffisante pour étayer une décision.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.