Command A+ vs. Command R 08-2024: cómo decidir una migración para un asistente RAG multilingüe

La pregunta no es cuál modelo parece más capaz, sino qué cambia en el producto completo

Una migración desde Command R 08-2024 hacia Command A+ debe evaluarse como un cambio en un sistema, no como una sustitución aislada del identificador de modelo. En un asistente empresarial basado en recuperación aumentada por generación, el resultado depende de la consulta, la indexación, el recuperador, los documentos disponibles, las instrucciones, la validación de la salida, los reintentos y la intervención humana. Si cualquiera de esos elementos cambia entre pruebas, no será posible atribuir una diferencia al modelo.

La documentación de Cohere sitúa a ambos modelos en un contexto relevante para este caso: Command R 08-2024 está orientado a flujos de recuperación, citas, herramientas y uso multilingüe; Command A+ documenta citas, herramientas y salidas estructuradas, además de una modalidad de entrada que incluye texto e imagen. Esa diferencia de modalidad es una capacidad disponible, pero no demuestra una ventaja en una prueba donde todas las consultas, evidencias y respuestas son exclusivamente textuales.

Por tanto, la decisión útil es concreta: ¿con el contrato real del asistente, Command A+ eleva de manera verificable la proporción de respuestas utilizables, fieles a la evidencia y operativamente compatibles? También debe preguntarse si esa mejora compensa cualquier cambio de integración, latencia o coste efectivo. Sin una medición común, las prestaciones anunciadas por el proveedor son contexto para diseñar la prueba, no evidencia de una mejora para una aplicación determinada.

Capacidades publicadas que conviene normalizar antes de medir

Según el inventario y las páginas de modelo de Cohere, Command R 08-2024 usa el identificador `command-r-08-2024`, recibe texto, tiene una ventana de contexto de 128.000 tokens y un máximo de salida de 4.000 tokens. Command A+ se identifica como `command-a-plus-05-2026`, admite entrada de texto e imagen, genera texto, tiene una ventana de contexto de 128.000 tokens y un máximo de salida de 64.000 tokens. El estado y la disponibilidad deben volver a registrarse en la fecha de cierre de cualquier evaluación, porque son atributos que pueden cambiar en la documentación del proveedor.

Estas diferencias obligan a separar dos preguntas. La primera es la comparación común: ambos modelos reciben la misma entrada textual, el mismo contexto recuperado y el mismo límite práctico de respuesta. La segunda es una evaluación de capacidades ampliadas, como imágenes o respuestas largas. Mezclarlas favorecería al modelo con un contrato más amplio, aunque dicha amplitud no esté habilitada en producción.

También debe fijarse la configuración que pueda alterar la conducta de la generación. Si el despliegue utiliza razonamiento, llamadas a herramientas, citas o un formato JSON, la configuración ha de ser equivalente en el espacio que ambos modelos comparten. No se debe asumir que valores con el mismo nombre producen la misma conducta. Deben registrarse solicitud, respuesta sin procesar, versión de cliente y parámetros efectivos para poder investigar discrepancias.

Construir un corpus que represente errores costosos, no solo preguntas fáciles

El conjunto de evaluación debe derivar de tareas reales, anonimizadas cuando sea necesario, y conservar una separación estricta entre desarrollo y prueba final. Para cada consulta se debe guardar el idioma, la intención, el dominio, la longitud, la respuesta esperada cuando exista una, los fragmentos de evidencia admisibles y la acción esperada o prohibida. Los documentos recuperables deben quedar versionados: una actualización silenciosa del índice invalida la comparación.

Una muestra multilingüe debe incluir los idiomas que efectivamente atiende el servicio, no una traducción automática de un único conjunto de preguntas. Conviene incorporar consultas breves y largas, terminología local, ambigüedades y solicitudes que mezclen idiomas. La calidad debe segmentarse por idioma y no limitarse a una media global: una mejora agregada puede ocultar una regresión relevante para una región o un equipo concreto.

El corpus necesita casos negativos deliberados. Incluya evidencia insuficiente, documentos que se contradicen, datos obsoletos etiquetados como tales, tablas convertidas a texto, peticiones fuera de alcance y solicitudes de acción que deben esperar aprobación humana. La abstención correcta es un resultado útil; una respuesta convincente sin soporte documental no lo es. Las acciones simuladas permiten evaluar la selección de herramienta sin ejecutar cambios reales en sistemas de clientes, facturación o conocimiento.

Diseñar un arnés común y auditable

El arnés debe ejecutar cada caso contra los dos modelos con el mismo conjunto de documentos ya recuperados o, si se desea medir recuperación de extremo a extremo, con el mismo recuperador, índices, filtros, consulta de búsqueda y número de fragmentos. Son dos mediciones distintas. Entregar pasajes idénticos al modelo aísla la generación y la atribución de citas; ejecutar el recuperador permite medir el comportamiento del producto completo, pero añade más fuentes de variación.

Use una plantilla semánticamente equivalente que establezca idioma de respuesta, prioridad de las fuentes, obligación de abstenerse, formato de citas, esquema de campos y norma de no ejecutar acciones. Controle el presupuesto de reintentos: por ejemplo, un reintento ante JSON inválido debe aplicarse exactamente bajo las mismas condiciones. Contar como éxito una respuesta solo después de reparar o reintentar, sin reflejarlo en el coste y la latencia, distorsiona la conclusión.

Las herramientas deben ser deterministas y simuladas. Cada una puede devolver resultados predefinidos, registrar argumentos y bloquear efectos secundarios. La decisión que se puntúa es si se eligió la herramienta autorizada, si los argumentos son válidos y si el asistente dejó la acción pendiente de revisión. No se debe inferir seguridad de una tasa alta de selección correcta: la política de permisos y aprobación sigue siendo responsabilidad de la aplicación.

Medir el resultado utilizable de extremo a extremo

La recuperación de evidencia debe evaluarse antes de valorar la prosa. Para cada afirmación importante, determine si entre los fragmentos entregados existía evidencia suficiente y si la respuesta eligió los pasajes pertinentes. La fidelidad de citas es más exigente: cada cita debe respaldar la afirmación concreta a la que acompaña, no solo tratar el mismo tema. Cuando el corpus contenga contradicciones, la evaluación debe comprobar si el asistente expresa la incertidumbre o aplica correctamente la regla de prioridad definida.

La exactitud estructurada debe medirse campo a campo. Una respuesta puede ser JSON válido y, aun así, contener un identificador, fecha, importe o estado incorrectos. Distinga validez sintáctica, cumplimiento del esquema, completitud, exactitud semántica y compatibilidad con la lógica posterior. Si un campo no está respaldado por el contexto, el comportamiento esperado puede ser nulo, una marca de incertidumbre o una abstención, según el contrato previamente fijado.

Para abstenciones, mida precisión y cobertura. Penalice tanto la invención cuando falta evidencia como la negativa injustificada cuando la evidencia sí basta. Para herramientas, mida selección, argumentos y respeto de la aprobación humana. Finalmente, relacione rendimiento técnico y operación: calcule latencia p50, p95 y p99 por respuesta utilizable, y coste efectivo incluyendo tokens, llamadas fallidas, reintentos y respuestas que no superan la validación. Un modelo más rápido por solicitud puede resultar menos eficiente si obliga a más reparación.

Tratar la compatibilidad de integración como una hipótesis verificable

No conviene prometer que cambiar el modelo sin modificar el cliente funcionará solo porque ambos pertenecen al mismo proveedor. La guía de migración entre API V1 y V2 documenta diferencias en mensajes, campos de respuesta, streaming, documentos, citas y llamadas a herramientas, así como funciones de V1 que no están soportadas en V2. Si la migración incluye un cambio de API, la fuente de una regresión puede ser el contrato de integración y no el modelo.

Las salidas estructuradas requieren una precaución particular. La documentación de Cohere incluye Command A+ y Command R 08-2024 entre los modelos compatibles con Structured Outputs y describe el uso de JSON Schema y herramientas estrictas. Pero también indica que Structured Outputs JSON no está soportado en modo RAG. En consecuencia, un asistente que necesite a la vez citas RAG y JSON no debe asumir que ambas funciones pueden combinarse en un único modo de solicitud; debe convertir esa combinación en una prueba de integración explícita.

Antes de un piloto, cree pruebas de contrato para solicitudes normales, streaming, errores de límite, respuestas incompletas, citas vacías, herramientas sin argumentos válidos y cancelaciones. Compare los objetos que consume la aplicación, no solo el texto visible. Una incompatibilidad pequeña, como un campo opcional ausente o una representación diferente de una llamada a herramienta, puede detener un flujo posterior aunque la respuesta lingüística sea correcta.

Interpretar resultados por segmento y no solo por promedio

Presente los resultados para el conjunto completo y para segmentos definidos antes de abrir los datos: idioma, longitud de contexto, dificultad de recuperación, conflicto documental, extracción tabular y propuesta de acción. Informe el número de casos por segmento, respuestas inválidas, abstenciones y casos excluidos con su motivo. Excluir únicamente los fallos de un modelo o modificar la referencia después de ver las respuestas sesga la comparación.

Una mejora en exactitud puede no compensar una regresión en abstención, citas o coste. Por ejemplo, Command A+ podría generar respuestas más largas bajo un límite amplio, pero esa diferencia no debería contarse como mejora si el producto exige una respuesta breve y el exceso degrada la interfaz o la revisión. Del mismo modo, que Command A+ admita imágenes no permite concluir nada sobre un corpus que contiene solo texto.

La revisión humana debe ser ciega respecto al modelo y basarse en una guía de puntuación con ejemplos de borde. Cuando dos revisores discrepen, un tercero puede resolver el caso o marcarlo como ambiguo. La tasa de desacuerdo debe conservarse como señal de incertidumbre de la métrica. En asuntos de alto impacto, la revisión de expertos del dominio es preferible a una evaluación automática basada solo en similitud textual.

Decidir entre mantener, adoptar o pilotar

Mantener Command R 08-2024 es una decisión razonable si cumple los umbrales de calidad y operación establecidos y Command A+ no produce una mejora material, consistente y atribuible. También puede ser la elección prudente si el nuevo contrato requiere cambios de API o de validación cuyo riesgo aún no se ha probado. La antigüedad relativa de una actualización no constituye, por sí sola, un criterio de reemplazo.

Adoptar Command A+ está justificado cuando supera umbrales predefinidos en el resultado completo: evidencia y citas fiables, campos correctos, abstención adecuada, uso seguro de herramientas, compatibilidad comprobada y coste o latencia aceptables. La mejora debe sobrevivir a los segmentos prioritarios y a una prueba de regresión de integración. Conviene fijar de antemano qué degradación, si la hubiera, es inaceptable; por ejemplo, una caída en la fidelidad de citas para un flujo que debe ser auditable.

Un piloto limitado es apropiado si hay indicios favorables, pero persisten incertidumbres sobre tráfico real, cargas concurrentes, idiomas minoritarios o integración. Enrute una fracción controlada de solicitudes elegibles, mantenga la revisión humana y habilite reversión inmediata. No use el piloto para descubrir un contrato no definido: sus criterios de éxito, duración, población y condiciones de parada deben quedar establecidos antes de exponer usuarios.

Volver a validar cuando se habiliten imágenes u otros cambios de contrato

La entrada de imagen de Command A+ abre una posibilidad que Command R 08-2024, según la documentación aportada, no comparte. Esa capacidad requiere una evaluación nueva, no una extensión automática de los resultados textuales. El corpus debe incluir imágenes representativas, transcripciones o referencias de verdad, criterios para datos ilegibles y controles de privacidad, retención y acceso. También se debe decidir qué cuenta como evidencia citable cuando parte de la información procede de una imagen.

Del mismo modo, un aumento del máximo de salida solo es valioso si una necesidad del producto exige respuestas o transformaciones más extensas. Pruebe el caso de uso con límites reales, mecanismos de truncado, presupuesto y evaluación de calidad. No transforme una capacidad máxima publicada en una recomendación de configuración sin observar su efecto en el sistema.

Este protocolo no predice un ganador. Las fuentes disponibles son documentación del proveedor y describen capacidades, límites y contratos publicados; no aportan resultados independientes para el corpus de una organización. La conclusión responsable debe formularse después de ejecutar el arnés, conservar los artefactos y declarar los segmentos que no tuvieron tamaño o revisión suficiente para sostener una decisión.

Continúa explorando

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.