Command A+ vs. Command R 08-2024: como decidir uma migração para um assistente RAG multilíngue

A pergunta não é qual modelo parece mais capaz, mas o que muda no produto completo

Uma migração do Command R 08-2024 para o Command A+ deve ser avaliada como uma alteração em um sistema, e não como uma substituição isolada do identificador do modelo. Em um assistente empresarial baseado em geração aumentada por recuperação, o resultado depende da consulta, da indexação, do recuperador, dos documentos disponíveis, das instruções, da validação da saída, das tentativas adicionais e da intervenção humana. Se algum desses elementos mudar entre os testes, não será possível atribuir uma diferença ao modelo.

A documentação da Cohere coloca ambos os modelos em um contexto relevante para este caso: o Command R 08-2024 é orientado a fluxos de recuperação, citações, ferramentas e uso multilíngue; o Command A+ documenta citações, ferramentas e saídas estruturadas, além de uma modalidade de entrada que inclui texto e imagem. Essa diferença de modalidade é uma capacidade disponível, mas não demonstra uma vantagem em um teste no qual todas as consultas, evidências e respostas são exclusivamente textuais.

Portanto, a decisão útil é específica: com o contrato real do assistente, o Command A+ aumenta de maneira verificável a proporção de respostas utilizáveis, fiéis à evidência e operacionalmente compatíveis? Também é preciso perguntar se essa melhoria compensa qualquer alteração de integração, latência ou custo efetivo. Sem uma medição comum, os recursos anunciados pelo fornecedor são contexto para desenhar o teste, não evidência de uma melhoria para uma aplicação determinada.

Capacidades publicadas que convém normalizar antes de medir

Segundo o inventário e as páginas de modelos da Cohere, o Command R 08-2024 usa o identificador `command-r-08-2024`, recebe texto, tem uma janela de contexto de 128.000 tokens e um máximo de saída de 4.000 tokens. O Command A+ é identificado como `command-a-plus-05-2026`, aceita entrada de texto e imagem, gera texto, tem uma janela de contexto de 128.000 tokens e um máximo de saída de 64.000 tokens. O estado e a disponibilidade devem ser registrados novamente na data de encerramento de qualquer avaliação, pois são atributos que podem mudar na documentação do fornecedor.

Essas diferenças obrigam a separar duas perguntas. A primeira é a comparação comum: ambos os modelos recebem a mesma entrada textual, o mesmo contexto recuperado e o mesmo limite prático de resposta. A segunda é uma avaliação de capacidades ampliadas, como imagens ou respostas longas. Misturá-las favoreceria o modelo com um contrato mais amplo, mesmo que essa amplitude não esteja habilitada em produção.

Também é necessário fixar a configuração que possa alterar o comportamento da geração. Se a implantação utiliza raciocínio, chamadas de ferramentas, citações ou um formato JSON, a configuração deve ser equivalente no espaço que os dois modelos compartilham. Não se deve supor que valores com o mesmo nome produzam o mesmo comportamento. Solicitação, resposta bruta, versão do cliente e parâmetros efetivos devem ser registrados para permitir a investigação de discrepâncias.

Construir um corpus que represente erros custosos, não apenas perguntas fáceis

O conjunto de avaliação deve derivar de tarefas reais, anonimizadas quando necessário, e preservar uma separação rigorosa entre desenvolvimento e teste final. Para cada consulta, é preciso armazenar o idioma, a intenção, o domínio, o comprimento, a resposta esperada quando houver uma, os trechos de evidência admissíveis e a ação esperada ou proibida. Os documentos recuperáveis devem ser versionados: uma atualização silenciosa do índice invalida a comparação.

Uma amostra multilíngue deve incluir os idiomas que o serviço realmente atende, e não uma tradução automática de um único conjunto de perguntas. Convém incorporar consultas curtas e longas, terminologia local, ambiguidades e solicitações que misturem idiomas. A qualidade deve ser segmentada por idioma, e não limitada a uma média global: uma melhoria agregada pode ocultar uma regressão relevante para uma região ou equipe específica.

O corpus precisa de casos negativos deliberados. Inclua evidência insuficiente, documentos que se contradizem, dados desatualizados identificados como tal, tabelas convertidas em texto, pedidos fora de escopo e solicitações de ação que devem aguardar aprovação humana. A abstenção correta é um resultado útil; uma resposta convincente sem suporte documental não é. As ações simuladas permitem avaliar a seleção de ferramenta sem executar alterações reais em sistemas de clientes, faturamento ou conhecimento.

Projetar um ambiente comum e auditável

O ambiente de teste deve executar cada caso contra os dois modelos com o mesmo conjunto de documentos já recuperados ou, se a intenção for medir a recuperação de ponta a ponta, com o mesmo recuperador, índices, filtros, consulta de busca e número de trechos. São duas medições diferentes. Entregar passagens idênticas ao modelo isola a geração e a atribuição de citações; executar o recuperador permite medir o comportamento do produto completo, mas acrescenta mais fontes de variação.

Use um modelo de prompt semanticamente equivalente que estabeleça o idioma da resposta, a prioridade das fontes, a obrigação de se abster, o formato das citações, o esquema dos campos e a regra de não executar ações. Controle o orçamento de tentativas adicionais: por exemplo, uma nova tentativa diante de JSON inválido deve ser aplicada exatamente sob as mesmas condições. Contar como êxito uma resposta somente depois de repará-la ou tentar novamente, sem refletir isso no custo e na latência, distorce a conclusão.

As ferramentas devem ser determinísticas e simuladas. Cada uma pode devolver resultados predefinidos, registrar argumentos e bloquear efeitos colaterais. A decisão avaliada é se a ferramenta autorizada foi escolhida, se os argumentos são válidos e se o assistente deixou a ação pendente de revisão. Não se deve inferir segurança a partir de uma alta taxa de seleção correta: a política de permissões e aprovação continua sendo responsabilidade da aplicação.

Medir o resultado utilizável de ponta a ponta

A recuperação de evidência deve ser avaliada antes de valorar a redação. Para cada afirmação importante, determine se havia evidência suficiente entre os trechos entregues e se a resposta escolheu as passagens pertinentes. A fidelidade das citações é mais exigente: cada citação deve sustentar a afirmação concreta que acompanha, e não apenas tratar do mesmo tema. Quando o corpus contiver contradições, a avaliação deve verificar se o assistente expressa a incerteza ou aplica corretamente a regra de prioridade definida.

A exatidão estruturada deve ser medida campo a campo. Uma resposta pode ser JSON válido e, ainda assim, conter um identificador, data, valor ou status incorreto. Diferencie validade sintática, conformidade com o esquema, completude, exatidão semântica e compatibilidade com a lógica posterior. Se um campo não for sustentado pelo contexto, o comportamento esperado pode ser nulo, uma marca de incerteza ou uma abstenção, conforme o contrato previamente definido.

Para abstenções, meça precisão e cobertura. Penalize tanto a invenção quando falta evidência quanto a recusa injustificada quando a evidência é suficiente. Para ferramentas, meça seleção, argumentos e respeito à aprovação humana. Por fim, relacione desempenho técnico e operação: calcule latência p50, p95 e p99 por resposta utilizável e custo efetivo, incluindo tokens, chamadas com falha, tentativas adicionais e respostas que não passam na validação. Um modelo mais rápido por solicitação pode ser menos eficiente se exigir mais reparos.

Tratar a compatibilidade de integração como uma hipótese verificável

Não convém prometer que trocar o modelo sem modificar o cliente funcionará apenas porque ambos pertencem ao mesmo fornecedor. O guia de migração entre as APIs V1 e V2 documenta diferenças em mensagens, campos de resposta, streaming, documentos, citações e chamadas de ferramentas, bem como recursos da V1 que não são compatíveis com a V2. Se a migração incluir uma alteração de API, a origem de uma regressão pode ser o contrato de integração, e não o modelo.

As saídas estruturadas exigem uma precaução específica. A documentação da Cohere inclui o Command A+ e o Command R 08-2024 entre os modelos compatíveis com Structured Outputs e descreve o uso de JSON Schema e ferramentas estritas. Porém, também indica que Structured Outputs JSON não é compatível com o modo RAG. Consequentemente, um assistente que precise ao mesmo tempo de citações RAG e JSON não deve supor que as duas funções possam ser combinadas em um único modo de solicitação; essa combinação deve se tornar um teste explícito de integração.

Antes de um piloto, crie testes de contrato para solicitações normais, streaming, erros de limite, respostas incompletas, citações vazias, ferramentas sem argumentos válidos e cancelamentos. Compare os objetos consumidos pela aplicação, não apenas o texto visível. Uma incompatibilidade pequena, como a ausência de um campo opcional ou uma representação diferente de uma chamada de ferramenta, pode interromper um fluxo posterior mesmo que a resposta linguística esteja correta.

Interpretar os resultados por segmento, e não apenas pela média

Apresente os resultados para o conjunto completo e para segmentos definidos antes de abrir os dados: idioma, comprimento do contexto, dificuldade de recuperação, conflito documental, extração tabular e proposta de ação. Informe o número de casos por segmento, respostas inválidas, abstenções e casos excluídos com seu motivo. Excluir apenas as falhas de um modelo ou modificar a referência depois de ver as respostas enviesará a comparação.

Uma melhoria na exatidão pode não compensar uma regressão em abstenção, citações ou custo. Por exemplo, o Command A+ pode gerar respostas mais longas sob um limite amplo, mas essa diferença não deve ser contada como melhoria se o produto exige uma resposta breve e o excesso prejudica a interface ou a revisão. Da mesma forma, o fato de o Command A+ aceitar imagens não permite concluir nada sobre um corpus que contém apenas texto.

A revisão humana deve ser cega em relação ao modelo e baseada em um guia de pontuação com exemplos de casos limite. Quando dois revisores discordarem, um terceiro pode resolver o caso ou marcá-lo como ambíguo. A taxa de discordância deve ser preservada como sinal de incerteza da métrica. Em questões de alto impacto, a revisão por especialistas do domínio é preferível a uma avaliação automática baseada somente em similaridade textual.

Decidir entre manter, adotar ou fazer um piloto

Manter o Command R 08-2024 é uma decisão razoável se ele cumpre os limiares de qualidade e operação estabelecidos e o Command A+ não produz uma melhoria material, consistente e atribuível. Também pode ser a escolha prudente se o novo contrato exige mudanças de API ou de validação cujo risco ainda não foi testado. A antiguidade relativa de uma atualização não constitui, por si só, um critério de substituição.

Adotar o Command A+ é justificável quando ele supera limiares predefinidos no resultado completo: evidência e citações confiáveis, campos corretos, abstenção adequada, uso seguro de ferramentas, compatibilidade comprovada e custo ou latência aceitáveis. A melhoria deve sobreviver nos segmentos prioritários e a um teste de regressão de integração. Convém definir antecipadamente qual degradação, se houver, é inaceitável; por exemplo, uma queda na fidelidade das citações em um fluxo que precisa ser auditável.

Um piloto limitado é apropriado se houver indícios favoráveis, mas persistirem incertezas sobre tráfego real, cargas concorrentes, idiomas minoritários ou integração. Direcione uma fração controlada das solicitações elegíveis, mantenha a revisão humana e habilite reversão imediata. Não use o piloto para descobrir um contrato não definido: seus critérios de sucesso, duração, população e condições de interrupção devem ser estabelecidos antes de expor usuários.

Validar novamente quando imagens ou outras mudanças de contrato forem habilitadas

A entrada de imagem do Command A+ abre uma possibilidade que o Command R 08-2024, segundo a documentação fornecida, não compartilha. Essa capacidade exige uma nova avaliação, e não uma extensão automática dos resultados textuais. O corpus deve incluir imagens representativas, transcrições ou referências de verdade, critérios para dados ilegíveis e controles de privacidade, retenção e acesso. Também é necessário decidir o que conta como evidência citável quando parte da informação vem de uma imagem.

Da mesma forma, um aumento do máximo de saída só é valioso se uma necessidade do produto exigir respostas ou transformações mais extensas. Teste o caso de uso com limites reais, mecanismos de truncamento, orçamento e avaliação de qualidade. Não transforme uma capacidade máxima publicada em uma recomendação de configuração sem observar seu efeito no sistema.

Este protocolo não prevê um vencedor. As fontes disponíveis são documentação do fornecedor e descrevem capacidades, limites e contratos publicados; elas não fornecem resultados independentes para o corpus de uma organização. A conclusão responsável deve ser formulada depois de executar o ambiente de teste, preservar os artefatos e declarar os segmentos que não tiveram tamanho ou revisão suficientes para sustentar uma decisão.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.