Como detectar regressões de qualidade em agentes de IA em produção
Imagem gerada pela Equipa Editorial da Inferama
01

Disponibilidade não significa qualidade

Um agente pode responder a todas as solicitações, manter uma latência aceitável e não registrar erros de infraestrutura e, ainda assim, executar mal a tarefa. Pode deixar passar uma condição, consultar uma fonte desatualizada, acionar uma ferramenta inadequada ou apresentar como seguro um resultado que exige revisão. Um painel que mede apenas disponibilidade, erros, tempo de resposta e consumo não detecta necessariamente esses problemas.

Vale separar três perguntas. O serviço continua operacional? Que etapas o agente executou? O resultado cumpriu o propósito e as regras do processo? As métricas técnicas ajudam a responder à primeira; os rastros permitem reconstruir a segunda; as avaliações de tarefas examinam a terceira. Nenhuma dessas camadas substitui as demais: uma resposta correta não prova que o percurso foi autorizado, e um rastro completo não prova que o resultado foi útil.

A avaliação da qualidade deve partir do uso concreto e das consequências de um erro. Em uma tarefa de consulta, pode ser importante que a resposta esteja respaldada por um registro vigente. Em uma ação transacional, pode ser obrigatório validar os parâmetros e exigir autorização. Um indicador agregado pode esconder falhas importantes em uma categoria de tarefas, idioma, tipo de usuário ou etapa do fluxo.

A avaliação contínua pode ajudar a identificar mudanças no comportamento do agente depois da implantação. Ela não garante a detecção de todas as falhas nem transforma automaticamente cada diferença de pontuação em uma regressão real. A interpretação depende do conjunto de casos, do avaliador, da configuração comparada e da incerteza da medição.

Três camadas de controle

CamadaPergunta respondidaExemplos de sinais
Saúde técnicaO serviço está operacional?Disponibilidade, erros, latência, novas tentativas e consumo.
ComportamentoO que o agente fez para concluir a tarefa?Fontes recuperadas, ferramentas acionadas, parâmetros e encaminhamentos.
Qualidade funcionalO resultado foi correto e aceitável para o processo?Tarefa concluída, regras cumpridas, fontes pertinentes e ação autorizada.
02

Defina o que significa concluir uma tarefa corretamente

Uma métrica de qualidade só serve se corresponder a uma condição relevante para o uso previsto. “Boa resposta” é vago demais para orientar um alerta. Especifique o que o agente deve produzir, que ações não pode executar, quando deve se abster e que evidências permitem verificar o resultado. Defina esses critérios antes de observar os resultados para reduzir o risco de ajustar a regra ao que o sistema já fez.

Combine verificações determinísticas com avaliação interpretativa quando necessário. Um validador convencional pode verificar se um campo obrigatório existe, se um identificador pertence a um conjunto autorizado ou se uma saída cumpre um esquema. Por si só, não consegue decidir se uma explicação representa fielmente um documento ambíguo. Para julgamentos de significado, podem ser úteis rubricas aplicadas por pessoas ou avaliadores baseados em modelos, mas as decisões desses avaliadores também devem ser comparadas com referências humanas.

O sucesso geral de uma tarefa nem sempre é suficiente. Registre separadamente falhas críticas, casos incompletos, abstenções adequadas, intervenções humanas e ações que excedam a permissão concedida. Uma taxa média pode melhorar enquanto piora um controle que não deveria ser compensado por bons resultados em tarefas simples.

Os exemplos a seguir ilustram como transformar objetivos de diferentes agentes em critérios verificáveis. Eles não são limites universais: cada equipe deve adaptá-los aos próprios dados, regras, ferramentas e nível de risco.

Exemplos de critérios por tarefa

Tipo de agenteCritérios que podem ser verificadosO que exige interpretação ou revisão adicional
Assistente de programaçãoOs testes definidos passam? As restrições de arquivos ou dependências são respeitadas? O compilador ou analisador aceita a saída?Se a solução é adequada ao projeto, sustentável e segura; passar em um teste não descarta todos os defeitos.
Pesquisa documentalAs afirmações citam documentos recuperados? A versão e a data são pertinentes? O agente se abstém quando falta respaldo?Se a citação realmente sustenta a afirmação ou se a síntese omite uma ressalva importante.
Atendimento ao clienteO agente identifica o assunto e aplica a política vigente? Evita divulgar dados sem autorização? Encaminha casos que exigem uma pessoa?Se a resposta resolve a necessidade do cliente com tom apropriado ou interpreta corretamente uma exceção.
Agente com ferramentasSeleciona uma ferramenta autorizada? Envia argumentos válidos? Exige aprovação antes de uma ação sensível?Se o percurso foi proporcional e se a ação era justificada pelo contexto completo.
03

Avalie interações sem interromper o serviço

Uma arquitetura de avaliação em modo sombra analisa uma interação de produção sem alterar a resposta recebida pelo usuário nem executar uma segunda ação no sistema de negócios. Por exemplo, pode avaliar um rastro já registrado ou uma cópia higienizada de uma conversa depois que a tarefa termina. A avaliação não deve executar novamente ações externas: uma segunda chamada a uma ferramenta de escrita pode duplicar uma operação ou causar efeitos indesejados.

A amostragem pode reduzir o volume analisado, mas não existe uma proporção universal adequada. Ela depende da frequência dos casos, da variabilidade do resultado, da sensibilidade do processo e da mudança que se pretende detectar. Uma amostra aleatória ajuda a representar o tráfego estudado; uma amostra direcionada a incidentes pode revelar falhas raras, mas, por si só, não estima a frequência delas em toda a população. Separar os dois objetivos evita interpretar uma busca por casos difíceis como uma medição representativa.

Antes de pontuar interações reais, limite a coleta ao necessário. Os rastros podem incluir mensagens, documentos, argumentos de ferramentas e dados pessoais. Adote minimização, filtragem, controles de acesso e retenção adequada desde o projeto. Se uma avaliação enviar conteúdo a outro modelo para julgamento, verifique também quais dados saem da aplicação, onde são processados e quais condições se aplicam ao serviço configurado.

O Microsoft Foundry documenta execuções de avaliação com conjuntos de teste e descreve o monitoramento contínuo em produção. Essa documentação permite compreender os recursos da plataforma, mas não estabelece um tamanho de amostra universal nem prova que qualquer projeto de avaliação em modo sombra seja aleatório, inofensivo para a privacidade ou suficiente para detectar uma regressão específica.

Fluxo de avaliação em modo sombra

  1. 01Defina quais tipos de interação serão observados e com que objetivo: estimar o desempenho habitual, investigar uma falha ou acompanhar um controle crítico.
  2. 02Selecione uma amostra com um método documentado; mantenha separadas as amostras representativas e as direcionadas a casos raros ou de alto risco.
  3. 03Remova ou transforme os campos desnecessários e restrinja quem pode consultar os dados originais e os resultados.
  4. 04Avalie o resultado e, quando pertinente, o percurso registrado. Não repita em produção as ações externas do agente.
  5. 05Registre a versão do agente, suas instruções, o modelo, as ferramentas, o avaliador, os critérios e a data para interpretar comparações futuras.
04

Valide os avaliadores antes de confiar nas pontuações

Um avaliador baseado em modelo pode classificar respostas com uma rubrica e processar mais casos do que uma revisão manual exaustiva. Ainda assim, pode deixar passar uma exceção, favorecer respostas mais longas ou pontuar de maneira diferente conforme o idioma e a formulação. Sua pontuação é um sinal que precisa ser calibrado, não uma verdade de referência.

Prepare exemplos avaliados por pessoas com conhecimento do processo. Inclua casos corretos, incompletos, incorretos e limítrofes; compare a decisão automática com a referência e examine separadamente aprovações falsas e rejeições falsas. Se os erros do avaliador afetarem um controle importante, ajuste a rubrica, mude o método ou exija revisão humana antes de usar a pontuação em uma decisão operacional.

Regras determinísticas são preferíveis quando a propriedade pode ser verificada de forma exata: presença de um campo, formato estruturado, existência de um identificador, limite numérico ou acionamento de uma ferramenta proibida. Mas uma saída sintaticamente válida pode conter informação falsa. Uma pontuação alta de um avaliador automático tampouco prova que o agente usou fontes autorizadas ou que o resultado esteja correto em todos os casos.

Mantenha versões dos critérios e do avaliador. Uma mudança na rubrica, no modelo avaliador ou na configuração pode alterar a pontuação sem que o agente tenha mudado. Para que uma comparação faça sentido, registre a configuração completa e, quando possível, avalie as versões comparadas com o mesmo conjunto de casos e nas mesmas condições.

Como escolher o método de avaliação

Propriedade a verificarMétodo inicial adequadoLimite a considerar
Formato, campos e intervalosValidador determinísticoVerifica a estrutura ou os limites, mas não necessariamente o significado.
Permissões e chamadas a ferramentasRegras do sistema, registros e testes controladosO registro permite reconstruir chamadas; a autorização deve ser aplicada no sistema correspondente.
Pertinência de uma síntese ou explicaçãoRubrica humana ou avaliador baseado em modelo calibradoO resultado depende da qualidade da rubrica e do desempenho do avaliador.
Correção em um caso de alto impactoReferência especializada e revisão humanaA avaliação automática pode ajudar, mas não substitui a responsabilidade pela aprovação.
05

Estabeleça alertas e uma resposta proporcional

Um alerta útil começa com uma linha de base adequada à tarefa e um critério de ação definido antes do incidente. Compare períodos e versões apenas quando as condições forem suficientemente comparáveis; mudanças no tráfego, nos dados, nas ferramentas ou na configuração podem explicar uma diferença. Se o volume for pequeno ou a variação habitual for alta, um desvio observado pode não bastar para concluir que houve regressão.

Não use uma única pontuação agregada como critério de aprovação. Separe controles inegociáveis — por exemplo, acesso indevido, gravação não autorizada ou perda de uma validação obrigatória — de objetivos graduais, como latência ou qualidade estilística. Uma melhora em uma área não deve esconder a piora de um controle crítico.

Cada sinal precisa ter uma resposta possível e um responsável. Conforme o risco, a equipe pode investigar uma amostra, aumentar a revisão humana, restringir uma ferramenta, limitar a automação ou voltar a uma versão anterior. A pausa ou a reversão precisa ser aplicada por controles operacionais verificáveis; um alerta, por si só, não interrompe o agente nem impede novas ações.

Defina o limite com a área responsável pelo processo e avalie o custo de um falso alarme em comparação com o de não detectar uma falha. A significância estatística depende da métrica, do nível de referência, do desenho amostral e das premissas empregadas. Sem esses elementos, não é válido afirmar que um tamanho fixo de amostra detectará uma mudança específica com confiança universal.

Resposta a um sinal de regressão

  1. 01Confirme que o alerta corresponde a uma mudança relevante e que a amostra e as condições permitem compará-la com a linha de base.
  2. 02Revise casos, rastros e configuração; diferencie uma regressão do agente de uma mudança nos dados, nos sistemas externos ou nos critérios de avaliação.
  3. 03Solicite revisão humana para casos ambíguos ou de alto impacto e classifique a gravidade conforme as consequências e a reversibilidade.
  4. 04Adote uma medida proporcional: manter sob observação, limitar a autonomia, desativar uma ferramenta ou pausar o fluxo afetado.
  5. 05Verifique a correção com testes de regressão antes de restaurar ou ampliar o uso e documente o resultado operacional.

Sinal e ação inicial

SinalPossível ação inicialO sinal, por si só, não conclui
Mais respostas incompletasRevisar os casos e comparar por tipo de tarefa.Que todo o sistema piorou da mesma forma.
Ferramenta proibida ou parâmetro fora do limiteConter o recurso afetado e revisar o controle de autorização.Que o problema será resolvido apenas com uma alteração no prompt.
Queda em uma pontuação automáticaVerificar avaliador, amostra, versões e referências humanas.Que o agente ficou menos correto sem examinar exemplos.
Rastros insuficientesLimitar operações difíceis de auditar e corrigir a instrumentação.Que um rastro completo garante uma decisão correta.
06

Transforme falhas em testes de regressão

Uma interação que revela um problema pode ajudar a verificar se a mesma falha voltará a ocorrer. Antes de incluí-la em um conjunto de testes, reduza o exemplo ao mínimo necessário, remova informações identificáveis quando apropriado e preserve o contexto funcional que explica por que o resultado estava incorreto. Nem todo registro de produção deve ser convertido automaticamente em dado de teste.

Cada caso deve incluir uma tarefa definida, o resultado esperado ou os critérios de avaliação, as condições pertinentes e a versão a que se aplica. Se o caso envolver uma ferramenta, registre também qual chamada era válida e qual deveria ser evitada. A expectativa pode descrever uma propriedade verificável sem exigir uma única resposta textual quando houver várias respostas aceitáveis.

Mantenha separados os casos de desenvolvimento e aqueles reservados para avaliar mudanças. Se a equipe ajustar repetidamente o agente com base nos mesmos exemplos, ele pode melhorar nesse conjunto sem resolver o problema mais geral. Acrescente novos casos representativos, revise os dados antigos e documente por que cada teste continua sendo mantido.

Mudanças no modelo, nas instruções, nas ferramentas, nas permissões, nas fontes recuperadas e nas regras de negócio podem alterar o comportamento. Executar um conjunto de regressão após uma mudança ajuda a comparar resultados, mas não demonstra que o sistema seja estável em todas as condições de produção. A avaliação deve continuar vinculada ao risco e ao uso real.

07

Critérios práticos para operar a avaliação contínua

Comece com uma tarefa delimitada e uma falha cujas consequências sejam compreensíveis. Defina a qualidade esperada, os controles que não podem ser compensados e o procedimento de revisão antes de conectar a avaliação ao tráfego real. Uma configuração inicial mais limitada pode ser preferível a registrar tudo sem um propósito claro.

Combine métricas de infraestrutura, rastros e verificações funcionais. Use regras determinísticas para propriedades exatas, revisão humana para decisões difíceis e avaliadores baseados em modelos somente depois de compará-los com referências adequadas. Preserve as diferenças entre sinais: uma pontuação automática é uma medição; confirmar um incidente exige interpretar o caso e seu contexto.

Trate privacidade e segurança como parte do projeto. Minimize os dados coletados, limite a retenção e o acesso e determine se avaliadores externos recebem conteúdo das interações. Não retenha conversas completas apenas porque podem ser úteis no futuro; a necessidade deve corresponder a uma finalidade concreta e às obrigações aplicáveis.

A avaliação contínua é valiosa quando ajuda a explicar o que mudou, qual condição falhou e que decisão operacional cabe tomar. Ela não substitui os controles determinísticos, os testes antes da implantação, a supervisão humana em ações sensíveis nem a revisão das mudanças no sistema. O objetivo é detectar sinais úteis com limites explícitos e responder antes que um comportamento inaceitável amplie seu impacto.

Lista de verificação operacional

PerguntaCritério prático
A tarefa está definida?Há um resultado verificável, casos limítrofes e condições para se abster ou encaminhar.
O processo é avaliado além do texto?O rastro permite revisar fontes, ferramentas, parâmetros e aprovações pertinentes.
A telemetria está protegida?Os dados são minimizados e os acessos, usos e períodos de retenção estão definidos.
O avaliador foi comparado com referências?Seus erros são confrontados com decisões humanas ou referências verificadas.
O alerta leva a uma ação?Existe uma pessoa responsável, um caminho de revisão e uma opção para limitar ou interromper o fluxo.
As mudanças são verificadas?Os testes de regressão são executados com versões e critérios registrados.
08

Continue a explorar

Fontes consultadas

03

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.

Propor uma correção