Cómo detectar regresiones de calidad en agentes de IA en producción
Imagen generada por el Equipo Editorial de Inferama
01

Disponibilidad no significa calidad

Un agente puede responder a todas las solicitudes, mantener una latencia aceptable y no registrar errores de infraestructura, pero aun así resolver mal la tarea. Puede omitir una condición, consultar una fuente desactualizada, invocar una herramienta inadecuada o presentar como seguro un resultado que requiere revisión. Un panel que solo mide disponibilidad, errores, tiempo de respuesta y consumo no detecta necesariamente esos problemas.

Conviene separar tres preguntas. ¿Sigue operativo el servicio? ¿Qué pasos ejecutó el agente? ¿El resultado cumplió el propósito y las reglas del proceso? Las métricas técnicas ayudan a responder la primera; las trazas permiten reconstruir la segunda; las evaluaciones de tareas examinan la tercera. Ninguna de estas capas sustituye a las demás: una respuesta correcta no demuestra que el camino fuera autorizado, y una traza completa no demuestra que el resultado fuera útil.

La evaluación de calidad debe partir del uso concreto y de las consecuencias de equivocarse. En una tarea de consulta, quizá importe que la respuesta esté respaldada por un registro vigente. En una acción transaccional, puede ser obligatorio validar los parámetros y exigir autorización. Un indicador agregado puede ocultar fallos importantes en una categoría de tareas, un idioma, un tipo de usuario o una etapa del flujo.

Una evaluación continua puede ayudar a advertir cambios en el comportamiento del agente después de su despliegue. No garantiza que se detecte cada fallo ni convierte automáticamente cada diferencia de puntuación en una regresión real. La lectura depende del conjunto de casos, del evaluador, de la configuración comparada y de la incertidumbre de la medición.

Tres planos de control

PlanoPregunta que respondeEjemplos de señales
Salud técnica¿El servicio está operativo?Disponibilidad, errores, latencia, reintentos y consumo.
Comportamiento¿Qué hizo el agente para completar la tarea?Fuentes recuperadas, herramientas invocadas, parámetros y escalados.
Calidad funcional¿El resultado fue correcto y aceptable para el proceso?Tarea completada, reglas cumplidas, fuentes pertinentes y acción autorizada.
02

Define qué significa una tarea bien resuelta

Una métrica de calidad sirve solo si corresponde a una condición relevante para el uso previsto. «Buena respuesta» es demasiado vago para guiar una alerta. Especifica qué debe producir el agente, qué acciones no puede realizar, cuándo debe abstenerse y qué evidencia permite comprobar el resultado. Conviene definir esos criterios antes de observar los resultados para reducir el riesgo de ajustar la regla a lo que el sistema ya hizo.

Combina comprobaciones deterministas con evaluación interpretativa cuando corresponda. Un validador convencional puede comprobar que un campo obligatorio existe, que un identificador pertenece a un conjunto autorizado o que una salida cumple un esquema. No puede decidir por sí solo si una explicación refleja fielmente un documento ambiguo. Para juicios de significado pueden servir rúbricas aplicadas por personas o evaluadores basados en modelos, pero sus decisiones también deben contrastarse con referencias humanas.

El éxito global de una tarea no siempre basta. Registra por separado los fallos críticos, los casos incompletos, la abstención apropiada, las intervenciones humanas y las acciones que exceden el permiso concedido. Una tasa promedio puede mejorar mientras empeora un control que no debería compensarse con buenos resultados en tareas sencillas.

Los ejemplos siguientes ilustran cómo traducir objetivos de distintos agentes en criterios comprobables. No son umbrales universales: cada equipo debe adaptarlos a sus datos, reglas, herramientas y nivel de riesgo.

Ejemplos de criterios por tarea

Tipo de agenteCriterios que se pueden comprobarQué requiere interpretación o revisión adicional
Asistente de código¿Pasa las pruebas definidas? ¿Respeta restricciones de archivos o dependencias? ¿Produce una salida que el compilador o el analizador acepta?Si la solución es adecuada al diseño, mantenible y segura; una prueba superada no descarta todos los defectos.
Investigación documental¿Las afirmaciones citan documentos recuperados? ¿La versión y fecha son pertinentes? ¿Se abstiene cuando falta respaldo?Si la cita apoya realmente la afirmación o si la síntesis omite una salvedad importante.
Atención al cliente¿Identifica el asunto y aplica la política vigente? ¿Evita divulgar datos fuera del permiso? ¿Escala los casos que requieren una persona?Si la respuesta resuelve la necesidad del cliente con un tono apropiado o interpreta correctamente una excepción.
Agente con herramientas¿Selecciona una herramienta autorizada? ¿Envía argumentos válidos? ¿Requiere aprobación antes de una acción sensible?Si la trayectoria fue proporcional y si una acción estaba justificada por el contexto completo.
03

Evalúa interacciones sin interrumpir el servicio

Una arquitectura de evaluación en sombra analiza una interacción de producción sin cambiar la respuesta que recibe el usuario ni ejecutar una segunda acción en el sistema de negocio. Por ejemplo, puede evaluar una traza ya registrada o una copia saneada de una conversación después de que termine la tarea. La evaluación no debe reejecutar acciones externas: una segunda llamada a una herramienta de escritura puede duplicar una operación o causar efectos no deseados.

El muestreo puede reducir el volumen que se revisa, pero no existe una proporción universal adecuada. Depende de la frecuencia de los casos, la variabilidad del resultado, la sensibilidad del proceso y el cambio que se pretende detectar. Una muestra aleatoria ayuda a representar el tráfico que se quiere estudiar; una muestra dirigida a incidentes puede revelar fallos raros, pero no estima por sí sola su frecuencia en toda la población. Separar ambos propósitos evita interpretar una búsqueda de casos difíciles como una medición representativa.

Antes de puntuar interacciones reales, limita la captura a lo necesario. Las trazas pueden incluir mensajes, documentos, argumentos de herramientas y datos personales. Aplica minimización, filtrado, controles de acceso y retención adecuada desde el diseño. Si una evaluación envía contenido a otro modelo para juzgarlo, revisa también qué datos salen de la aplicación, dónde se procesan y qué condiciones aplican al servicio configurado.

Microsoft Foundry documenta ejecuciones de evaluación con conjuntos de prueba y describe la supervisión continua en producción. La documentación permite entender capacidades de esa plataforma, pero no establece un tamaño de muestra universal, ni prueba que cualquier diseño de evaluación en sombra sea aleatorio, inocuo para la privacidad o suficiente para detectar una regresión específica.

Flujo de evaluación en sombra

  1. 01Define qué clases de interacciones quieres observar y con qué propósito: estimar el rendimiento habitual, investigar un fallo o vigilar un control crítico.
  2. 02Selecciona una muestra según un método documentado; conserva separadas las muestras representativas y las dirigidas a casos raros o de alto riesgo.
  3. 03Elimina o transforma los campos que no sean necesarios y restringe quién puede consultar los datos originales y los resultados.
  4. 04Evalúa el resultado y, cuando sea pertinente, la trayectoria registrada. No repitas en producción las acciones externas del agente.
  5. 05Registra la versión del agente, sus instrucciones, modelo, herramientas, evaluador, criterios y fecha para interpretar comparaciones posteriores.
04

Valida los evaluadores antes de confiar en sus puntuaciones

Un evaluador basado en un modelo puede clasificar respuestas con una rúbrica y procesar más casos que una revisión manual exhaustiva. Sin embargo, también puede pasar por alto una excepción, favorecer respuestas más extensas o puntuar de manera distinta según el idioma y la formulación. Su puntuación es una señal que requiere calibración, no una verdad de referencia.

Prepara ejemplos cuya valoración haya sido revisada por personas con conocimiento del proceso. Incluye casos correctos, incompletos, incorrectos y fronterizos; compara la decisión automática con la de referencia y examina por separado falsos aprobados y falsos rechazos. Si los errores del evaluador afectan a un control importante, ajusta la rúbrica, cambia el método o exige revisión humana antes de utilizar la puntuación para una decisión operativa.

Las reglas deterministas son preferibles cuando la propiedad puede verificarse de forma exacta: presencia de un campo, formato estructurado, existencia de un identificador, límite numérico o invocación de una herramienta prohibida. Pero una salida sintácticamente válida puede contener información falsa. Una puntuación alta de un juez tampoco demuestra que el agente haya usado fuentes autorizadas ni que el resultado sea correcto en todos los casos.

Mantén versiones de los criterios y del evaluador. Un cambio de rúbrica, modelo juez o configuración puede alterar la puntuación sin que el agente haya cambiado. Para que una comparación tenga sentido, registra la configuración completa y, cuando sea posible, evalúa las versiones comparadas con el mismo conjunto de casos y condiciones.

Elegir el método de evaluación

Propiedad que se quiere verificarMétodo inicial apropiadoLímite que conviene conservar
Formato, campos y rangosValidador deterministaComprueba estructura o límites, no necesariamente el significado.
Permisos y llamadas a herramientasReglas del sistema, registros y pruebas controladasEl registro permite reconstruir llamadas; la autorización debe aplicarse en el sistema correspondiente.
Pertinencia de una síntesis o explicaciónRúbrica humana o evaluador basado en modelo calibradoEl resultado depende de la calidad de la rúbrica y del desempeño del evaluador.
Corrección en un caso de alto impactoReferencia experta y revisión humanaUna evaluación automática puede asistir, pero no reemplaza la responsabilidad de aprobación.
05

Establece alertas y una respuesta proporcional

Una alerta útil comienza con una línea base apropiada para la tarea y un criterio de acción definido antes del incidente. Compara periodos y versiones solo cuando las condiciones sean suficientemente comparables; un cambio de tráfico, datos, herramientas o configuración puede explicar una diferencia. Si el volumen es pequeño o la variación habitual es alta, una desviación observada puede no bastar para concluir que existe una regresión.

No uses una única puntuación agregada como puerta de aprobación. Separa controles no negociables —por ejemplo, acceso indebido, una escritura no autorizada o pérdida de una validación obligatoria— de objetivos graduables como latencia o calidad estilística. Una mejora en un área no debería ocultar el deterioro de un control crítico.

Cada señal necesita una respuesta posible y un responsable. Según el riesgo, el equipo puede investigar una muestra, aumentar la revisión humana, restringir una herramienta, limitar la automatización o volver a una versión anterior. La pausa o reversión debe aplicarse mediante controles operativos comprobables; una alerta por sí sola no detiene al agente ni evita nuevas acciones.

Define el umbral con el área responsable del proceso y revisa el coste de una falsa alarma frente al de no detectar el fallo. La significación estadística depende de la métrica, el nivel de referencia, el diseño de muestreo y los supuestos empleados. Sin esos elementos, no es válido afirmar que un tamaño fijo de muestra detectará un cambio determinado con una confianza universal.

Respuesta ante una señal de regresión

  1. 01Confirma que la alerta corresponde a un cambio relevante y que la muestra y las condiciones permiten compararla con la línea base.
  2. 02Revisa casos concretos, trazas y configuración; distingue una regresión del agente de un cambio en datos, sistemas externos o criterios de evaluación.
  3. 03Solicita revisión humana para los casos ambiguos o de impacto alto y clasifica la gravedad por consecuencia y reversibilidad.
  4. 04Aplica una medida proporcional: mantener bajo observación, limitar la autonomía, desactivar una herramienta o pausar el flujo afectado.
  5. 05Verifica la corrección con pruebas de regresión antes de restaurar o ampliar el uso, y documenta el resultado operativo.

Señal y acción inicial

SeñalAcción inicial posibleNo concluye por sí sola
Más respuestas incompletasRevisar casos y comparar por tipo de tarea.Que todo el sistema haya empeorado por igual.
Herramienta prohibida o parámetro fuera de límiteContener la capacidad afectada y revisar el control de autorización.Que el problema se resuelva cambiando el prompt únicamente.
Caída de una puntuación automáticaComprobar evaluador, muestra, versiones y referencias humanas.Que el agente sea menos correcto sin verificar ejemplos.
Trazas insuficientesLimitar operaciones difíciles de auditar y corregir la instrumentación.Que una traza completa garantice una decisión correcta.
06

Convierte los fallos en pruebas de regresión

Una interacción que revela un problema puede servir para comprobar que el mismo fallo no reaparece. Antes de incorporarla a un conjunto de prueba, reduce el ejemplo al mínimo necesario, elimina información identificable cuando corresponda y conserva el contexto funcional que explica por qué el resultado fue incorrecto. No todos los registros de producción deben convertirse automáticamente en datos de prueba.

Cada caso debería incluir una tarea definida, el resultado esperado o los criterios de evaluación, las condiciones relevantes y la versión a la que se aplica. Si el caso incluye una herramienta, registra también qué llamada era válida y cuál debía evitarse. La expectativa puede describir una propiedad verificable sin exigir una respuesta textual única cuando existen varias respuestas aceptables.

Mantén separados los casos de desarrollo y aquellos que se reservan para comprobar cambios. Si un equipo ajusta repetidamente el agente sobre los mismos ejemplos, puede mejorar en ese conjunto sin resolver el problema más general. Añade casos representativos nuevos, revisa los datos antiguos y documenta por qué se conserva cada prueba.

Los cambios del modelo, las instrucciones, las herramientas, los permisos, las fuentes recuperadas y las reglas del negocio pueden alterar el comportamiento. Ejecutar un conjunto de regresión tras un cambio ayuda a comparar resultados, pero no demuestra que el sistema sea estable en todas las condiciones de producción. La evaluación debe seguir vinculada al riesgo y al uso real.

07

Criterios prácticos para operar la evaluación continua

Empieza por una tarea acotada y un fallo que tenga consecuencias comprensibles. Define la calidad esperada, los controles que no admiten compensación y el procedimiento de revisión antes de conectar la evaluación al tráfico real. Una configuración inicial más limitada puede ser preferible a registrar todo sin un propósito claro.

Combina métricas de infraestructura, trazas y comprobaciones funcionales. Utiliza reglas deterministas para propiedades exactas, revisión humana para decisiones difíciles y evaluadores basados en modelos solo después de contrastarlos con referencias adecuadas. Mantén las diferencias entre señales: una puntuación automatizada es una medición; un incidente confirmado requiere interpretar el caso y su contexto.

Trata la privacidad y la seguridad como parte del diseño. Minimiza los datos capturados, limita la retención y el acceso, y determina si los evaluadores externos reciben contenido de interacción. No conserves conversaciones completas solo porque puedan resultar útiles en el futuro; la necesidad debe corresponder a una finalidad concreta y a las obligaciones aplicables.

Una evaluación continua aporta valor cuando ayuda a explicar qué cambió, qué condición falló y qué decisión operativa corresponde. No sustituye los controles deterministas, las pruebas antes del despliegue, la supervisión humana en acciones sensibles ni la revisión de cambios en el sistema. El objetivo es detectar señales útiles con límites explícitos y responder antes de ampliar el impacto de un comportamiento no aceptable.

Lista de control operativa

PreguntaCriterio práctico
¿Está definida la tarea?Hay un resultado verificable, casos límite y condiciones para abstenerse o escalar.
¿Se evalúa el proceso además del texto?La traza permite revisar fuentes, herramientas, parámetros y aprobaciones pertinentes.
¿Se protege la telemetría?Los datos se minimizan y los accesos, usos y periodos de retención están definidos.
¿El evaluador se ha contrastado?Sus errores se comparan con decisiones humanas o referencias verificadas.
¿La alerta conduce a una acción?Existe responsable, ruta de revisión y opción de limitar o detener el flujo.
¿Se comprueban los cambios?Las pruebas de regresión se ejecutan con versiones y criterios registrados.
08

Continúa explorando

Fuentes consultadas

03

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.

Proponer una corrección