El problema de la obsolescencia en la memoria de agentes
Un agente de inteligencia artificial puede cometer un error sutil pero costoso: responder con información que era correcta en el pasado pero que ya no lo es. Si un cliente indica en marzo que su oficina está en Bangalore y en junio comunica que se ha mudado a Pune, el agente debe actualizar ese dato. Si no lo hace, y en julio responde a una consulta dependiente de la ubicación como si la oficina siguiera en Bangalore, la consecuencia puede ir desde una simple fricción hasta un error operativo grave, como reservar catering para la dirección antigua.
Este escenario ilustra la dificultad central de la memoria en agentes de larga duración. Una respuesta construida sobre un hecho antiguo se lee exactamente igual que una construida sobre un hecho actual, lo que hace que el error sea invisible para el usuario y difícil de diagnosticar para el desarrollador. La incapacidad para distinguir entre un fallo de almacenamiento y un fallo de uso es el principal obstáculo para mejorar la coherencia de estos sistemas.
Un marco de evaluación para medir la memoria real
Salesforce AI Research ha desarrollado un marco de evaluación diseñado para responder a una pregunta compleja: ¿cuánto recuerda realmente un agente? Este sistema genera conversaciones largas y multi-sesión con hechos específicos plantados a lo largo del tiempo. Luego, ejecuta estas conversaciones a través del sistema Agentforce en vivo y formula preguntas que dependen de esos datos.
La clave de este enfoque es que prueba el camino completo, desde el momento en que el cliente menciona un dato hasta el momento en que el agente actúa sobre él. Esto permite separar dos tipos de fallos: si el agente no guardó la información o si la guardó pero no la utilizó correctamente. Al identificar cuál de los dos es el problema, los ingenieros pueden mejorar el sistema modificando la política de memoria en lugar de reconstruir la arquitectura subyacente.
Ciclo de evaluación de la memoria
El proceso de evaluación sigue una secuencia lógica para validar la integridad de la memoria del agente.
- 01Generación de conversaciones multi-sesión con hechos plantados.
- 02Ejecución de las conversaciones en el sistema Agentforce en vivo.
- 03Formulación de preguntas que dependen de los hechos plantados.
- 04Análisis de la respuesta para distinguir entre fallo de almacenamiento y fallo de uso.
- 05Ajuste de la política de memoria basado en los resultados.
La actualización de la política de memoria
La mejora del rendimiento no provino de un cambio en la arquitectura de Agentforce Memory, que sigue funcionando con la misma base técnica que al lanzamiento. El cambio reside en la política de memoria actualizada, que define las reglas sobre qué información el agente retiene y cómo maneja los cambios en esa información.
La nueva política tiene dos características fundamentales: retiene más de lo que el cliente dice y trata una actualización como una corrección de un dato existente en lugar de un hecho adicional archivado junto al primero. Este cambio de paradigma permite que el agente sobrescriba la información obsoleta con la nueva, manteniendo la coherencia del contexto a lo largo del tiempo.
Comparación de políticas de memoria
Diferencias clave entre la política anterior y la actualizada en la gestión de datos de clientes.
| Característica | Política anterior | Política actualizada |
|---|---|---|
| Gestión de actualizaciones | Archiva el nuevo dato junto al antiguo | Trata el nuevo dato como corrección del antiguo |
| Retención de información | Retiene un subconjunto de datos | Retiene más de lo que el cliente dice |
| Coherencia temporal | Puede responder con datos obsoletos | Mantiene la información actualizada |
Impacto en el rendimiento: métricas de duplicación
Los resultados de la evaluación en el sistema en vivo muestran una mejora significativa. La política actualizada recupera 1,8 veces más de los hechos que los clientes declaran explícitamente que la política que reemplazó. En el caso de los hechos que cambian con el tiempo, la mejora es aún mayor, con una recuperación 2,2 veces superior.
Estas cifras indican que la memoria de la conversación de principio a fin se ha duplicado en calidad. Esto no es solo una mejora estadística, sino un cambio tangible en la experiencia del usuario, ya que los agentes son ahora más fiables para mantener el contexto a lo largo de meses de interacción, reduciendo la necesidad de que los clientes repitan información y minimizando los errores operativos.
Implicaciones para el desarrollo y la gobernanza
Esta actualización subraya la importancia de medir el rendimiento de los agentes de IA en condiciones reales, no solo en entornos de laboratorio. Como señaló Silvio Savarese, EVP y chief scientist de Salesforce, en una organización de producto, el problema ya está en ejecución con clientes reales, y la disciplina es medirlo honestamente antes de hacer cambios. Este enfoque permite a los equipos de desarrollo identificar y corregir fallos específicos sin necesidad de rediseñar la infraestructura.
Para las empresas que utilizan Agentforce, esta mejora significa una mayor confianza en la capacidad de los agentes para manejar contextos complejos y cambiantes. La memoria de los agentes se está convirtiendo en un estándar que las empresas exigen, similar a cualquier otra parte de sus sistemas. **La capacidad de probar qué recuerda un agente a lo largo de una conversación completa es la forma en que se establece ese estándar.**
Continúa explorando
Fuentes consultadas
Correcciones y transparencia
Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.
Proponer una corrección