Salesforce améliore la mémoire d’Agentforce : jusqu’à 2,2 fois plus de faits évolutifs rappelés
Image générée par l’équipe éditoriale d’Inferama
01

Le problème des informations périmées dans la mémoire des agents

Un agent d’intelligence artificielle peut commettre une erreur discrète, mais coûteuse : répondre à partir d’une information qui était exacte autrefois et qui ne l’est plus. Si un client indique en mars que son bureau se trouve à Bangalore, puis signale en juin son déménagement à Pune, l’agent doit tenir compte de cette mise à jour. S’il répond en juillet à une question de localisation comme si le bureau était toujours à Bangalore, l’erreur peut créer un simple désagrément ou entraîner une conséquence opérationnelle, comme la livraison d’un repas à l’ancienne adresse.

Ce scénario illustre une difficulté centrale de la mémoire des agents utilisés sur de longues périodes. Une réponse fondée sur un fait ancien peut sembler aussi plausible qu’une réponse fondée sur un fait à jour. L’utilisateur ne voit pas nécessairement la différence, et le développeur peut avoir du mal à déterminer ce qui s’est passé. Distinguer un oubli au moment de l’enregistrement d’un échec au moment de la réutilisation est donc essentiel pour diagnostiquer et améliorer la cohérence du système.

02

Un cadre d’évaluation pour mesurer ce que l’agent retient réellement

Salesforce AI Research a conçu un cadre d’évaluation pour répondre à une question difficile : que retient réellement un agent ? Le dispositif produit des conversations longues réparties sur plusieurs sessions, dans lesquelles des faits précis sont introduits à différents moments. Ces échanges sont ensuite exécutés dans le système Agentforce en production, puis l’agent reçoit des questions dont la réponse dépend des faits introduits.

L’intérêt de cette méthode tient à ce qu’elle évalue le parcours de bout en bout : depuis le moment où le client communique une information jusqu’au moment où l’agent doit s’en servir. Elle vise à distinguer deux causes possibles d’une réponse incorrecte : l’information n’a pas été conservée, ou elle a été conservée mais mal utilisée. Cette distinction peut aider les équipes à cibler une modification de la politique de mémoire plutôt qu’à reconstruire l’architecture du système.

Les étapes de l’évaluation de la mémoire

Le cadre suit une séquence destinée à tester la conservation et la réutilisation des faits au fil d’une conversation.

  1. 01Générer des conversations réparties sur plusieurs sessions et y introduire des faits précis.
  2. 02Exécuter ces conversations dans le système Agentforce en production.
  3. 03Poser des questions dont les réponses dépendent des faits introduits.
  4. 04Analyser les réponses pour différencier un défaut de conservation d’un défaut d’utilisation.
  5. 05Évaluer une politique de mémoire modifiée à partir des résultats.
03

Ce qui change dans la politique de mémoire

L’amélioration annoncée ne vient pas d’une nouvelle architecture d’Agentforce Memory : Salesforce AI Research indique que le système conserve l’architecture de son lancement. La modification concerne la politique de mémoire, c’est-à-dire les règles qui déterminent ce que l’agent garde en mémoire et la manière dont il traite une information modifiée.

La nouvelle politique retient davantage d’informations communiquées par le client et traite une mise à jour comme la correction d’un fait déjà connu, plutôt que comme un fait supplémentaire à conserver à côté de l’ancien. Cette règle vise à éviter que deux versions contradictoires restent côte à côte dans le contexte utilisé par l’agent. Elle décrit le changement apporté à la politique ; elle ne signifie pas que toute information sera toujours mise à jour correctement dans chaque situation.

Ancienne et nouvelle politique de mémoire

Comparaison des règles de gestion des informations, telle que décrite par Salesforce AI Research.

AspectPolitique précédentePolitique mise à jour
Traitement des mises à jourLe nouveau fait pouvait être conservé à côté de l’ancienLa mise à jour est traitée comme une correction du fait précédent
Informations retenuesLa politique conservait moins des faits communiquésLa politique retient davantage de ce que le client indique
Cohérence dans le tempsUn fait antérieur pouvait rester disponible avec sa version mise à jourLa règle vise à traiter la nouvelle version comme une correction
04

Les résultats : un meilleur rappel dans l’évaluation

Dans l’évaluation du système en production, la politique mise à jour a rappelé 1,8 fois plus de faits énoncés explicitement que la politique qu’elle remplace. Pour les faits qui changent au fil du temps, le rappel était 2,2 fois plus élevé. Ces multiplicateurs comparent les deux politiques sur le cadre d’évaluation décrit par Salesforce AI Research ; ils ne correspondent pas à un taux de réussite universel applicable à toutes les conversations ou à tous les agents.

Salesforce AI Research décrit cette amélioration comme un quasi-doublement de la qualité de la mémoire de bout en bout dans cette évaluation. Le résultat est pertinent parce qu’il porte sur des conversations longues, des données en direct et l’utilisation du système Agentforce en production. Il ne démontre pas, à lui seul, que les utilisateurs auront toujours moins à répéter, ni que les erreurs opérationnelles disparaîtront.

05

Ce que l’évaluation implique pour les équipes qui développent des agents

Cette mise à jour met en évidence l’intérêt de tester les agents dans les conditions où ils sont utilisés, plutôt que de mesurer uniquement leur comportement en laboratoire. Silvio Savarese, vice-président exécutif et directeur scientifique de Salesforce, explique que les produits fonctionnent déjà avec des clients et que les équipes doivent mesurer leurs performances avec rigueur avant de les modifier. Une évaluation de bout en bout peut aider à localiser un problème dans le traitement de la mémoire sans supposer d’emblée qu’il faut remplacer toute l’infrastructure.

Pour les organisations qui utilisent Agentforce, les résultats indiquent une amélioration du rappel sur le cadre évalué, et non une garantie générale de fiabilité. Les équipes doivent donc examiner les usages qui comptent pour elles, notamment les informations susceptibles d’évoluer et les conséquences d’une réponse fondée sur un ancien fait. Tester ce qu’un agent retient sur l’ensemble d’une conversation permet de mieux évaluer sa mémoire, mais la performance observée dépend du système et du protocole testés.

06

Poursuivre l’exploration

Sources consultées

03

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.

Proposer une correction