Salesforce melhora a memória do Agentforce com uma política que atualiza informações
Imagem gerada pela Equipa Editorial da Inferama
01

O problema das informações desatualizadas na memória dos agentes

Um agente de inteligência artificial pode cometer um erro sutil, mas custoso: responder com uma informação que estava correta no passado, mas já não está. Se um cliente informa em março que seu escritório fica em Bangalore e, em junho, comunica que se mudou para Pune, o agente precisa atualizar esse dado. Caso contrário, se em julho responder a uma pergunta sobre localização como se o escritório ainda estivesse em Bangalore, a consequência pode ir de um simples transtorno a um erro operacional, como reservar o serviço de bufê para o endereço antigo.

Esse cenário ilustra uma dificuldade central da memória em agentes que acompanham conversas ao longo do tempo. Uma resposta baseada em um fato antigo pode parecer igual a outra baseada em um fato atual, tornando o erro invisível para quem usa o sistema e difícil de diagnosticar para quem o desenvolve. Distinguir uma falha ao armazenar uma informação de uma falha ao usá-la é essencial para melhorar a coerência desses sistemas.

02

Uma avaliação para medir o que o agente realmente lembra

A Salesforce AI Research desenvolveu um método de avaliação para investigar uma questão difícil: quanto um agente realmente lembra? O método gera conversas longas, distribuídas por várias sessões, com fatos específicos introduzidos ao longo do diálogo. Em seguida, executa as conversas no sistema Agentforce em funcionamento e faz perguntas cujas respostas dependem desses fatos.

O diferencial está em avaliar o percurso completo: desde o momento em que o cliente menciona uma informação até aquele em que o agente precisa agir com base nela. Assim, a avaliação pode ajudar a separar dois tipos de falha: o agente não armazenou o dado ou armazenou, mas não conseguiu utilizá-lo corretamente. Identificar a diferença pode orientar melhorias na política de memória sem exigir uma reconstrução da arquitetura subjacente.

Etapas da avaliação da memória

A avaliação percorre uma sequência que verifica se os fatos introduzidos nas conversas podem ser recuperados quando são necessários.

  1. 01Gerar conversas com várias sessões e fatos específicos inseridos ao longo do tempo.
  2. 02Executar as conversas no sistema Agentforce em funcionamento.
  3. 03Fazer perguntas cujas respostas dependam dos fatos inseridos.
  4. 04Analisar as respostas para distinguir entre falhas de armazenamento e de uso.
  5. 05Usar os resultados para orientar ajustes na política de memória.
03

O que mudou na política de memória

A melhora relatada não veio de uma alteração na arquitetura do Agentforce Memory, que, de acordo com a Salesforce AI Research, continua baseada na mesma estrutura técnica com que foi lançado. A mudança está na política de memória atualizada: as regras que definem o que o agente guarda sobre o cliente e como lida com informações que mudam.

A política atualizada retém mais informações ditas pelo cliente e trata uma atualização como correção de um dado já conhecido, em vez de guardar a nova informação ao lado da antiga como se ambas continuassem válidas. Isso busca reduzir conflitos entre fatos de momentos diferentes. Não significa, por si só, que toda informação será sempre atualizada ou recuperada corretamente.

Diferenças descritas entre as políticas de memória

A comparação resume como a política anterior e a atualizada tratam as informações, conforme a descrição da Salesforce AI Research.

AspectoPolítica anteriorPolítica atualizada
Tratamento de atualizaçõesA informação nova podia ficar registrada ao lado da antigaA atualização é tratada como correção do dado conhecido
Retenção de informaçõesRetinha menos dos fatos mencionados pelo clienteRetém mais dos fatos mencionados pelo cliente
Coerência temporalPodia recuperar um fato que mudouA política busca reconhecer a mudança e priorizar a informação atualizada
04

Resultados: mais fatos recuperados na avaliação

Na avaliação do sistema Agentforce em funcionamento, a política atualizada recuperou 1,8 vez mais fatos declarados explicitamente do que a política que substituiu. Para os fatos que mudavam com o tempo, o resultado foi de 2,2 vezes mais fatos recuperados. Esses números comparam o desempenho das duas políticas nessa avaliação; não representam uma taxa geral de precisão para todas as tarefas ou situações.

A Salesforce AI Research descreve a qualidade da memória na conversa de ponta a ponta como essencialmente duplicada. Essa caracterização deve ser entendida no contexto do método e dos fatos avaliados: conversas longas, com informações específicas, submetidas ao Agentforce em funcionamento. Os resultados não demonstram que todos os agentes terão o mesmo desempenho em qualquer contexto, nem garantem que usuários deixarão de precisar repetir informações.

05

O que os resultados dizem sobre desenvolvimento e governança

Avaliar a memória em um sistema em funcionamento permite observar o percurso entre a informação dita pelo cliente e a resposta ou ação do agente. A Salesforce AI Research afirma que esse tipo de teste ajuda a localizar se uma falha ocorreu no armazenamento do dado ou em seu uso posterior. Segundo Silvio Savarese, vice-presidente executivo e cientista-chefe da Salesforce, equipes de produto precisam medir o comportamento do sistema antes de alterá-lo, especialmente quando clientes já o utilizam.

Para empresas que usam o Agentforce, os resultados apontam uma forma de avaliar uma capacidade importante: manter o contexto quando as informações mudam ao longo de conversas. Testar o que o agente recupera em uma conversa completa pode ajudar a definir critérios de avaliação, mas os números publicados não são uma comprovação independente da eficácia em todos os ambientes. A avaliação e as métricas foram divulgadas pela própria Salesforce AI Research; o relato não apresenta uma replicação independente dos resultados.

06

Continue a explorar

Fontes consultadas

03

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.

Propor uma correção