Salesforce verbessert das Erinnerungsvermögen von Agentforce mit einer neuen Aktualisierungsrichtlinie
Bild erstellt vom Redaktionsteam von Inferama
01

Wenn die Erinnerung von KI-Agenten veraltet

Ein KI-Agent kann einen subtilen, aber folgenreichen Fehler machen: Er antwortet mit Informationen, die früher korrekt waren, inzwischen jedoch nicht mehr stimmen. Teilt ein Kunde im März mit, dass sich sein Büro in Bangalore befindet, und meldet im Juni einen Umzug nach Pune, sollte der Agent diesen Ortswechsel berücksichtigen. Antwortet er im Juli auf eine standortabhängige Frage noch mit Bangalore, reicht die Folge möglicherweise von unnötigem Aufwand bis zu einem konkreten Betriebsfehler – etwa wenn Catering an die alte Adresse bestellt wird.

Dieses Beispiel zeigt eine zentrale Schwierigkeit bei der Erinnerung von Agenten, die über längere Zeit mit Menschen interagieren. Eine Antwort auf Grundlage einer alten Angabe sieht genauso aus wie eine Antwort auf Grundlage einer aktuellen. Für den Nutzer ist der Fehler deshalb nicht unbedingt zu erkennen, und auch Entwickler können ihn schwer diagnostizieren. Die Unterscheidung zwischen einem Speicherfehler und einem Fehler bei der späteren Nutzung ist entscheidend, wenn die Konsistenz solcher Systeme verbessert werden soll.

02

Ein Bewertungsrahmen für die tatsächliche Erinnerung

Salesforce AI Research entwickelte einen Bewertungsrahmen für die Frage, wie viel ein Agent tatsächlich erinnert. Dafür erzeugt das Verfahren lange Gespräche über mehrere Sitzungen hinweg, in denen bestimmte Fakten an unterschiedlichen Stellen vorkommen. Anschließend werden diese Gespräche durch das laufende Agentforce-System geführt und mit Fragen geprüft, deren Beantwortung von den zuvor genannten Fakten abhängt.

Wichtig ist, dass der gesamte Ablauf getestet wird: vom Moment, in dem ein Kunde eine Information nennt, bis zu dem Moment, in dem der Agent sie für eine Antwort oder Handlung benötigt. So lässt sich unterscheiden, ob der Agent die Angabe gar nicht gespeichert oder sie gespeichert, später aber nicht korrekt verwendet hat. Wenn klarer ist, an welcher Stelle der Fehler entsteht, kann die Speicherpolitik gezielt verändert werden, statt die zugrunde liegende Architektur neu aufzubauen.

Ablauf der Speicherbewertung

Die Evaluierung prüft, ob Informationen aus längeren Gesprächen später wieder abgerufen und passend verwendet werden.

  1. 01Gespräche über mehrere Sitzungen mit gezielt eingefügten Fakten erzeugen.
  2. 02Die Gespräche durch das laufende Agentforce-System führen.
  3. 03Fragen stellen, deren Antworten von den eingefügten Fakten abhängen.
  4. 04Die Antworten daraufhin auswerten, ob ein Speicher- oder Nutzungsfehler vorliegt.
  5. 05Die Speicherpolitik anhand der Ergebnisse anpassen.
03

Was sich an der Speicherpolitik geändert hat

Die gemeldete Verbesserung geht nicht auf eine neue Architektur von Agentforce Memory zurück. Laut Salesforce AI Research läuft die Funktion weiterhin auf derselben technischen Grundlage wie zuvor. Geändert wurde die Speicherpolitik – also die Regelung dazu, welche Informationen der Agent behält und wie er mit späteren Änderungen umgeht.

Die überarbeitete Politik soll mehr von den Angaben eines Kunden behalten. Außerdem behandelt sie eine neue, widersprechende Information als Korrektur eines bereits gespeicherten Fakts statt als zusätzliche Angabe, die neben der alten stehen bleibt. Das soll verhindern, dass der Agent bei späteren Antworten auf einen überholten Wert zurückgreift. Die genaue Ausgestaltung der internen technischen Umsetzung wird in der Beschreibung nicht näher erläutert.

Alte und überarbeitete Speicherpolitik

Die Gegenüberstellung fasst die von Salesforce beschriebene Änderung im Umgang mit Angaben zusammen.

AspektFrühere PolitikÜberarbeitete Politik
Umgang mit ÄnderungenEine neue Angabe konnte neben der alten abgelegt werdenEine neue Angabe wird als Korrektur der bisherigen behandelt
Behaltene InformationenEin Teil der Angaben blieb erhaltenMehr der ausdrücklich genannten Angaben soll erhalten bleiben
Zeitliche KonsistenzEine veraltete Angabe konnte weiterhin verwendet werdenÄnderungen sollen als Aktualisierungen berücksichtigt werden
04

Was die Kennzahlen aussagen – und was nicht

In einer Evaluierung mit dem laufenden Agentforce-System rief die aktualisierte Politik 1,8-mal so viele ausdrücklich genannte Fakten ab wie die vorherige. Bei Fakten, die sich im Laufe der Zeit ändern, lag der Wert bei 2,2-mal so vielen. Diese Kennzahlen vergleichen die überarbeitete Politik mit der Politik, die sie ersetzte.

Die Ergebnisse beziehen sich auf den beschriebenen Test und belegen nicht automatisch, dass jeder Agent in jeder Situation zuverlässiger arbeitet. Salesforce AI Research beschreibt den Qualitätsgewinn für die Erinnerung an das Gespräch als Ganzes als nahezu verdoppelt. Die Zahlen sind jedoch keine Garantie dafür, dass ein Agent jede Aktualisierung korrekt erkennt oder in jeder realen Interaktion richtig handelt. Eine unabhängige Wiederholung der Evaluierung ist in der Beschreibung nicht ausgewiesen.

05

Bedeutung für Entwicklung und Betrieb

Die Aktualisierung unterstreicht, warum Agenten nicht nur mit kurzen, isolierten Testfragen bewertet werden sollten. Eine Erinnerung muss sich über viele Gesprächssitzungen hinweg bewähren – unter Bedingungen, bei denen Informationen Monate später noch relevant sind. Salesforce-EVP und Chief Scientist Silvio Savarese betonte, dass ein Produktteam die Leistung ehrlich messen sollte, bevor es Änderungen vornimmt. Die Evaluierung soll dabei helfen, konkrete Schwachstellen einzugrenzen, ohne die gesamte Systemarchitektur neu zu entwickeln.

Für Unternehmen, die Agentforce nutzen, macht die Arbeit die Speicherleistung besser messbar. Sie sagt für sich genommen jedoch nicht aus, wie die Funktion in jeder Kundenkonfiguration arbeitet oder ob die Verbesserung für alle Arten von Agenten gilt. Tests über den vollständigen Gesprächsverlauf können einen Maßstab dafür liefern, welche Angaben ein Agent behält und später tatsächlich nutzt. Salesforce berichtet, dass Agentforce Memory im September allgemein verfügbar wurde; die Beschreibung klärt nicht, ob die überarbeitete Speicherpolitik zum selben Zeitpunkt für alle Kunden verfügbar war.

06

Weiter entdecken

Verwendete Quellen

03

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.

Korrektur vorschlagen