Neueste Nachrichten

74 Artikel

RSS ↗
Preprint schlägt vor zu prüfen, ob KI-Agenten ihre Benchmark-Punkte verdient haben

Preprint schlägt vor zu prüfen, ob KI-Agenten ihre Benchmark-Punkte verdient haben

Trust Layer ergänzt Benchmark-Ergebnisse um vier Prüfungen: zur Korrektheit der Bewertung, zur Nachvollziehbarkeit, zur Wahrhaftigkeit von Erfolgsmeldungen und zur Stabilität über mehrere Durchläufe. Getestet wurde der Ansatz mit fünf Agentenkonfigurationen und 108 Aufgaben. Die Ergebnisse belegen jedoch noch nicht, dass er sich auf andere Benchmarks übertragen lässt.

Die vorgeschlagene Methode zur Prüfung von Agentenerinnerungen ist nicht verifiziert

Die vorgeschlagene Methode zur Prüfung von Agentenerinnerungen ist nicht verifiziert

Der Vorschlag fragt, ob jede abgerufene Erinnerung für eine Anfrage zulässig ist. Das verfügbare Material bestätigt jedoch weder die Existenz des beschriebenen Preprints noch dessen Methode oder Ergebnisse. Warum Relevanz und Zugriffsberechtigung getrennt bewertet werden müssen – und welche Nachweise für eine belastbare Prüfung fehlen.

GHOST: Wenn ein KI-Agent eine kritische Vorgabe nach vielen Gesprächsschritten vergisst

GHOST: Wenn ein KI-Agent eine kritische Vorgabe nach vielen Gesprächsschritten vergisst

Ein Preprint beschreibt, wie Agenten Sicherheitsvorgaben verletzen können, die viele Schritte zuvor gemacht wurden. Die Zusammenfassung berichtet von 11,5 Prozent GHOST-Ereignissen in einer GPT-5.5-Konfiguration und keinen beobachteten Ereignissen mit STAR-Guard. Für die Bewertung der Aussagekraft und Reichweite fehlen jedoch wichtige Details.

CheatBench will messen, ob KI-Agenten Abkürzungen nutzen, um Belohnungen zu maximieren

CheatBench will messen, ob KI-Agenten Abkürzungen nutzen, um Belohnungen zu maximieren

CheatBench wird in Medienberichten als Benchmark zur Untersuchung von Reward Hacking vorgestellt. Die verfügbaren Informationen machen die zugrunde liegende Fragestellung verständlich, reichen aber nicht aus, um die experimentellen Details zu bestätigen oder Ergebnisse auf Systeme im produktiven Einsatz zu übertragen.

Manus, Video und Remote-Aufgaben: Was die Quellen bestätigen – und was noch belegt werden muss

Manus, Video und Remote-Aufgaben: Was die Quellen bestätigen – und was noch belegt werden muss

Die verfügbaren Quellen beschreiben allgemeine Funktionen von Manus und ein Tool zur Erstellung von Videos aus Text. Sie bestätigen jedoch weder eine Ankündigung von Manus 2.0 oder Cue noch Angaben zu Berechtigungen, allgemeiner Verfügbarkeit oder autonomer Ausführung von Anfang bis Ende.