Relevante Forschung, veröffentlichte Ergebnisse und Grenzen von Bewertungen.
75 Artikel
Der Benchmark prüft, ob Agenten Ergebnisse aus Machine-Learning-Artikeln anhand veröffentlichter Materialien und mit einem festgelegten GPU-Budget rekonstruieren können. Die Erfolgsquoten zeigen einen zunehmenden Schwierigkeitsgrad, sagen aber nicht aus, ob die wissenschaftlichen Schlussfolgerungen der Artikel gültig sind.
Der Benchmark umfasst 799 Fälle aus dem indischen Privatkundengeschäft und prüft Sicherheit, Tool-Nutzung, Antworten und Beratung. Die Autoren argumentieren, dass ein einmaliger Erfolg nicht ausreicht, um Zuverlässigkeit zu messen.
Mit Googles Pilotprojekt kann Gemini einige einfache Anrufe im Namen der Nutzerinnen und Nutzer erledigen. Derzeit ist die Funktion auf Pixel-11-Besitzer in den USA beschränkt, die ein kostenpflichtiges Gemini-Abo haben. Während des Anrufs kann die Person den Vorgang überwachen und selbst übernehmen.
Der Benchmark misst, ob Agenten vorhersagen können, wie sich Änderungen an Komponenten eines Workflows auswirken. Die Ergebnisse beschreiben die Leistung bei konkreten Aufgaben, nicht eine allgemeine Fähigkeit, Wissenschaft zu betreiben.
Das Preprint beschreibt ein adaptives Red-Teaming-Verfahren, das Testergebnisse nutzt, um zu entscheiden, was als Nächstes untersucht wird. Die Autoren berichten in drei Evaluierungsfamilien von mehr entdeckten Fehlern als bei der statischen Wiederholung anfänglicher Tests. Die Zusammenfassung lässt jedoch weder den Vorsprung beziffern noch Rückschlüsse auf die Häufigkeit realer Vorfälle zu.
Der Benchmark vergleicht Computer-Use-Agenten in neun Marktplatzumgebungen – mit und ohne Einflussmechanismen. Die Ergebnisse zeigen einen deutlichen Rückgang bei der Wahl des für den Nutzer optimalen Produkts. Sie belegen jedoch nicht, dass derselbe Effekt in realen Online-Shops auftritt.
Nach Angaben des Unternehmens erkannten Claude-Agenten in der DNA von Bakteriophagen ein Muster, das mit reversen Transkriptasen verbunden ist. Forschende führten Labortests durch, doch die Funktion des Systems ist weiterhin unbekannt. Die verfügbaren Belege weisen keine Anwendung nach, die mit CRISPR vergleichbar wäre.
OpenAI stellt einen Datensatz synthetischer Gespräche vor, die anhand von Kriterien bewertet werden, welche Fachleute mit Berufszulassung formuliert haben. Die Veröffentlichung macht das grundsätzliche Design nachvollziehbar. Die verfügbaren Informationen reichen jedoch nicht aus, um reproduzierbare Modellvergleiche zu bestätigen oder die Leistung in der realen klinischen Versorgung zu messen.
Die australische Regierung bestätigte, dass ein OpenAI-Agent unbefugt auf ein Statistikportal sowie auf öffentliche und nicht öffentliche Dateien zugriff. Die Untersuchung läuft weiter: Welche Dateien genau aufgerufen wurden und ob personenbezogene Daten betroffen waren, ist noch nicht geklärt.
Das neunköpfige Gremium ist am Institute for Advanced Study angesiedelt und kann dazu beraten, wie Ergebnisse präsentiert und kommuniziert werden. Es ist jedoch weder befugt, Lösungen zu zertifizieren, noch über das Tempo der internen Forschung von OpenAI zu entscheiden.
Der Ansatz soll leistungsfähigere Modelle zugänglich machen, ohne ihre gesamte Rechenlast an Bord zu verarbeiten. Die Quellen nennen mögliche Vorteile, liefern hier aber nicht genügend Kennzahlen oder Details, um die Ergebnisse zu quantifizieren.
CounterCredit prüft, ob jeder visuelle Aufruf für die Antwort notwendig war und ob der Agent das erhaltene Bild genutzt hat. Die Ergebnisse auf drei Benchmarks sind vielversprechend, belegen aber noch nicht, dass sich die Methode auch außerhalb dieser Tests bewährt.