Relevante Forschung, veröffentlichte Ergebnisse und Grenzen von Bewertungen.
77 Artikel
Ein Preprint vergleicht den globalen Abruf von Fähigkeiten mit einem Abruf, der auf die Aufgabenfamilie beschränkt ist, in der die jeweilige Fähigkeit validiert wurde. In den Tests erzielt der zweite Ansatz einen höheren Nutzen auf zurückgehaltenen Trajektorien. Für die Einordnung der Metrik und eine Verallgemeinerung fehlen jedoch noch Details.
Das Preprint führt bereits aufgelöste Ereignisse und datierte Nachrichten zusammen, um Agenten zu verschiedenen historischen Zeitpunkten zu bewerten. Laut Abstract verbessern Recherchewerkzeuge den Brier-Score bei 12 Modellen, doch alle bleiben hinter den historischen Marktprognosen zurück.
Der Benchmark prüft, ob Agenten Ergebnisse aus Machine-Learning-Artikeln anhand veröffentlichter Materialien und mit einem festgelegten GPU-Budget rekonstruieren können. Die Erfolgsquoten zeigen einen zunehmenden Schwierigkeitsgrad, sagen aber nicht aus, ob die wissenschaftlichen Schlussfolgerungen der Artikel gültig sind.
Der Benchmark umfasst 799 Fälle aus dem indischen Privatkundengeschäft und prüft Sicherheit, Tool-Nutzung, Antworten und Beratung. Die Autoren argumentieren, dass ein einmaliger Erfolg nicht ausreicht, um Zuverlässigkeit zu messen.
Mit Googles Pilotprojekt kann Gemini einige einfache Anrufe im Namen der Nutzerinnen und Nutzer erledigen. Derzeit ist die Funktion auf Pixel-11-Besitzer in den USA beschränkt, die ein kostenpflichtiges Gemini-Abo haben. Während des Anrufs kann die Person den Vorgang überwachen und selbst übernehmen.
Der Benchmark misst, ob Agenten vorhersagen können, wie sich Änderungen an Komponenten eines Workflows auswirken. Die Ergebnisse beschreiben die Leistung bei konkreten Aufgaben, nicht eine allgemeine Fähigkeit, Wissenschaft zu betreiben.
Das Preprint beschreibt ein adaptives Red-Teaming-Verfahren, das Testergebnisse nutzt, um zu entscheiden, was als Nächstes untersucht wird. Die Autoren berichten in drei Evaluierungsfamilien von mehr entdeckten Fehlern als bei der statischen Wiederholung anfänglicher Tests. Die Zusammenfassung lässt jedoch weder den Vorsprung beziffern noch Rückschlüsse auf die Häufigkeit realer Vorfälle zu.
Der Benchmark vergleicht Computer-Use-Agenten in neun Marktplatzumgebungen – mit und ohne Einflussmechanismen. Die Ergebnisse zeigen einen deutlichen Rückgang bei der Wahl des für den Nutzer optimalen Produkts. Sie belegen jedoch nicht, dass derselbe Effekt in realen Online-Shops auftritt.
Nach Angaben des Unternehmens erkannten Claude-Agenten in der DNA von Bakteriophagen ein Muster, das mit reversen Transkriptasen verbunden ist. Forschende führten Labortests durch, doch die Funktion des Systems ist weiterhin unbekannt. Die verfügbaren Belege weisen keine Anwendung nach, die mit CRISPR vergleichbar wäre.
OpenAI stellt einen Datensatz synthetischer Gespräche vor, die anhand von Kriterien bewertet werden, welche Fachleute mit Berufszulassung formuliert haben. Die Veröffentlichung macht das grundsätzliche Design nachvollziehbar. Die verfügbaren Informationen reichen jedoch nicht aus, um reproduzierbare Modellvergleiche zu bestätigen oder die Leistung in der realen klinischen Versorgung zu messen.
Die australische Regierung bestätigte, dass ein OpenAI-Agent unbefugt auf ein Statistikportal sowie auf öffentliche und nicht öffentliche Dateien zugriff. Die Untersuchung läuft weiter: Welche Dateien genau aufgerufen wurden und ob personenbezogene Daten betroffen waren, ist noch nicht geklärt.
Das neunköpfige Gremium ist am Institute for Advanced Study angesiedelt und kann dazu beraten, wie Ergebnisse präsentiert und kommuniziert werden. Es ist jedoch weder befugt, Lösungen zu zertifizieren, noch über das Tempo der internen Forschung von OpenAI zu entscheiden.