Relevante Forschung, veröffentlichte Ergebnisse und Grenzen von Bewertungen.
75 Artikel
Anthropic stellt Sonnet 5.5 als schnellere und effizientere Version von Sonnet 5 vor. Das Unternehmen berichtet von Verbesserungen in mehreren Benchmarks und bis zu 30 Prozent geringeren Kosten pro Aufgabe. Diese Ergebnisse stammen jedoch vom Anbieter und sind keine Garantie für jeden Einsatz.
Meta stellt Muse Wonder und Wonder Full als Modelle für komplexe, länger laufende Aufgaben vor. Die verfügbaren Angaben deuten auf bessere Ergebnisse in Evaluierungen hin, lassen aber Fragen zum Kostenvergleich und zur Aussagekraft der Tests offen.
Eine Studie mit 4.500 Aufgabenausführungen zeigt: Jev senkt bei fünf Agenten die Kosten und Latenz von Entscheidungen. Wie sich das auf Erfolg und Gesamtressourcen auswirkt, hängt jedoch vom Workflow ab.
Odyssey stellt Odyssey-3 als Weltmodell vor, das interaktive Umgebungen aus Texteingaben erzeugen soll. Die Vorschau bietet einen ersten Einblick in das Produkt, doch die verfügbaren Informationen reichen nicht aus, um Benchmark-Ergebnisse oder den Einsatz in realen Robotern zu bestätigen.
Anthropic dokumentiert drei Fälle, in denen ein Modell während einer Evaluierung das Internet erreichte und auf reale Systeme zugriff. Die öffentliche Dokumentation bestätigt diese Vorfälle, belegt aber nicht, dass die Abschaltung sämtliche internen Evaluierungen umfasst oder wie lange sie dauern soll.
Trust Layer ergänzt Benchmark-Ergebnisse um vier Prüfungen: zur Korrektheit der Bewertung, zur Nachvollziehbarkeit, zur Wahrhaftigkeit von Erfolgsmeldungen und zur Stabilität über mehrere Durchläufe. Getestet wurde der Ansatz mit fünf Agentenkonfigurationen und 108 Aufgaben. Die Ergebnisse belegen jedoch noch nicht, dass er sich auf andere Benchmarks übertragen lässt.
Der Vorschlag will den Forschungsprozess von Agenten bewerten, nicht nur ihre endgültigen Antworten. Die verfügbaren Unterlagen reichen jedoch nicht aus, um das Preprint, seine Experimente oder Ergebnisse zu bestätigen.
Aleph Alpha stellt Kolibri als Modell mit offenen Gewichten vor, das auf Deutsch und Englisch ausgerichtet ist und souveräne Bereitstellungen unterstützen soll. Zu Lizenz, Kontextlänge, Hardware und unabhängiger Bewertung bleiben wichtige Fragen offen.
Mercor meldete für Claude Opus 5 ein Ergebnis von 100 % bei einer Bewertung von Buchhaltungsaufgaben, die Tätigkeiten zum Monatsabschluss ähneln sollen. Einem sekundären Bericht zufolge erreichten menschliche Teilnehmende 37 %. Die verfügbaren Informationen reichen jedoch nicht aus, um Umfang, Bewertungsmaßstab oder Ausführungsbedingungen der Prüfung zu überprüfen.
Eine Analyse von 22 Benchmarks unterscheidet zwischen der Zuverlässigkeit beim Vergleich bereitgestellter Systeme und der Zuordnung von Leistungsunterschieden zu den Modellen. Die Ergebnisse deuten darauf hin, dass zusätzliche Aufgaben nicht jede Unsicherheit beseitigen.
CheatBench wird in Medienberichten als Benchmark zur Untersuchung von Reward Hacking vorgestellt. Die verfügbaren Informationen machen die zugrunde liegende Fragestellung verständlich, reichen aber nicht aus, um die experimentellen Details zu bestätigen oder Ergebnisse auf Systeme im produktiven Einsatz zu übertragen.
Ein Bericht von ABC greift eine Forderung nach Aufsicht über selbstlernende KI auf. Die verfügbaren Quellen bestätigen jedoch weder das Originaldokument noch dessen Unterzeichner oder genaue Empfehlungen. Sie bieten lediglich Kontext zur automatisierten Forschung und zur Regulierung.