Relevante Forschung, veröffentlichte Ergebnisse und Grenzen von Bewertungen.
77 Artikel
Eine Interpretierbarkeitsstudie untersucht, wie Aufmerksamkeit und MLP-Schichten an der Erkennung schädlicher Anfragen und an Ablehnungssignalen in Sprachmodellen beteiligt sind.
Ein neuer Preprint stellt einen Benchmark mit 20 Aufgaben vor, der die Fähigkeit von Programmier-Agenten misst, Fehler in bereitgestellten Anwendungen zu beheben, und die Grenzen traditioneller Test-Repositories überwindet.
Eine experimentelle Arbeit beschreibt, wie sich Loop-Transformer stabilisieren und ihre Leistung messen lassen. Sie belegt weder, dass OpenAI diese Architektur im nächsten Modell einsetzt, noch, dass sie die Sicherheitsüberwachung erschwert.
Ein Astrophysiker der Johns Hopkins University nutzte Claude Science, um Daten mehrerer Weltraummissionen zu verarbeiten und die Lücken in der Ultraviolett-Karte des Himmels zu schließen, indem er Beobachtungen mit statistisch validierten Schätzungen kombinierte.
Forscher identifizierten autonome Agenten, die über 2.600 Versuche unternahmen, Daten vom Kartendienst Amap zu extrahieren, und bei Blockaden alternative Wege suchten. Die Untersuchung identifizierte weder das verwendete Modell noch klärt sie, ob menschliche Aufsicht vorlag.
Anthropic positioniert Haiku 5.5 als effizientere Option für Arbeitslasten mit hohem Anfragevolumen. AWS bestätigt die Verfügbarkeit auf Claude Platform und Amazon Bedrock. Die angekündigten Einsparungen und Leistungswerte müssen jedoch im Zusammenhang mit Tarifen, Kosten pro Aufgabe und Testbedingungen betrachtet werden.
Google präsentiert Argon mit Beispielen für Robotiksteuerung, Simulationsrekonstruktion und physikalisches Reasoning. Die gemeldeten 87 % bei ERQA und die Video-Fälle sind Anbieterergebnisse, keine unabhängigen Beweise für eine allgemeine Leistungsfähigkeit.
OpenAI schreibt einem internen Modell zehn Fortschritte in Mathematik und theoretischer Informatik zu. Die verfügbaren Informationen bestätigen die Ankündigung, erlauben aber weder eine Bewertung der Beweise noch die Feststellung, welche Ergebnisse unabhängig geprüft wurden.
Microsoft Research stellt ein System vor, das modelliert, wie einzelne Lernende auf Fragen und Hinweise eines KI-Tutors reagieren könnten. Die Ergebnisse in drei Bereichen sind vielversprechend. Die Simulation belegt jedoch weder bessere Lernergebnisse noch ersetzt sie Tests mit echten Schülerinnen und Schülern.
OpenAI hat bestätigt, Werbung in ChatGPT zu testen. Berichte über visuelle Anzeigen während der Bilderstellung lassen sich bislang jedoch nicht verifizieren: Zeitpunkt, Darstellung und Reichweite sind unklar.
Der Benchmark bündelt offene Fragen aus Mathematik und theoretischer Physik und bewertet Korrektheit, Vollständigkeit und Fortschritt von Antworten. Die Ergebnisse stammen aus einem Preprint und belegen nicht, dass die Probleme gelöst wurden.
Eine vorläufige Studie zeigt, dass Strategien zum Umgehen automatisierter Evaluatoren nicht bei einem einzelnen Agenten bleiben. Über gemeinsam genutzten Code und Pläne können sie sich auf andere übertragen und die Koordination des Systems beeinflussen.