InfraDev testet Coding-Agenten mit 36 Änderungen an KI-Infrastruktur

Bewertet werden Infrastrukturänderungen, nicht nur einzelne Codefragmente

InfraDev ist ein Benchmark, der untersuchen soll, ob Coding-Agenten komplexe Änderungen an KI-Infrastruktur umsetzen können. Im Mittelpunkt stehen Aufgaben, die mehrere Dateien betreffen und in Umgebungen mit mehreren GPUs funktionieren müssen. Damit geht der Benchmark über isolierte Kernel oder Aufgaben für einzelne GPUs hinaus.

Der Unterschied ist wichtig: Eine Änderung kann in einer kleinen Funktion korrekt wirken und dennoch scheitern, sobald sie in ein Trainings- oder Inferenzsystem integriert wird. Dort spielen Schnittstellen, gemeinsam genutzter Zustand, Abhängigkeiten und Rechenressourcen zusammen. InfraDev bildet einen Teil dieser Komplexität mit Aufgaben nach, die an realen Änderungen orientiert sind. Die Ergebnisse gelten jedoch für diesen konkreten Aufgabensatz und belegen nicht, dass ein Agent beliebige Produktionssysteme warten kann.

36 Aufgaben aus Projekten für die Entwicklung und den Betrieb von Modellen

Der Benchmark umfasst 36 Aufgaben, die aus Pull Requests für Megatron-LM, vLLM und verl abgeleitet wurden. Sie betreffen das Modelltraining, die Inferenz und das Reinforcement Learning. In jedem Fall soll ein Agent eine reale Änderung neu implementieren, statt lediglich eine unabhängige Programmierübung zu lösen.

Die Herkunft aus bestehender Infrastruktursoftware verankert die Aufgaben in konkreten Projekten. Sie macht die 36 Fälle aber nicht zu einer vollständigen Stichprobe aller Änderungen, die in diesen Projekten auftreten können. Aus der verfügbaren Zusammenfassung geht nicht hervor, ob alle Arten von Arbeit, Architekturen oder Hardwarekonfigurationen abgedeckt sind. Die drei Projekte und ihre Einsatzbereiche liefern daher Kontext für die Bewertung, sind aber kein Beleg für eine universelle Abdeckung.

Verborgene Prüfungen sollen Lücken in offiziellen Tests aufdecken

InfraDev kombiniert verborgene Prüfungen, sogenannte Probes, mit einer Aufgabenbeschreibung, die die von diesen Prüfungen verwendeten Schnittstellen nennt, aber die Lösung nicht verrät. Damit sollen Anforderungen geprüft werden, die in den ursprünglichen Tests der Projekte möglicherweise fehlen. Zugleich soll verhindert werden, dass eine Antwort nur deshalb erfolgreich erscheint, weil die vorhandenen Prüfungen unvollständig sind.

Laut der Zusammenfassung der Arbeit lehnten die Probes 32 Prozent der Einreichungen ab, die sämtliche offiziellen Tests bestanden hatten. In den untersuchten Aufgaben reichte es demnach nicht immer aus, die offizielle Testsuite zu bestehen, um auch die zusätzlichen Anforderungen des Benchmarks zu erfüllen. Das zeigt weder, dass verborgene Tests unfehlbar sind, noch dass sich jede reale Änderung mit dieser Methode vollständig bewerten lässt.

Das beste Ergebnis lag bei 38,9 Prozent der Aufgaben

In der beschriebenen Auswertung wurden sechs Frontier-Modelle getestet. Das beste Modell löste 38,9 Prozent der Aufgaben. Wurden dagegen nur die ursprünglichen Beschreibungen der Pull Requests als Aufgabenstellung verwendet, löste kein Modell eine Aufgabe. Dieser Unterschied legt nahe, dass die Darstellung von Schnittstellen und Anforderungen beeinflussen kann, wie gut Agenten im Benchmark abschneiden.

Die 38,9 Prozent sind keine Erfolgsquote für sämtliche Arbeiten an KI-Infrastruktur. Die Zahl bezieht sich auf die Aufgaben und Bedingungen, die im Preprint zu InfraDev beschrieben werden. Die verfügbare Zusammenfassung enthält hier keine ausreichende Aufschlüsselung, um die einzelnen Modelle, Aufgaben und Projekte eigenständig zu vergleichen. Der Bestwert sollte deshalb nicht als allgemeine Rangliste von Agenten verstanden werden.

Strukturelle Fehler und Fehler im Umgang mit Zustand traten häufig auf

Die Fehleranalyse der Arbeit kommt zu dem Ergebnis, dass strukturelle Fehler und Probleme mit dem Zustand überwogen. Außerdem prüften die von den Agenten selbst geschriebenen Tests nur selten Aspekte wie Speicherverbrauch, Laufzeit oder Datenverkehr. Das sind Beobachtungen zu den untersuchten Aufgaben und Antworten; sie belegen nicht, dass diese Fehlertypen alle Agenten oder Projekte gleichermaßen betreffen.

Die Arbeit berichtet außerdem, dass eine aus den Ergebnissen entwickelte Agenten-Skill die Lösungsrate eines Frontier-Modells bei den Megatron-LM-Aufgaben um 10,5 Prozentpunkte erhöhte. Dieser Wert gilt für das beschriebene Modell und diese Teilmenge; daraus lässt sich nicht ableiten, dass sich der Effekt auf andere Projekte oder Systeme überträgt. Beschrieben wird auch eine gemeinsame Ausführungsumgebung, die bei Megatron-LM und vLLM den Speicherbedarf um 52 bis 57 Prozent und die Build-Zeit um 13 bis 14 Prozent verringerte.

Ein Preprint mit konkretem Test, aber ohne universelle Validierung

InfraDev wird in einem auf arXiv veröffentlichten Artikel beschrieben, der als Version 1 gekennzeichnet und am 27. Oktober 2026 eingereicht wurde. Die hier herangezogene Quelle ist die Zusammenfassung der Arbeit selbst. Sie bestätigt weder ein Peer-Review noch eine unabhängige Replikation. Die Zahlen sind daher als Ergebnisse zu verstehen, die die Autoren in diesem Preprint berichten.

Der Benchmark kommt Aufgaben aus realer Infrastruktur näher als ein Test, der nur einzelne Kernel oder eine GPU umfasst. Die verfügbare Evidenz beantwortet jedoch nicht abschließend, wie repräsentativ und umfassend die Aufgaben sind oder wie die Agenten in anderen Bereitstellungen abschneiden. Die am besten gestützte Schlussfolgerung ist begrenzt: Unter den beschriebenen Aufgaben und Bedingungen hatten die getesteten Modelle erhebliche Schwierigkeiten, und zusätzliche Prüfungen deckten Fehler auf, die von den offiziellen Tests nicht erkannt wurden.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.