Audit zeigt Leistungsrückgänge bei strengeren Datentrennungen in der KI-Diagnostik

Was das Audit untersuchte

Jian Yang und sechs Mitautoren legen ein empirisches Audit zu Bewertungseffekten und möglichen Datenlecks in KI-Systemen zur Diagnose seltener Erkrankungen vor. Die Arbeit ist als Preprint auf arXiv verfügbar und wurde am 24. Oktober 2026 eingereicht. Der Eintrag führt die Version v1 auf; aus den verfügbaren Angaben geht keine Begutachtung durch Fachkollegen hervor.

Laut Abstract umfasst das verwendete Fallarchiv mehr als 60.000 Fälle aus öffentlichen und unabhängigen klinischen Kohorten. Die Autoren rekonstruierten ein agentisches Diagnosesystem und verglichen Ergebnisse unter unterschiedlichen Bewertungsbedingungen. Die Gesamtgröße des Archivs sagt für sich allein nicht aus, wie viele Fälle in die einzelnen Analysen eingingen, wie sie auf die Kohorten verteilt waren oder in welchem Umfang sie von den Trainingsdaten der jeweiligen Systeme unabhängig waren.

Warum die Trennung von Datensätzen wichtig ist

Ein Benchmark soll abschätzen, wie ein System mit Fällen umgeht, die es zuvor nicht gesehen hat. Tauchen Informationen zu einem Fall auch im Kandidatenraum oder in Daten auf, die für die Entwicklung oder Bewertung des Systems verwendet wurden, kann die Punktzahl teilweise diese Überschneidung widerspiegeln. Sie misst dann nicht ausschließlich, wie gut das System auf neue Fälle übertragbar ist.

Bei Systemen, die aus mehreren möglichen Diagnosen auswählen, gibt Recall@1 den Anteil der Fälle an, bei denen die erste Systemempfehlung mit der Referenzdiagnose übereinstimmt. Das ist eine Klassifikationskennzahl innerhalb einer bestimmten Testkonfiguration. Sie entspricht weder einer Quote korrekter Diagnosen im klinischen Alltag noch zeigt sie allein, ob ein System sicher, nützlich oder als Entscheidungshilfe geeignet ist.

Die berichtete Veränderung beim agentischen System

Dem Abstract zufolge sank der mittlere Recall@1 über mehrere Datensätze hinweg von 54,3 auf 40,3 Prozent, als die Autoren von einer herkömmlichen One-versus-Rest-Auswertung zu einer strikten Trennung zwischen Datensätzen wechselten. Das entspricht einem Rückgang um 14 Prozentpunkte. Außerdem geben die Autoren eine Effektstärke von Hedges’ g = 0,94 an. Diese standardisierte Kennzahl beschreibt die Größe des in ihrer Analyse beobachteten Unterschieds.

Der Befund stützt die eng gefasste Aussage, dass in der rekonstruierten Auswertung die Gestaltung des Kandidatenraums und die Trennung der Daten mit einem deutlichen Unterschied in der Punktzahl verbunden waren. Er erlaubt nicht, den gesamten Unterschied einer einzigen Ursache zuzuschreiben oder die Prozentwerte auf andere Modelle, Datenbanken, Erkrankungen oder klinische Situationen zu übertragen. Das Abstract schlüsselt die Ergebnisse hier nicht nach Kohorte auf und nennt keine Unsicherheitsintervalle.

Überwachte Klassifikatoren und weitere Einflussfaktoren

Das Abstract berichtet außerdem, dass die mittlere Genauigkeit überwachter Klassifikatoren von 42,9 Prozent in einer internen Auswertung auf 16,7 Prozent in externen Kohorten sank. Die Autoren bringen diesen Unterschied mit räumlichem Overfitting in Verbindung und nennen eine Effektstärke von Cohen’s d = 2,01. Der Vergleich zeigt, dass sich beobachtete Werte bei einer Prüfung außerhalb des internen Datensatzes deutlich verändern können. Er reicht jedoch nicht aus, um zu bestimmen, welcher Anteil auf Overfitting und welcher auf Unterschiede zwischen Kohorten, Daten oder Testverfahren zurückgeht.

Die Arbeit untersuchte laut Abstract auch rückblickende Therapiehinweise in klinischen Texten und zeitliche Abweichungen in den Wissensdatenbanken der Modelle. Diese Faktoren können demnach Diagnoseschlüsse beeinflussen oder zu schwankenden Ergebnissen führen. Das Abstract enthält für die einzelnen Mechanismen keine aufgeschlüsselten Zahlen. Deshalb lässt sich nicht beziffern, welchen Anteil jeder Faktor an den berichteten Rückgängen hatte.

Was sich daraus schließen lässt – und was nicht

Die Autoren kommen zu dem Schluss, dass bestimmte Bewertungsverfahren Datenlecks oder andere Artefakte enthalten können und dadurch ein zu günstiges Bild von KI-Systemen für die Diagnose seltener Erkrankungen vermitteln. Sie schlagen vor, eine strikte Datentrennung mit standardisierten Schutzmaßnahmen für Benchmarks zu kombinieren. Das ist eine methodische Empfehlung. Das Abstract belegt nicht, dass dieses Vorgehen Verzerrungen zuverlässig ausschließt oder klinisch gültige Ergebnisse garantiert.

Die Aussagekraft bleibt auf ein in einem Preprint beschriebenes Audit begrenzt. Anhand der verfügbaren Informationen lassen sich Daten, Code und Prüfverfahren nicht unabhängig nachvollziehen. Ebenso ist nicht feststellbar, ob die Kohorten vollständig unabhängig von allen ursprünglichen Trainings- und Testdatensätzen waren. Die Ergebnisse zeigen auch nicht, ob die geprüften Systeme Patientenergebnisse verbessern oder verschlechtern. Die berichteten Rückgänge sind daher für die Interpretation der untersuchten Benchmarks relevant, ersetzen aber keine klinischen Validierungsstudien, die Leistung und Risiken unter Versorgungsbedingungen messen.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.