Artikel 10 der AI Act: Anforderungen an Trainingsdaten und deren praktische Umsetzung

Geltungsbereich und Definition des Artikels 10

Artikel 10 der Verordnung (EU) 2024/1689, der sogenannten AI Act, legt spezifische Anforderungen an die Trainings-, Validierungs- und Testdatensätze fest, die bei der Entwicklung von Hochrisiko-KI-Systemen verwendet werden. Ziel ist es sicherzustellen, dass diese Systeme auf hochwertigen Daten basieren, die Risiken für Gesundheit, Sicherheit und Grundrechte minimieren.

Diese Vorschrift gilt für Hochrisiko-KI-Systeme, die Techniken zur Modelltrainingsnutzung einsetzen. Verwendet das System keine solchen Techniken, beschränken sich die Anforderungen ausschließlich auf die Testdatensätze. Die Norm verlangt, dass die Daten Kriterien der Relevanz, Repräsentativität, Genauigkeit und Vollständigkeit erfüllen, die an den beabsichtigten Zweck des Systems angepasst sind.

Die Abgrenzung zwischen Systemen, die Modelltrainingsverfahren nutzen, und solchen, die dies nicht tun, ist für die praktische Umsetzung der Pflichten entscheidend. Während die meisten Hochrisiko-KI-Systeme auf maschinellem Lernen basieren und daher die volle Bandbreite der Anforderungen an Trainings-, Validierungs- und Testdaten erfüllen müssen, bleibt für die zweite Kategorie lediglich die Pflicht zur Sicherstellung der Qualität der Testdatensätze bestehen. Diese Differenzierung erfordert von den Anbietern eine präzise technische Dokumentation ihrer Architektur, um den anwendbaren Regelungsbereich eindeutig zu bestimmen und unnötige Compliance-Aufwände zu vermeiden oder umgekehrt Lücken in der Datenqualität zu identifizieren.

Der beabsichtigte Zweck des Systems fungiert als zentraler Referenzrahmen für die Bewertung der Datenqualität. Was als relevant, repräsentativ, genau und vollständig gilt, ist nicht absolut, sondern immer im Kontext der spezifischen Anwendung zu betrachten. Ein System, das in einer heterogenen urbanen Umgebung eingesetzt wird, hat andere Anforderungen an die Repräsentativität der Trainingsdaten als ein System, das in einer homogenen industriellen Umgebung operiert. Die Anpassung der Datenkriterien an diesen Zweck stellt sicher, dass die gesetzlichen Vorgaben nicht als starre Checklisten, sondern als dynamische Qualitätsstandards verstanden werden, die der tatsächlichen Nutzung des Systems entsprechen.

Die vier Kriterien der Datenqualität

Das Gesetz definiert vier grundlegende Säulen für die Datenqualität. Erstens die Relevanz: Die Daten müssen für den spezifischen Zweck des Systems geeignet sein. Zweitens die Repräsentativität: Die Datensätze müssen die Personen oder Gruppen, auf die das System angewendet wird, angemessen widerspiegeln, einschließlich ihrer statistischen Eigenschaften.

Drittens die Genauigkeit: Die Daten müssen nach Möglichkeit fehlerfrei sein. Viertens die Vollständigkeit: Die Daten müssen für den verfolgten Zweck vollständig sein. Diese Kriterien können auf Ebene einzelner Datensätze oder durch die Kombination mehrerer Datensätze erfüllt werden. Die Daten-Governance muss Prozesse für die Erfassung, Aufbereitung, Annotation und Bias-Bewertung umfassen.

Die Erfüllung der vier Kriterien kann sowohl durch einzelne, sorgfältig kuratierte Datensätze als auch durch die strategische Kombination mehrerer Datensätze erreicht werden. Diese Flexibilität ermöglicht es Anbietern, auf bestehende Datenbestände zurückzugreifen und diese durch zusätzliche Quellen zu ergänzen, um Lücken in der Repräsentativität oder Vollständigkeit zu schließen. Die Kombination erfordert jedoch eine transparente Dokumentation der Zusammenführung, um sicherzustellen, dass die resultierende Datenbasis die gesetzlich geforderten Qualitätsmerkmale tatsächlich aufweist und keine neuen Verzerrungen durch die Aggregation eingeführt werden.

Die Daten-Governance umfasst dabei nicht nur die technische Aufbereitung, sondern auch die konzeptionelle Ausgestaltung der Prozesse. Dazu gehören die Definition klarer Verantwortlichkeiten für die Datenerfassung und -annotation sowie die Implementierung von Qualitätskontrollen in jeder Phase des Datenlebenszyklus. Die Bewertung von Verzerrungen ist kein einmaliger Schritt, sondern ein kontinuierlicher Prozess, der sicherstellt, dass die Datenqualität über die gesamte Entwicklungsphase hinweg gewahrt bleibt und sich an Veränderungen im beabsichtigten Zweck oder in der Zielgruppe anpasst.

Governance und Bias-Management

Artikel 10, Absatz 2, verlangt Daten-Governance-Praktiken, die von Designoptionen bis zur Identifizierung von Lücken abdecken. Es ist zwingend erforderlich, mögliche Verzerrungen (Biases) zu prüfen, die Gesundheit, Sicherheit oder Grundrechte beeinträchtigen könnten, insbesondere wenn die Datenergebnisse zukünftige Operationen beeinflussen.

Anbieter müssen Maßnahmen zur Erkennung, Prävention und Minderung dieser Verzerrungen umsetzen. Die Dokumentation muss Hypothesen darüber enthalten, was die Daten messen und darstellen, sowie eine Bewertung der Verfügbarkeit und Eignung der Datensätze. Diese Governance ist keine Option, sondern eine bindende gesetzliche Anforderung für die Konformität des Systems.

Die Prüfung möglicher Verzerrungen ist besonders kritisch, wenn die Ergebnisse des KI-Systems direkte Auswirkungen auf zukünftige Operationen oder Entscheidungen haben. In solchen Fällen können selbst geringfügige statistische Abweichungen in den Trainingsdaten zu systematischen Ungerechtigkeiten führen, die die Gesundheit, Sicherheit oder Grundrechte der betroffenen Personen beeinträchtigen. Die Governance-Praktiken müssen daher in der Lage sein, nicht nur offensichtliche Verzerrungen zu erkennen, sondern auch subtile Muster zu identifizieren, die erst durch eine tiefgehende Analyse der Datenverteilung und der Kontextfaktoren sichtbar werden.

Die Dokumentation der Hypothesen über die durch die Daten gemessenen und dargestellten Informationen dient als Grundlage für die nachträgliche Überprüfung der Systemleistung. Wenn sich herausstellt, dass die Annahmen über die Datenqualität oder -repräsentativität falsch waren, ermöglicht diese Dokumentation eine schnelle Reaktion und Anpassung der Governance-Maßnahmen. Sie ist ein zentrales Element der Nachvollziehbarkeit, das es Aufsichtsbehörden und internen Auditoren erlaubt, die logische Kette von der Datenerfassung bis zur Risikominderung nachzuvollziehen und die Wirksamkeit der implementierten Maßnahmen zu bewerten.

Ausnahmen für sensible Daten

Absatz 5 erlaubt die außergewöhnliche Verarbeitung besonderer Kategorien personenbezogener Daten (sensible Daten) nur, wenn dies streng erforderlich ist, um Verzerrungen zu erkennen und zu korrigieren. Diese Ausnahme ist strengen Bedingungen unterworfen, um die Grundrechte und -freiheiten zu schützen.

Zu den Bedingungen gehören die Unmöglichkeit, das Ziel durch synthetische oder anonymisierte Daten zu erreichen, die Anwendung modernster Sicherheitsmaßnahmen (wie Pseudonymisierung) und das Verbot, diese Daten an andere Parteien zu übermitteln. Die Daten müssen gelöscht werden, sobald die Verzerrung korrigiert oder die Aufbewahrungsfrist abgelaufen ist, je nachdem, was früher eintritt.

Die Ausnahme für die Verarbeitung sensibler Daten ist ein streng reguliertes Instrument, das nur in Ausnahmefällen zum Einsatz kommen darf. Die Bedingung der Unmöglichkeit, das Ziel durch synthetische oder anonymisierte Daten zu erreichen, erfordert eine dokumentierte technische Bewertung, die nachweist, dass alternative Methoden nicht ausreichen, um die spezifische Verzerrung zu korrigieren. Diese Bewertung muss detailliert darlegen, warum synthetische Daten die erforderliche statistische Genauigkeit oder Repräsentativität nicht liefern können, um die Verzerrung wirksam zu beheben.

Die Anwendung modernster Sicherheitsmaßnahmen wie der Pseudonymisierung ist eine zwingende Voraussetzung, um das Risiko eines Identifizierungs- oder Missbrauchs der Daten zu minimieren. Zusätzlich ist die strikte Trennung dieser Daten von anderen Datenbeständen und das Verbot ihrer Weitergabe an Dritte sicherzustellen. Die Löschung der Daten erfolgt automatisch, sobald die Verzerrung korrigiert ist oder die festgelegte Aufbewahrungsfrist abläuft, was auch dann gilt, wenn die Korrektur noch nicht vollständig abgeschlossen ist, um die Datenminimierung und den Schutz der Grundrechte zu gewährleisten.

Dokumentation und Verknüpfung mit Artikel 9

Die Dokumentation der Datenkuratierung ist eine Schlüsselverpflichtung. Informationen über Erfassungsprozesse, Ausschlussentscheidungen und Qualitätsbewertungen müssen aufgezeichnet werden. Diese Dokumentation ist kein Selbstzweck, sondern ein Werkzeug, um die Konformität gegenüber den Aufsichtsbehörden nachzuweisen.

Die Datendokumentation muss mit dem Risikomanagementsystem nach Artikel 9 verknüpft werden. In den Daten identifizierte Verzerrungen sind Risiken, die innerhalb des Lebenszyklus des Systems gemanagt werden müssen. Die Nachvollziehbarkeit ermöglicht es zu auditieren, wie die mit der Datenqualität verbundenen Risiken gemindert wurden.

Die Verknüpfung der Datendokumentation mit dem Risikomanagementsystem nach Artikel 9 ist essenziell, um eine ganzheitliche Sicht auf die Systemrisiken zu erhalten. Verzerrungen in den Daten sind keine isolierten Qualitätsmängel, sondern konkrete Risiken, die das Verhalten des Systems im Betrieb beeinflussen können. Durch die Integration in das Risikomanagement werden diese Datenrisiken in den gleichen Bewertungs- und Minderungsprozess einbezogen wie technische oder operative Risiken, was eine konsistente und umfassende Risikobewertung sicherstellt.

Die Nachvollziehbarkeit der Datenkuratierung ermöglicht es, die Wirksamkeit der Risikominderungsmaßnahmen zu auditieren. Wenn ein Risiko im Zusammenhang mit der Datenqualität identifiziert wird, muss das Risikomanagementsystem dokumentieren, welche Maßnahmen ergriffen wurden, um dieses Risiko zu mindern, und ob diese Maßnahmen erfolgreich waren. Diese Dokumentation ist nicht nur für die behördliche Überwachung relevant, sondern auch für die interne Verbesserung der Systementwicklung und die Anpassung an sich ändernde Anforderungen oder neue Erkenntnisse über die Datenqualität.

Compliance-Checkliste und Sanktionen

Um die Einhaltung nachzuweisen, müssen Anbieter eine operative Checkliste führen, die jedes Kriterium des Artikels 10 überprüft. Dies umfasst die Validierung der Repräsentativität, die Dokumentation der Maßnahmen zur Minderung von Verzerrungen und die Begründung der Verwendung sensibler Daten, sofern zutreffend.

Die Nichteinhaltung der Anforderungen der AI Act kann zu erheblichen Sanktionen führen. Obwohl Artikel 10 keine direkten Geldstrafen festlegt, wirkt sich seine Nichteinhaltung auf die allgemeine Konformität des Hochrisikosystems aus, was zu Sanktionen gemäß Artikel 99 führen kann. Dieser sieht Geldstrafen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes für die schwerwiegendsten Verstöße vor.

Die operative Checkliste dient als zentrales Werkzeug für die kontinuierliche Überwachung der Compliance. Sie muss so gestaltet sein, dass sie nicht nur die formale Erfüllung der Kriterien prüft, sondern auch die Qualität und Tiefe der dokumentierten Maßnahmen bewertet. Die Validierung der Repräsentativität erfordert beispielsweise nicht nur die Angabe der Datenquelle, sondern auch die Darstellung der statistischen Analyse, die die Angemessenheit der Daten für die Zielgruppe belegt. Diese Tiefe der Dokumentation ist entscheidend, um bei einer behördlichen Prüfung die Konformität glaubhaft zu machen.

Die potenziellen Sanktionen aufgrund der Nichteinhaltung von Artikel 10 sind erheblich, da sie die allgemeine Konformität des Hochrisikosystems infrage stellen. Ein Mangel in der Datenqualität kann dazu führen, dass das System als nicht konform eingestuft wird, was die Inverkehrbringung oder Nutzung des Systems untersagt und zu den hohen Geldstrafen nach Artikel 99 führt. Daher ist die Investition in robuste Daten-Governance und eine lückenlose Dokumentation nicht nur eine rechtliche Pflicht, sondern auch eine wirtschaftliche Notwendigkeit, um das Risiko von Sanktionen und Reputationsschäden zu minimieren.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.