Einleitung: eine wichtige Pflicht für Betreiber von Hochrisiko-KI
Artikel 27 der Verordnung (EU) 2024/1689, des AI Act, verpflichtet bestimmte Betreiber von Hochrisiko-KI-Systemen zu einer Grundrechte-Folgenabschätzung (Fundamental Rights Impact Assessment, FRIA). Anders als die Pflichten des Anbieters, die sich auf Entwicklung und technische Risikosteuerung konzentrieren, trifft diese Verpflichtung die Organisation, die das System in ihrem konkreten Arbeitsumfeld einsetzt.
Die FRIA ist keine bloße Verwaltungsformalität, sondern ein Instrument der vorbeugenden Absicherung. Vor dem ersten Einsatz soll sie sichtbar machen, wie die Nutzung eines Systems die Rechte natürlicher Personen und betroffener Gruppen beeinflussen kann. Außerdem muss sie festhalten, wie Risiken begrenzt und menschliche Aufsicht sowie Reaktionen auf mögliche Schäden organisiert werden sollen.
Rechtsrahmen und Anwendungsbereich
Die FRIA ist grundsätzlich vor dem Einsatz eines Hochrisiko-KI-Systems nach Artikel 6 Absatz 2 durchzuführen. Für Hochrisiko-KI-Systeme, die im Bereich kritischer Infrastruktur gemäß Anhang III Nummer 2 eingesetzt werden sollen, gilt jedoch eine wichtige Ausnahme von der FRIA-Pflicht nach Artikel 27.
Verpflichtet sind öffentliche Stellen sowie private Einrichtungen, die öffentliche Dienstleistungen erbringen. Darüber hinaus gilt die Pflicht für Betreiber von Hochrisiko-KI-Systemen in den Bereichen Kreditwürdigkeitsprüfung und Lebens- und Krankenversicherung nach Anhang III Nummer 5 Buchstaben b und c. Für andere Hochrisiko-Systeme des Anhangs III greift Artikel 27 somit nicht allein deshalb, weil ein Betreiber sie nutzt: Entscheidend ist, ob der Betreiber zu einer der genannten Gruppen gehört oder ein ausdrücklich erfasster Einsatz vorliegt.
Wer muss nach Artikel 27 eine FRIA durchführen?
Überblick über die Betreiber und Einsatzbereiche, die von der Pflicht erfasst werden.
| Betreibergruppe oder Einsatzbereich | Erfasste Hochrisiko-KI-Systeme |
|---|---|
| Öffentliche Stellen | Systeme nach Anhang III, ausgenommen Systeme für kritische Infrastruktur nach Nummer 2 |
| Private Einrichtungen, die öffentliche Dienstleistungen erbringen | Systeme nach Anhang III, ausgenommen Systeme für kritische Infrastruktur nach Nummer 2 |
| Betreiber unabhängig davon, ob sie öffentliche Dienstleistungen erbringen | Systeme zur Kreditwürdigkeitsprüfung sowie zur Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen nach Anhang III Nummer 5 Buchstaben b und c |
Mindestinhalt der Folgenabschätzung
Artikel 27 Absatz 1 nennt sechs verbindliche Bestandteile der Bewertung. Es handelt sich um gesetzliche Mindestanforderungen, nicht bloß um Empfehlungen. Die Bewertung muss zum konkreten Einsatzzweck passen: Eine allgemeine Erklärung über mögliche Auswirkungen genügt nicht, wenn sie weder die tatsächlichen Arbeitsabläufe noch die betroffenen Personengruppen und spezifischen Risiken beschreibt.
Die Angaben sollen den Zusammenhang zwischen dem vorgesehenen Zweck des Systems und seiner Nutzung durch den Betreiber nachvollziehbar machen. Dazu gehören der Zeitraum und die Häufigkeit des Einsatzes, die möglicherweise betroffenen natürlichen Personen oder Gruppen sowie die Risiken, die sich für sie in diesem konkreten Umfeld ergeben können. Bei der Risikobewertung sind auch die Informationen des Anbieters nach Artikel 13 zu berücksichtigen.
Verbindliche Bestandteile der FRIA nach Artikel 27 Absatz 1
Die Folgenabschätzung muss alle folgenden Punkte abdecken.
- 01Die Arbeitsabläufe des Betreibers beschreiben, in denen das Hochrisiko-KI-System entsprechend seinem vorgesehenen Zweck eingesetzt wird.
- 02Den Zeitraum angeben, in dem das System voraussichtlich genutzt wird, sowie die geplante Nutzungshäufigkeit.
- 03Die Kategorien natürlicher Personen und Gruppen bestimmen, die im konkreten Einsatzumfeld betroffen sein könnten.
- 04Die spezifischen Schadensrisiken für diese Personenkategorien und Gruppen bewerten und dabei die Informationen des Anbieters nach Artikel 13 berücksichtigen.
- 05Beschreiben, wie die menschliche Aufsicht entsprechend der Gebrauchsanweisung umgesetzt wird.
- 06Festlegen, welche Maßnahmen bei Eintritt der Risiken zu ergreifen sind; dazu gehören interne Governance-Regelungen und Beschwerdemechanismen.
Abgrenzung zur Risikosteuerung des Anbieters
Die FRIA des Betreibers darf nicht mit dem Risikomanagementsystem des Anbieters nach Artikel 9 verwechselt werden. Der Anbieter muss Risiken fortlaufend identifizieren, analysieren und mindern, die mit dem System und seinem Lebenszyklus verbunden sind. Das betrifft die Verantwortung für die Entwicklung und die technischen Eigenschaften des Systems.
Die FRIA richtet den Blick dagegen auf den konkreten Einsatz und dessen mögliche Auswirkungen auf Grundrechte. Sie ist beim ersten Einsatz erforderlich und muss aktualisiert werden, wenn sich bewertete Umstände ändern oder Angaben nicht mehr aktuell sind. Der Betreiber muss Informationen des Anbieters, insbesondere die Angaben nach Artikel 13, berücksichtigen; die Verantwortung für die Bewertung des eigenen Einsatzkontexts kann er damit jedoch nicht auf den Anbieter übertragen.
Anbieterpflicht nach Artikel 9 und Betreiberpflicht nach Artikel 27
Die beiden Pflichten unterscheiden sich nach verantwortlicher Stelle, Zeitpunkt und Gegenstand.
| Kriterium | Artikel 9: Anbieter | Artikel 27: Betreiber |
|---|---|---|
| Verantwortliche Stelle | Anbieter des KI-Systems | Betreiber, der das System unter eigener Verantwortung einsetzt |
| Zeitpunkt und Dauer | Fortlaufendes Risikomanagement über den Lebenszyklus des Systems | Vor dem ersten Einsatz; Aktualisierung, wenn Angaben sich ändern oder nicht mehr aktuell sind |
| Schwerpunkt | Risiken des Systems, darunter technische Risiken und deren Minderung | Mögliche Auswirkungen des konkreten Einsatzes auf Grundrechte und betroffene Personen |
| Ergebnis | Risikomanagement und zugehörige Systemunterlagen | Dokumentierte Folgenabschätzung und Meldung ihrer Ergebnisse an die Marktüberwachungsbehörde, vorbehaltlich der vorgesehenen Ausnahme |
Praktische Umsetzung und Dokumentation
Die Pflicht greift beim ersten Einsatz des Hochrisiko-KI-Systems. Während der Nutzung muss der Betreiber prüfen, ob sich bewertete Angaben verändert haben oder nicht mehr aktuell sind. Ist dies der Fall, hat er die erforderlichen Schritte zur Aktualisierung zu unternehmen. Eine FRIA sollte deshalb als Dokumentation behandelt werden, deren Inhalt bei wesentlichen Änderungen des Nutzungskontexts überprüft wird, und nicht als unveränderlicher einmaliger Aktenvermerk.
Nach Abschluss der Bewertung muss der Betreiber ihre Ergebnisse der Marktüberwachungsbehörde melden und das ausgefüllte Muster nach Artikel 27 Absatz 5 einreichen. Artikel 27 sieht eine Ausnahme von der Meldepflicht für die in Artikel 46 Absatz 1 geregelte Situation vor. Die Folgenabschätzung kann außerdem mit einer Datenschutz-Folgenabschätzung nach Artikel 35 DSGVO oder Artikel 27 der Richtlinie (EU) 2016/680 verknüpft werden. Wenn solche Bewertungen bereits bestimmte Pflichten abdecken, erlaubt Artikel 27 Absatz 4 Verweise auf relevante Abschnitte oder die Übernahme der betreffenden Teile in die FRIA.
Sanktionen und Folgen eines Verstoßes
Die Nichtbefolgung von Artikel 27 kann als Verstoß gegen die Pflichten von Betreibern von Hochrisiko-KI-Systemen nach dem AI Act geahndet werden. Für Verstöße gegen Betreiberpflichten sieht Artikel 99 Absatz 4 Geldbußen von bis zu 15 Millionen Euro oder, wenn der Zuwiderhandelnde ein Unternehmen ist, bis zu 3 Prozent seines weltweiten Jahresumsatzes vor; maßgeblich ist der höhere Betrag.
Für kleine und mittlere Unternehmen sowie Start-ups gilt eine besondere Begrenzung: Nach Artikel 99 Absatz 6 wird jeweils der niedrigere der beiden Beträge herangezogen. Die konkrete Sanktion hängt vom festgestellten Verstoß und den anwendbaren Bestimmungen ab. Die genannten Höchstbeträge sind daher keine automatische Folge jeder unvollständigen FRIA.
Grenzen, offene Fragen und sinnvolle Praxis
Der Gesetzestext legt fest, wer die FRIA durchführen muss, welche Mindestangaben sie enthalten soll und dass ihre Ergebnisse grundsätzlich zu melden sind. Die praktische Anwendung hängt zugleich von dem Muster ab, das das AI Office nach Artikel 27 Absatz 5 erstellen soll. Ohne ein verfügbares Muster sollten Organisationen die gesetzlichen Anforderungen anhand des jeweiligen Einsatzes dokumentieren und nicht so tun, als sei eine bestimmte freiwillige Vorlage bereits verbindlich.
Als vorsichtige Umsetzung empfiehlt sich, die eingesetzten Hochrisiko-Systeme und ihre konkreten Zwecke zu erfassen, die jeweils zuständige Betreibergruppe zu bestimmen und vor dem ersten Einsatz zu prüfen, ob Artikel 27 greift. Die Bewertung sollte die betroffenen Menschen, die Risiken und die menschliche Aufsicht miteinander verknüpfen. Ein Änderungsprozess sollte außerdem dafür sorgen, dass die Angaben aktualisiert werden, sobald relevante Elemente nicht mehr zutreffen. Das sind praktische Empfehlungen; sie erweitern nicht die gesetzlichen Mindestanforderungen des Artikels 27.
Offene Fragen
- Das nach Artikel 27 Absatz 5 vom AI Office zu erstellende Muster und seine automatisierte Form lassen sich anhand der vorliegenden Dokumentation nicht als bereits öffentlich verfügbar bestätigen.
- Die konkrete behördliche Beurteilung einer FRIA hängt vom Einsatzkontext und den Umständen des Einzelfalls ab; die allgemeinen Mindestangaben ersetzen keine fallbezogene Prüfung.
- Artikel 27 Absatz 4 ermöglicht Verweise auf oder die Übernahme von Teilen einer Datenschutz-Folgenabschätzung, soweit dadurch Pflichten tatsächlich erfüllt werden. Das bedeutet nicht, dass eine solche Bewertung die FRIA generell ersetzt.
Weiter entdecken
Verwendete Quellen
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen