DPIA und Grundrechtsfolgenabschätzung bei KI: So entscheiden Sie vor der Nutzung sensibler Daten, welche Bewertung erforderlich ist

Die Ausgangsfrage lautet nicht, ob KI eingesetzt wird, sondern was mit jeder einzelnen Person geschieht

Ein Assistent, der Akten zusammenfasst, ein Modell, das Anträge sortiert, oder ein Werkzeug, das ein Risiko schätzt, kann ähnliche Techniken einsetzen und dennoch sehr unterschiedliche Pflichten und potenzielle Schäden auslösen. Die Bewertung muss beim tatsächlichen Verarbeitungsvorgang und bei der tatsächlichen Wirkung beginnen: Welche Informationen fließen ein, welches Ergebnis erzeugt das System, wer erhält es, welche Handlung löst es aus und welche Folgen kann es für eine konkrete Person haben?

Diese Unterscheidung ist besonders wichtig, wenn Gesundheits-, biometrische, Beschäftigungs-, Finanz- oder Versicherungsdaten verarbeitet werden oder wenn Minderjährige beziehungsweise Personen in einer Abhängigkeitssituation betroffen sind. Sie ist auch relevant, wenn das System Informationen ableitet, die niemand ausdrücklich angegeben hat, etwa eine Priorität, eine Neigung, eine Risikokategorie oder eine angenommene Berechtigung. Dass eine Ableitung in keinem Formular steht, nimmt ihr weder die datenschutzrechtliche noch die grundrechtliche Relevanz.

Ziel einer Bewertung ist nicht, ein Modell abstrakt als ethisch, sicher oder konform zu erklären. Sie soll dokumentieren, ob eine klar abgegrenzte Nutzung erforderlich und verhältnismäßig ist, welche plausiblen Schäden sie verursachen kann, welche Evidenz diese Schäden erkennen lässt, welche Kontrollen sie verringern und welche verantwortliche Stelle die tatsächliche Befugnis hat, die Nutzung zu stoppen. Eine vom Anbieter ausgefüllte Vorlage kann technische Informationen liefern, sie kann aber Fragen nicht allein beantworten, die vom Zweck, der betroffenen Population, den operativen Regeln und dem Rechtsrahmen der einsetzenden Organisation abhängen.

Vier Risikodimensionen, die getrennt betrachtet werden sollten

Die Datenschutz-Folgenabschätzung, häufig als DPIA oder DSFA bezeichnet, konzentriert sich auf Risiken für die Rechte und Freiheiten natürlicher Personen, die aus der Verarbeitung personenbezogener Daten entstehen. Die Datenschutz-Grundverordnung verlangt sie vor einer Verarbeitung, wenn diese voraussichtlich ein hohes Risiko mit sich bringt. Sie ist keine erweiterte Datenschutzerklärung: Sie muss die Verarbeitung beschreiben, Erforderlichkeit und Verhältnismäßigkeit bewerten, Risiken analysieren und Maßnahmen zu ihrer Bewältigung festlegen.

Die im KI-Rechtsakt vorgesehene Grundrechtsfolgenabschätzung setzt anders an. Bestimmte Betreiber von Hochrisiko-KI-Systemen müssen sie vor der ersten Verwendung durchführen. Sie untersucht, wie die vorgesehene Nutzung betroffene Personen oder Gruppen beeinträchtigen kann, und hängt mit dem Einsatzkontext zusammen. Neben Risiken im Zusammenhang mit personenbezogenen Daten kann sie Diskriminierung, ungleichen Zugang zu Dienstleistungen, Würde, den Schutz Minderjähriger, Meinungsfreiheit, wirksamen Rechtsschutz oder weitere Garantien betreffen.

Hinzu kommen technische Sicherheit und operative Risiken. Die technische Dimension umfasst unter anderem Robustheit, Fehler, Cybersicherheit, Leistungsverschlechterung und Nachvollziehbarkeit. Die operative Dimension betrachtet, wie Menschen ein Ergebnis verwenden: Druck zur Zielerreichung, übermäßige Automatisierung, fehlende Zeit für Prüfungen, fehlende Korrekturwege oder Anreize, die eine Empfehlung faktisch in eine automatische Entscheidung verwandeln. Eine belastbare Akte verbindet alle vier Dimensionen, verwechselt sie jedoch nicht und unterstellt nicht, dass ein bestandener technischer Test rechtliche oder gesellschaftliche Risiken beseitigt.

Entscheidungsbaum vor dem Einsatz

Es gibt keine verlässliche Regel, nach der jede KI-Nutzung automatisch eine DPIA erfordert. Ebenso wenig lässt sie sich allein deshalb ausschließen, weil eine menschliche Überprüfung vorgesehen ist. Die Entscheidung verlangt, die Tatsachen des Einzelfalls zusammenzutragen und sie mit der DSGVO, den von der zuständigen Aufsichtsbehörde veröffentlichten Listen DPIA-pflichtiger Verarbeitungsvorgänge und gegebenenfalls mit dem KI-Rechtsakt abzugleichen.

Klären Sie zunächst, ob personenbezogene Daten vorliegen. Sie können in Eingabedaten, Nutzungsprotokollen, Ergebnissen oder Ableitungen enthalten sein. Bestimmen Sie danach, ob Faktoren vorliegen, die das Risiko typischerweise erhöhen: besondere Kategorien personenbezogener Daten, Profiling, systematische Bewertung, Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung, systematische Beobachtung, große Reichweite, schutzbedürftige Personen, die Zusammenführung von Datensätzen, neuartige Technologien oder ein asymmetrisches Machtverhältnis. Diese Faktoren sind keine mechanische Checkliste; sie helfen, eine Schlussfolgerung zu begründen und vorhersehbare Risiken nicht zu übersehen.

Analysieren Sie anschließend, ob das System und seine vorgesehene Nutzung unter eine einschlägige Hochrisikokategorie des KI-Rechtsakts fallen. Die Einstufung hängt von der tatsächlichen Nutzung und den maßgeblichen rechtlichen Kategorien ab, nicht vom Produktnamen oder einer Werbeaussage des Anbieters. Falls dies zutrifft, ist zu prüfen, ob der Betreiber zu den Stellen gehört, die vor der ersten Nutzung eine Grundrechtsfolgenabschätzung durchführen müssen. Verarbeitet der Ablauf zugleich personenbezogene Daten mit voraussichtlich hohem Risiko, können beide Bewertungen notwendig sein.

Bleibt nach den vorgesehenen Maßnahmen ein hohes Risiko bestehen, das der Verantwortliche nicht mindern kann, sieht die DSGVO vor, vor Beginn der Verarbeitung die Aufsichtsbehörde zu konsultieren. Die Schlussfolgerung darf nicht als bloß intern akzeptiertes Risiko dargestellt werden, wenn das Gesetz diese vorherige Konsultation verlangt.

Was eine DPIA enthalten muss und warum sie keine Datenschutzerklärung ist

Eine DPIA muss eine systematische Beschreibung der Verarbeitungsvorgänge und ihrer Zwecke enthalten, einschließlich des berechtigten Interesses, soweit einschlägig. Sie muss außerdem Erforderlichkeit und Verhältnismäßigkeit bewerten, Risiken für Rechte und Freiheiten natürlicher Personen beurteilen und die vorgesehenen Maßnahmen zu ihrer Bewältigung darstellen. Es genügt daher nicht, Datenkategorien aufzuzählen, allgemeine Sicherheitsklauseln aufzunehmen oder auf ein geschäftliches Interesse an Automatisierung zu verweisen.

In einem KI-Ablauf sollte die systematische Beschreibung die Erhebung, Aufbereitung, gegebenenfalls das Training, die Inferenz, Validierung, menschliche Intervention, Kommunikation des Ergebnisses, Protokollierung und Löschung umfassen. Sie muss sowohl direkte Daten als auch Ableitungen erfassen. Ein Betrugswert, eine klinische Priorität oder eine Abwanderungsprognose können beispielsweise personenbezogene Daten sein, wenn sie sich auf eine identifizierte oder identifizierbare Person beziehen und zur Bewertung dieser Person verwendet werden.

Eine Datenschutzerklärung informiert Personen über eine Verarbeitung und kann zur Erfüllung von Transparenzpflichten erforderlich sein. Sie ersetzt jedoch nicht die vorherige interne Bewertung von Risiken, Erforderlichkeit, Verhältnismäßigkeit und Maßnahmen. Auch eine allgemeine Bewertung des Anbieters ersetzt nicht die Analyse des Verantwortlichen, weil der Anbieter die betreute Population, lokale Daten, Schwellenwerte, die vom Personal getroffene Handlung oder verfügbare Beschwerdemöglichkeiten normalerweise nicht genau kennt.

Die Listen der Verarbeitungsvorgänge, für die eine DPIA erforderlich ist, ebenso wie Ausnahmelisten können je nach zuständiger Aufsichtsbehörde unterschiedlich sein. Eine Organisation, die in mehreren Mitgliedstaaten tätig ist, sollte dokumentieren, welche Behörde und welche Liste sie berücksichtigt hat. Bei begründeten Zweifeln kann eine frühzeitige, angemessene Bewertung zeigen, dass das Design geändert werden muss, bevor eine Umkehr mit hohen Kosten verbunden ist.

Grundrechtsfolgenabschätzung: Umfang und Abstimmung mit der DPIA

Der KI-Rechtsakt sieht für bestimmte Betreiber vor der ersten Nutzung von Hochrisiko-KI-Systemen eine Grundrechtsfolgenabschätzung vor. Die Pflicht wird nicht durch jede Software ausgelöst, die KI verwendet. Es muss sowohl geprüft werden, ob das System in die einschlägigen Hochrisikokategorien fällt, als auch, ob der Betreiber zu den von der Regelung erfassten Stellen gehört. Besondere Aufmerksamkeit verlangen unter anderem bestimmte Verwendungen durch öffentliche Stellen oder Einrichtungen, die öffentliche Dienstleistungen erbringen, sowie bestimmte Hochrisikoverwendungen in Bereichen wie Kredit, Versicherung oder Notfalldiensten, abhängig von der einschlägigen Klassifizierung und dem anwendbaren rechtlichen Umfang.

Die Bewertung muss kontextbezogen sein. Dasselbe System kann andere Risiken aufweisen, wenn es zur Unterstützung einer internen Arbeitswarteschlange eingesetzt wird, wenn es den Zugang zu einer wesentlichen Dienstleistung filtert oder wenn es Maßnahmen priorisiert, die eine Person betreffen. Sie sollte Gruppen beschreiben, die betroffen sein können, mögliche Folgen, Maßnahmen zur menschlichen Aufsicht sowie einschlägige Informations- und Beschwerdemechanismen. Sie muss auch berücksichtigen, ob praktische Hindernisse bestehen, ein Ergebnis anzufechten oder korrigieren zu lassen.

Wenn das System personenbezogene Daten verarbeitet und eine DPIA verpflichtend ist, sollten beide Bewertungen koordiniert und nicht blind doppelt erstellt werden. Ein gemeinsames Inventar von Daten, Zweck, Beteiligten, Versionen und Kontrollen verringert Widersprüche. Dennoch muss für jede Pflicht eine eigenständige Antwort erhalten bleiben: Die DPIA muss die von der DSGVO verlangte Analyse belegen, während die Grundrechtsfolgenabschätzung die für den Einsatz geltenden Elemente des KI-Rechtsakts behandeln muss.

Der Zeitplan für die Anwendung des KI-Rechtsakts enthält Übergangsregeln und wurde geändert. Bevor Sie schließen, dass eine Pflicht für einen konkreten Fall bereits gilt, dokumentieren Sie das geplante Nutzungsdatum, die konsultierte Fassung des Rechtsakts, die Systemkategorie und die anwendbare Übergangsbestimmung. Dieser Leitfaden ersetzt diese spezifische rechtliche Prüfung nicht.

Mindestinventar und Tests, die die Akte begleiten müssen

Erstellen Sie vor der Messung von Genauigkeit oder Verzerrungen ein Inventar, das die Analyse reproduzierbar macht. Es sollte den genehmigten Zweck und ausgeschlossene Zwecke, Grundlage und Grenzen der Verarbeitung, Datenquellen, bereitgestellte, beobachtete und abgeleitete Merkmale, betroffene Personen, Empfänger, Aufbewahrungsfristen, Anbieter, Modell und Version, Schwellenwerte sowie die durch das Ergebnis erlaubten oder ausgelösten Handlungen festhalten. Kann eine Organisation diese Elemente nicht beschreiben, wird sie Erforderlichkeit, Verhältnismäßigkeit oder Nachvollziehbarkeit kaum nachweisen können.

Die Tests müssen auf plausible Schäden antworten, nicht nur auf eine aggregierte Kennzahl. Legt ein Wert die Reihenfolge der Bearbeitung fest, sind falsch negative Ergebnisse relevant, die dringende Fälle verzögern, ebenso wie falsch positive Ergebnisse, die andere Fälle ungerechtfertigt verdrängen. Wenn die Leistung zwischen Gruppen abweichen kann, sollte die Bewertung erklären, welche Gruppen untersucht wurden, weshalb sie relevant sind, welche Grenzen die Testdaten haben und was geschieht, wenn keine ausreichende Evidenz vorhanden ist. In einigen Fällen schafft die Erhebung von Merkmalen zur Messung von Ungleichheiten ihrerseits Datenschutzrisiken; dies verlangt eine eigene Begründung und spezifische Schutzmaßnahmen, nicht das automatische Unterlassen der Analyse.

Auch Enthaltung und Leistungsverschlechterung müssen getestet werden. Ein System kann sicherer sein, wenn es sich bei unvollständigen Informationen oder bei einer Konfidenz unterhalb eines Schwellenwerts enthält. Diese Enthaltung muss den Fall jedoch an einen tatsächlich verfügbaren menschlichen Weg innerhalb festgelegter Fristen leiten. Simulieren Sie Vorfälle: fehlerhafte Daten, Veränderungen der Population, Ausfall eines Anbieters, inkonsistente Ergebnisse, Auskunfts- oder Berichtigungsersuchen sowie operativen Druck, Prüfungen auszulassen. Halten Sie fest, welche Evidenz das Problem erkennen ließe und wer handeln würde.

Kontrollen zur Neugestaltung, Restrisiko und Befugnis zum Stoppen des Systems

Das Ergebnis einer Bewertung sollte sich nicht darauf beschränken, ein Produkt zu genehmigen oder abzulehnen. Häufig ermöglicht sie eine Neugestaltung des Ablaufs, um Exposition und Schaden zu senken. Dazu zählen die Minimierung von Variablen, der Verzicht auf besonders sensible Kategorien, wenn sie nicht erforderlich sind, die Trennung von Empfehlung und endgültiger Entscheidung, die Beschränkung des Systems auf eine Verwaltungsaufgabe, eine geringere anfängliche Reichweite, ein höherer Enthaltungsschwellenwert, das Verbot bestimmter Sekundärnutzungen und eine fachkundige Prüfung vor nachteiligen Wirkungen.

Menschliche Überprüfung ist nur dann eine Kontrolle, wenn Kapazität, Information, Zeit und Befugnis vorhanden sind. Eine Person, die hunderte Werte pro Stunde bestätigt oder die Grenzen des Modells nicht kennt, kann den Anschein von Kontrolle erzeugen, ohne das Risiko zu verändern. Definieren Sie, welche Ergebnisse überprüft werden müssen, welche Signale eine Empfehlung überstimmen lassen, welche Schulung das Team erhält, welche Frist gilt und wie Abweichungen protokolliert werden. Überstimmungen können auf ein Daten-, Schwellenwert- oder Designproblem hinweisen, das die erneute Öffnung der Bewertung erforderlich macht.

Das Restrisiko muss konkret beschrieben werden: Welcher Schaden bleibt möglich, wen kann er betreffen, mit welcher geschätzten Wahrscheinlichkeit und Schwere, welche Kontrollen bleiben aktiv und welche Unsicherheiten bestehen fort? Die Akzeptanz darf nicht implizit bleiben. Sie muss einer Person oder einem Gremium mit entsprechender Zuständigkeit zugewiesen werden und neben einer unabhängigen Befugnis bestehen, das System anzuhalten oder zurückzusetzen, wenn ein Sicherheits-, Qualitäts-, Diskriminierungs-, Compliance- oder Vorfallsschwellenwert ausgelöst wird.

Öffnen Sie die Bewertung vor wesentlichen Änderungen erneut, nicht erst nachdem ein Schaden eingetreten ist. Typische Auslöser sind Änderungen bei Modell, Anbieter, Daten, Population, Zweck, Schwellenwert, Integration, automatischer Handlung, Volumen, anwendbarem Recht oder Hinweise auf ungleiche Leistung. Regelmäßige Überprüfungen sind hilfreich, ersetzen diese auf konkreten Änderungen beruhenden Auslöser jedoch nicht.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.