AIPD et évaluation des incidences sur les droits fondamentaux en IA : choisir l’évaluation nécessaire avant d’utiliser des données sensibles

La première question n’est pas de savoir s’il y a de l’IA, mais ce qui arrive à chaque personne

Un assistant qui résume des dossiers, un modèle qui classe des demandes ou un outil qui estime un risque peuvent recourir à des techniques similaires tout en créant des obligations et des préjudices potentiels très différents. L’évaluation doit commencer par le traitement et l’effet réels : quelles informations entrent, quel résultat le système produit, qui le reçoit, quelle action il entraîne et quelles conséquences il peut avoir pour une personne donnée.

Cette distinction est particulièrement importante lorsque des données de santé, biométriques, professionnelles, financières, d’assurance, concernant des mineurs ou des personnes en situation de dépendance sont en jeu. Elle importe aussi lorsque le système déduit des informations que personne n’a expressément fournies, telles qu’un niveau de priorité, une propension, une catégorie de risque ou une prétendue éligibilité. Le fait qu’une inférence ne figure pas dans un formulaire ne supprime pas sa pertinence au regard de la protection des données ou des droits fondamentaux.

L’objectif d’une évaluation n’est pas de déclarer qu’un modèle est éthique, sûr ou conforme de manière abstraite. Il s’agit de documenter si un usage délimité est nécessaire et proportionné, quels préjudices plausibles il peut causer, quelles preuves permettront de les détecter, quels contrôles les réduiront et quel responsable a la capacité réelle d’interrompre cet usage. Un modèle rempli par un fournisseur peut apporter des informations techniques, mais ne peut à lui seul résoudre les questions qui dépendent de la finalité, de la population concernée, des règles opérationnelles et du cadre juridique de l’entité qui déploie le système.

Quatre couches de risque à distinguer

L’analyse d’impact relative à la protection des données, habituellement appelée AIPD, porte sur les risques que présente un traitement de données à caractère personnel pour les droits et libertés des personnes. Le règlement général sur la protection des données exige de la réaliser avant le traitement lorsque celui-ci est susceptible d’engendrer un risque élevé. Ce n’est pas une politique de confidentialité enrichie : elle doit décrire le traitement, évaluer sa nécessité et sa proportionnalité, analyser les risques et définir les mesures pour y faire face.

L’évaluation des incidences sur les droits fondamentaux prévue par le règlement sur l’intelligence artificielle part d’un autre point. Pour certains déployeurs de systèmes d’IA à haut risque, elle doit être menée avant la première utilisation. Elle analyse la manière dont l’usage prévu peut affecter les personnes ou groupes concernés et dépend du contexte de déploiement. Elle peut couvrir les risques de discrimination, d’accès inégal aux services, d’atteinte à la dignité, de protection des mineurs, de liberté d’expression, de recours effectif ou d’autres garanties, en plus des risques liés aux données à caractère personnel.

À ces couches s’ajoutent la sécurité technique et le risque opérationnel. La première couvre notamment la robustesse, les défaillances, la cybersécurité, la dégradation des performances et la traçabilité. Le second examine la manière dont les personnes utilisent le résultat : pression pour atteindre des objectifs, automatisation excessive, manque de temps pour examiner les cas, absence de mécanismes de correction ou incitations qui transforment de fait une recommandation en décision automatique. Un dossier solide relie ces quatre couches sans les confondre et ne présume pas qu’un test technique réussi élimine les risques juridiques ou sociaux.

Arbre de décision avant le déploiement

Aucune règle fiable ne transforme tout usage de l’IA en AIPD, et aucune autre ne permet de l’écarter au seul motif qu’une revue humaine existe. La décision suppose de rassembler les faits propres au cas et de les confronter au RGPD, aux listes de traitements soumis à AIPD publiées par l’autorité de contrôle compétente et, le cas échéant, au règlement sur l’intelligence artificielle.

Déterminez d’abord si des données à caractère personnel sont en jeu. Elles peuvent se trouver dans les données d’entrée, les journaux d’utilisation, les résultats ou les inférences. Identifiez ensuite les facteurs qui élèvent habituellement le risque : catégories particulières de données, profilage, évaluation systématique, décisions produisant des effets juridiques ou des effets significatifs similaires, observation systématique, traitement à grande échelle, personnes vulnérables, rapprochement de jeux de données, technologies nouvelles ou rapport de pouvoir asymétrique. Ces facteurs ne constituent pas une liste mécanique ; ils servent à justifier une conclusion et à ne pas négliger les risques prévisibles.

Analysez ensuite si le système et l’usage envisagé relèvent d’une catégorie à haut risque au titre du règlement sur l’intelligence artificielle. La classification dépend de l’usage effectif et des catégories réglementaires pertinentes, et non du nom du produit ou d’une déclaration commerciale. Si tel est le cas, vérifiez si le déployeur appartient aux catégories tenues de réaliser une évaluation des incidences sur les droits fondamentaux avant la première utilisation. Lorsque le flux traite aussi des données à caractère personnel avec un risque élevé probable, les deux évaluations peuvent être nécessaires.

Si, malgré les mesures envisagées, le traitement présente toujours un risque élevé que le responsable du traitement ne peut atténuer, le RGPD prévoit la consultation préalable de l’autorité de contrôle avant le début du traitement. Cette conclusion ne doit pas être présentée comme un simple risque accepté en interne lorsque la règle impose cette consultation.

Ce qu’une AIPD doit contenir et pourquoi elle ne se confond pas avec un avis de confidentialité

L’AIPD doit comprendre une description systématique des opérations de traitement et de leurs finalités, y compris, le cas échéant, l’intérêt légitime poursuivi. Elle doit aussi contenir une évaluation de la nécessité et de la proportionnalité, une appréciation des risques pour les droits et libertés des personnes, ainsi que les mesures envisagées pour y faire face. Il ne suffit donc pas d’énumérer des catégories de données, d’ajouter des clauses de sécurité génériques ou d’affirmer qu’il existe un intérêt commercial à automatiser.

Dans un flux d’IA, la description systématique devrait couvrir la collecte, la préparation, l’entraînement lorsqu’il existe, l’inférence, la validation, l’intervention humaine, la communication du résultat, les journaux et l’effacement. Elle doit identifier tant les données directes que les inférences. Par exemple, un score de fraude, une priorité clinique ou une prédiction de désengagement peuvent être des données à caractère personnel s’ils se rapportent à une personne identifiée ou identifiable et sont utilisés pour l’évaluer.

Une politique de confidentialité informe les personnes sur un traitement et peut être nécessaire pour respecter les obligations de transparence. Elle ne remplace toutefois pas l’évaluation interne préalable des risques, de la nécessité, de la proportionnalité et des mesures. De même, une évaluation générique préparée par le fournisseur ne remplace pas l’analyse du responsable du traitement, car le fournisseur ne connaît généralement pas avec précision la population servie, les données locales, les seuils, l’action décidée par le personnel ni les voies de recours disponibles.

Les listes des traitements nécessitant une AIPD et les listes d’exceptions peuvent varier selon l’autorité de contrôle compétente. Une organisation qui opère dans plusieurs États membres doit documenter quelle autorité et quelle liste elle a prises en compte. En cas de doute raisonnable, une évaluation proportionnée et précoce peut révéler qu’il faut modifier la conception avant que le coût d’un retour en arrière ne devienne élevé.

Évaluation des incidences sur les droits fondamentaux : portée et coordination avec l’AIPD

Le règlement sur l’intelligence artificielle prévoit une évaluation des incidences sur les droits fondamentaux pour certains déployeurs avant la première utilisation de systèmes d’IA à haut risque. Cette obligation ne s’active pas pour tout logiciel utilisant l’IA. Il faut vérifier à la fois que le système relève des catégories applicables à haut risque et que le déployeur entre dans les hypothèses prévues par la règle. Parmi les contextes appelant une attention particulière figurent certains usages par des organismes publics ou des entités fournissant des services publics, ainsi que certains usages à haut risque liés à des domaines tels que le crédit, l’assurance ou les services d’urgence, selon la classification et le champ réglementaire applicables.

L’évaluation doit être contextuelle. Un même système peut présenter des risques différents s’il sert à appuyer une file de travail interne, à filtrer l’accès à un service essentiel ou à prioriser des actions qui affectent une personne. Elle doit décrire les groupes susceptibles d’être touchés, les conséquences possibles, les mesures de supervision humaine et les mécanismes d’information et de réclamation pertinents. Elle doit aussi tenir compte des obstacles pratiques à la contestation ou à la correction d’un résultat.

Lorsque le système traite des données à caractère personnel et que l’AIPD est obligatoire, les deux évaluations doivent être coordonnées, sans être dupliquées aveuglément. Un inventaire commun des données, de la finalité, des intervenants, des versions et des contrôles réduit les incohérences. Il faut néanmoins conserver une réponse distincte à chaque obligation : l’AIPD doit démontrer l’analyse exigée par le RGPD, tandis que l’évaluation des droits fondamentaux doit répondre aux éléments du règlement sur l’intelligence artificielle applicables au déploiement.

Le calendrier d’application du règlement sur l’intelligence artificielle comporte des règles transitoires et a fait l’objet de modifications. Avant de conclure qu’une obligation est déjà exigible dans un cas donné, documentez la date de l’usage prévu, la version réglementaire consultée, la catégorie du système et la disposition transitoire applicable. Ce guide ne remplace pas cette vérification juridique spécifique.

Inventaire minimal et tests à joindre au dossier

Avant de mesurer la précision ou les biais, établissez un inventaire permettant de reproduire l’analyse. Il doit fixer la finalité approuvée et les finalités exclues ; la base et les limites du traitement ; les sources de données ; les attributs fournis, observés et inférés ; les personnes concernées ; les destinataires ; les durées de conservation ; le fournisseur ; le modèle et sa version ; les seuils ; ainsi que les actions que le résultat permet ou déclenche. Si une organisation ne peut décrire ces éléments, elle pourra difficilement démontrer la nécessité, la proportionnalité ou la traçabilité.

Les tests doivent répondre aux préjudices plausibles, et pas seulement à une métrique agrégée. Si un score détermine l’ordre de prise en charge, les faux négatifs qui retardent les cas urgents et les faux positifs qui écartent injustement d’autres cas sont importants. Si les performances peuvent différer selon les groupes, l’évaluation doit expliquer quels groupes ont été analysés, pourquoi ils sont pertinents, quelles limites présentent les données de test et ce qui sera fait si les preuves sont insuffisantes. Dans certains cas, collecter des attributs afin de mesurer les disparités crée à son tour des risques en matière de protection des données ; cela exige une justification et des garanties spécifiques, et non l’omission automatique de l’analyse.

L’abstention et la dégradation doivent aussi être testées. Un système peut être plus sûr s’il s’abstient lorsque l’information est incomplète ou que son niveau de confiance ne dépasse pas un seuil, mais cette abstention doit orienter le dossier vers une véritable voie humaine, dans des délais définis. Simulez des incidents : données erronées, changement de population, défaillance d’un fournisseur, résultats incohérents, demandes d’accès ou de rectification, et pression opérationnelle pour omettre les revues. Consignez quelles preuves permettraient de détecter le problème et qui interviendrait.

Contrôles de refonte, risque résiduel et autorité d’arrêter le système

Le résultat d’une évaluation ne doit pas se réduire à l’approbation ou au rejet d’un produit. Il permet souvent de revoir le flux afin de réduire l’exposition et le préjudice. Parmi les options figurent la minimisation des variables, le non-recours à des catégories particulièrement sensibles lorsqu’elles ne sont pas nécessaires, la séparation entre recommandation et décision finale, la limitation du système à une tâche administrative, la réduction de l’échelle initiale, le relèvement du seuil d’abstention, l’interdiction de certains usages secondaires et la mise en place d’un examen compétent avant tout effet défavorable.

La revue humaine n’est un contrôle que si elle dispose de capacités, d’informations, de temps et d’autorité. Une personne qui confirme des centaines de scores par heure ou qui ne connaît pas les limites du modèle peut donner une apparence de contrôle sans modifier le risque. Définissez quels résultats exigent une revue, quels signaux permettent d’écarter la recommandation, quelle formation reçoit l’équipe, quel délai s’applique et comment le désaccord est consigné. Les annulations peuvent révéler un problème de données, de seuil ou de conception qui impose de rouvrir l’évaluation.

Le risque résiduel doit être décrit concrètement : quel préjudice reste possible, qui peut être affecté, avec quelle probabilité et quelle gravité estimées, quels contrôles demeurent actifs et quelles incertitudes persistent. Son acceptation ne peut pas rester implicite. Elle doit être attribuée à une personne ou à un organe compétent pour l’assumer, et coexister avec une autorité indépendante capable d’arrêter ou d’inverser le système lorsqu’un seuil de sécurité, de qualité, de discrimination, de non-conformité ou d’incident est déclenché.

Rouvrez l’évaluation avant des changements importants, et non après la survenance d’un préjudice. Les déclencheurs habituels sont un changement de modèle, de fournisseur, de données, de population, de finalité, de seuil, d’intégration, d’action automatique, de volume, de réglementation applicable ou des preuves de performances inégales. Les revues périodiques sont utiles, mais elles ne remplacent pas ces déclencheurs liés à des changements concrets.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.