DPIA e avaliação dos direitos fundamentais na IA: como decidir de que avaliação precisa antes de usar dados sensíveis

A pergunta inicial não é se existe IA, mas o que acontece a cada pessoa

Um assistente que resume processos, um modelo que ordena pedidos ou uma ferramenta que estima um risco podem usar técnicas semelhantes e, ainda assim, colocar obrigações e danos potenciais muito diferentes. A avaliação deve começar pelo tratamento e pelo efeito reais: que informação entra, que resultado o sistema produz, quem o recebe, que ação desencadeia e que consequências pode ter para uma pessoa concreta.

Esta distinção é especialmente importante quando estão envolvidos dados de saúde, biométricos, laborais, financeiros, de seguros, de menores ou de pessoas numa situação de dependência. Também importa quando o sistema infere informação que ninguém forneceu expressamente, como uma prioridade, uma propensão, uma categoria de risco ou uma alegada elegibilidade. O facto de uma inferência não constar de um formulário não elimina a sua relevância para a proteção de dados nem para os direitos fundamentais.

O objetivo de uma avaliação não é declarar que um modelo é ético, seguro ou conforme de forma abstrata. É documentar se uma utilização delimitada é necessária e proporcional, que danos plausíveis pode causar, que evidências permitirão detetar esses danos, que controlos os reduzirão e que responsável tem capacidade real para interromper a utilização. Um modelo preenchido por um fornecedor pode contribuir com informação técnica, mas não pode resolver, por si só, questões que dependem da finalidade, da população afetada, das regras operacionais e do enquadramento jurídico de quem implementa o sistema.

Quatro camadas de risco que convém separar

A avaliação de impacto sobre a proteção de dados, habitualmente conhecida como DPIA ou AIPD, centra-se nos riscos para os direitos e liberdades das pessoas decorrentes de um tratamento de dados pessoais. O Regulamento Geral sobre a Proteção de Dados exige que seja efetuada antes do tratamento quando este for suscetível de implicar um elevado risco. Não é uma política de privacidade alargada: deve descrever o tratamento, avaliar a necessidade e a proporcionalidade, analisar os riscos e estabelecer medidas para os enfrentar.

A avaliação de impacto sobre os direitos fundamentais prevista no Regulamento da Inteligência Artificial tem outro ponto de partida. Para determinados responsáveis pela implementação de sistemas de IA de alto risco, deve ser realizada antes da primeira utilização. Analisa a forma como a utilização prevista pode afetar as pessoas ou grupos afetados e está ligada ao contexto de implementação. Pode abranger riscos de discriminação, acesso desigual a serviços, dignidade, proteção de menores, liberdade de expressão, tutela efetiva ou outras garantias, além dos riscos relacionados com dados pessoais.

A estas camadas juntam-se a segurança técnica e o risco operacional. A primeira abrange, entre outras matérias, robustez, falhas, cibersegurança, degradação do desempenho e rastreabilidade. A segunda observa como as pessoas utilizam o resultado: pressão para cumprir objetivos, automatização excessiva, falta de tempo para rever, ausência de vias de correção ou incentivos que transformam uma recomendação numa decisão automática de facto. Um processo sólido liga as quatro, mas não as confunde nem presume que passar num teste técnico elimina riscos jurídicos ou sociais.

Árvore de decisão antes da implementação

Não existe uma regra fiável que transforme qualquer uso de IA numa DPIA, nem outra que permita descartá-la por haver revisão humana. A decisão exige reunir os factos do caso e confrontá-los com o RGPD, as listas de tratamentos sujeitos a DPIA publicadas pela autoridade de controlo competente e, quando aplicável, o Regulamento da Inteligência Artificial.

Primeiro, determine se existem dados pessoais. Podem estar nos dados de entrada, nos registos de utilização, nos resultados ou nas inferências. Depois, identifique se ocorrem fatores que habitualmente elevam o risco: categorias especiais de dados, definição de perfis, avaliação sistemática, decisões com efeitos jurídicos ou efeitos significativamente semelhantes, monitorização sistemática, tratamento em larga escala, pessoas vulneráveis, combinação de conjuntos de dados, tecnologias inovadoras ou uma relação de poder assimétrica. Estes fatores não funcionam como uma lista mecânica; servem para fundamentar uma conclusão e para não ignorar riscos previsíveis.

Em seguida, analise se o sistema e a sua utilização prevista se enquadram numa categoria de alto risco do Regulamento da Inteligência Artificial. A classificação depende da utilização efetiva e das categorias normativas pertinentes, não do nome do produto nem de uma declaração comercial. Se for esse o caso, deve verificar-se se o responsável pela implementação pertence aos casos obrigados a realizar uma avaliação de impacto sobre os direitos fundamentais antes da primeira utilização. Quando o fluxo também trata dados pessoais com provável elevado risco, pode ser necessário realizar ambas as avaliações.

Se, após as medidas previstas, o tratamento continuar a implicar um elevado risco que o responsável pelo tratamento não consegue mitigar, o RGPD estabelece a consulta prévia à autoridade de controlo antes de iniciar o tratamento. A conclusão não deve ser apresentada como um simples risco aceite internamente se a norma exigir essa consulta.

O que uma DPIA deve conter e porque não equivale a um aviso de privacidade

A DPIA deve incluir uma descrição sistemática das operações de tratamento e das suas finalidades, incluindo a finalidade legítima prosseguida, quando aplicável. Deve também conter uma avaliação da necessidade e proporcionalidade, uma apreciação dos riscos para os direitos e liberdades das pessoas e as medidas previstas para os enfrentar. Por isso, não basta enumerar categorias de dados, incluir cláusulas genéricas de segurança ou afirmar que existe interesse empresarial em automatizar.

Num fluxo de IA, a descrição sistemática deve abranger a recolha, preparação, treino, quando exista, inferência, validação, intervenção humana, comunicação do resultado, registos e eliminação. Deve identificar tanto os dados diretos como as inferências. Por exemplo, uma pontuação de fraude, uma prioridade clínica ou uma previsão de abandono podem constituir dados pessoais se disserem respeito a uma pessoa identificada ou identificável e forem utilizados para a avaliar.

Uma política de privacidade informa as pessoas sobre um tratamento e pode ser necessária para cumprir deveres de transparência. Contudo, não substitui a avaliação interna prévia de riscos, necessidade, proporcionalidade e medidas. Tampouco uma avaliação genérica elaborada pelo fornecedor substitui a análise do responsável pelo tratamento, pois o fornecedor normalmente não conhece com precisão a população atendida, os dados locais, os limiares, a ação decidida pelo pessoal nem os mecanismos de reclamação disponíveis.

As listas de tratamentos que exigem DPIA e as listas de exceções podem variar consoante a autoridade de controlo competente. Uma organização que opere em vários Estados-Membros deve documentar que autoridade e que lista considerou. Quando existir dúvida razoável, uma avaliação proporcional e atempada pode revelar que o desenho deve mudar antes de o custo de reversão se tornar elevado.

Avaliação de impacto sobre os direitos fundamentais: âmbito e articulação com a DPIA

O Regulamento da Inteligência Artificial prevê uma avaliação de impacto sobre os direitos fundamentais para determinados responsáveis pela implementação antes da primeira utilização de sistemas de IA de alto risco. O dever não é acionado por qualquer software que use IA. Exige verificar tanto que o sistema se enquadra nas categorias de alto risco aplicáveis como que o responsável pela implementação integra os casos previstos pela norma. Entre os contextos que exigem atenção especial estão determinadas utilizações por organismos públicos ou entidades que prestam serviços públicos e certos usos de alto risco relacionados com domínios como crédito, seguros ou serviços de emergência, de acordo com a classificação e o âmbito normativo aplicáveis.

A avaliação deve ser contextual. O mesmo sistema pode apresentar riscos diferentes se for usado para apoiar uma fila de trabalho interna, para filtrar o acesso a um serviço essencial ou para priorizar atuações que afetam uma pessoa. Deve descrever os grupos que podem ser afetados, as possíveis consequências, as medidas de supervisão humana e os mecanismos pertinentes de informação e reclamação. Deve também considerar se existem barreiras práticas para contestar ou corrigir um resultado.

Quando o sistema trata dados pessoais e a DPIA é obrigatória, as duas avaliações devem ser articuladas, e não duplicadas cegamente. Um inventário comum de dados, finalidade, participantes, versões e controlos reduz incoerências. Ainda assim, deve conservar-se uma resposta diferenciada para cada obrigação: a DPIA tem de demonstrar a análise exigida pelo RGPD, enquanto a avaliação dos direitos fundamentais deve responder aos elementos do Regulamento da Inteligência Artificial aplicáveis à implementação.

O calendário de aplicação do Regulamento da Inteligência Artificial contém regras transitórias e foi objeto de alterações. Antes de concluir que uma obrigação já é exigível num caso concreto, documente a data de utilização prevista, a versão normativa consultada, a categoria do sistema e a disposição transitória aplicável. Este guia não substitui essa verificação jurídica específica.

Inventário mínimo e testes que devem acompanhar o processo

Antes de medir precisão ou enviesamento, construa um inventário que permita reproduzir a análise. Deve fixar a finalidade aprovada e as finalidades excluídas; a base e os limites do tratamento; as origens dos dados; os atributos fornecidos, observados e inferidos; as pessoas afetadas; os destinatários; os períodos de conservação; o fornecedor; o modelo e a sua versão; os limiares; e as ações que o resultado permite ou desencadeia. Se uma organização não consegue descrever estes elementos, dificilmente conseguirá demonstrar necessidade, proporcionalidade ou rastreabilidade.

Os testes devem responder aos danos plausíveis, e não apenas a uma métrica agregada. Se uma pontuação decide a ordem de atendimento, importam os falsos negativos que atrasam casos urgentes e os falsos positivos que deslocam injustamente outros casos. Se o desempenho puder diferir entre grupos, a avaliação deve explicar que grupos foram analisados, porque são relevantes, que limitações têm os dados de teste e o que será feito se não existir evidência suficiente. Em alguns casos, recolher atributos para medir disparidades também cria riscos de proteção de dados; isto exige uma justificação e salvaguardas específicas, não uma omissão automática da análise.

Também devem ser testadas a abstenção e a degradação. Um sistema pode ser mais seguro se se abstiver quando a informação é incompleta ou a sua confiança não ultrapassa um limiar, mas essa abstenção tem de encaminhar o caso para uma via humana real e dentro de prazos definidos. Simule incidentes: dados incorretos, mudanças na população, falha de um fornecedor, resultados incoerentes, pedidos de acesso ou retificação e pressão operacional para ignorar revisões. Registe que evidência permitiria detetar o problema e quem atuaria.

Controlos de redesenho, risco residual e autoridade para interromper o sistema

O resultado de uma avaliação não deve reduzir-se a aprovar ou rejeitar um produto. Muitas vezes, permite redesenhar o fluxo para reduzir a exposição e o dano. Entre as opções estão minimizar variáveis, não usar categorias especialmente sensíveis quando não forem necessárias, separar uma recomendação da decisão final, limitar o sistema a uma tarefa administrativa, reduzir a escala inicial, aumentar o limiar de abstenção, impedir determinados usos secundários e permitir uma revisão competente antes de efeitos adversos.

A revisão humana só é um controlo se tiver capacidade, informação, tempo e autoridade. Uma pessoa que confirma centenas de pontuações por hora ou que desconhece as limitações do modelo pode dar uma aparência de controlo sem alterar o risco. Defina que resultados exigem revisão, que sinais permitem anular a recomendação, que formação recebe a equipa, que prazo se aplica e como é registada a divergência. As anulações podem revelar um problema de dados, de limiar ou de desenho que obriga a reabrir a avaliação.

O risco residual deve ser descrito de forma concreta: que dano continua a ser possível, quem pode ser afetado, com que probabilidade e gravidade estimadas, que controlos permanecem ativos e que incertezas subsistem. A aceitação não pode ficar implícita. Deve ser atribuída a uma pessoa ou órgão com competência para a assumir e deve coexistir com uma autoridade independente para parar ou reverter o sistema quando for ativado um limiar de segurança, qualidade, discriminação, incumprimento ou incidente.

Reabra a avaliação antes de alterações materiais, e não depois de o dano ocorrer. São desencadeadores habituais a alteração do modelo, fornecedor, dados, população, finalidade, limiar, integração, ação automática, volume, regulamentação aplicável ou evidência de desempenho desigual. As revisões periódicas ajudam, mas não substituem estes desencadeadores baseados em alterações concretas.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.