Opinião & Análise

IA

A (ausência da) intervenção humana na revisão de decisões automatizadas

Resultado pode gerar consequências indesejáveis tanto para a sociedade quanto para o setor empresarial

Créditos da imagem: ICO - Information Comissioner's Office

Pela diferença de voto de um único senador, o Plenário do Congresso concluiu pela manutenção do veto ao art. 20, §3º da Lei Geral de Proteção de Dados (LGPD). O dispositivo tratava da revisão de decisões automatizadas, ou seja, aquelas realizadas integralmente por sistemas de inteligência artificial e sem intervenção humana.

Em seu texto original, o dispositivo previa a obrigatoriedade de tais decisões, caso afetassem os direitos do titular dos dados tratados, serem revistas por pessoas naturais. Com a manutenção do veto, a garantia já não se faz mais necessária. Contudo, essa medida pode gerar preocupações tanto para a sociedade quanto para a iniciativa privada.

Como a ausência de intervenção humana no art. 20 da LGPD afeta o público em geral

São inúmeras as situações em que sistemas de inteligência artificial substituíram humanos na tomada de decisões sensíveis. Programas de reconhecimento facial, por exemplo, já são capazes de definir qual candidato será selecionado para trabalhar em uma empresa com base no tom de voz e na linguagem corporal que apresentou durante a entrevista de emprego. Seguradoras já empregam inteligência artificial para prestação de serviços como atendimento ao cliente e abertura de sinistros. Já no setor financeiro, instituições de crédito decidem se concederão crédito a um indivíduo e qual o valor dos juros que incidirão com base em métodos estatísticos.

As aplicações citadas podem gerar benefícios econômicos tanto à indústria quanto ao consumidor pela redução de custos, maior agilidade na prestação de serviços e aumento no grau de personalização de produtos. No entanto, os casos em que esses sistemas de inteligência artificial cometeram erros de análise e geraram perfis de titulares de dados com base em julgamentos racistas ou sexistas preocupam. Exemplos dessas situações extremas ocorreram com um aplicativo de fotos da Google que, em 2015, classificou imagens de pessoas negras como gorilas, e com a identificação de que mulheres têm menos chance do que homens de encontrarem, em sites de busca, oportunidades de emprego com altos salários.

Essas práticas discriminatórias se dão pelo fato de algoritmos carregarem, em seus códigos, os valores de seus desenvolvedores, já que são estes que decidem a forma pela qual são alimentados os sistemas de inteligência artificial. Ademais, técnicas de machine learning podem resultar em potencialidades inesperadas pelos desenvolvedores de sistemas de inteligência artificial. Por isso, os resultados de decisões automatizadas não podem ser considerados como mais neutros ou corretos do que os resultados de decisões tomadas diretamente por seres humanos.1

A presença do fator humano no processo de revisão de decisões automatizadas é fundamental para que o titular de dados possa expressar sua opinião e contestar a decisão, e assim exercer uma série de direitos expressos na LGPD, tais como o de correção de dados incompletos, inexatos ou desatualizados (art. 18, III), a anonimização, bloqueio ou eliminação de dados desnecessários (art. 18, IV) e a eliminação dos dados pessoais tratados (art. 18, VI).

A revisão humana é essencial para o efetivo exercício do direito à autodeterminação informativa, concebido como direito fundamental e norteia a proteção de dados pessoais por proporcionar ao indivíduo o controle sobre suas próprias informações.2

Como a ausência de intervenção humana no art. 20 da LGPD afeta os modelos de negócio empresariais

O setor empresarial costuma ver com maus olhos a obrigação de revisão humana, visto que sua interferência no ciclo de tomada de decisões da máquina (classicamente conhecido como human-in-the-loop – HIL) pode inviabilizar a celeridade dos serviços automatizados, além de gerar custos extras, vinculados especialmente à contratação de um operador. Isso porque, no HIL, seria necessária uma pessoa natural para autorizar todas as decisões feitas pelo sistema.

Há, no entanto, uma solução alternativa, capaz de causar um menor impacto na eficiência do serviço enquanto garantida a proteção dos direitos fundamentais do titular de dados: o human-on-the-loop (HOL), onde o elemento humano meramente supervisiona o funcionamento do sistema automatizado e intervém somente quando encontra eventos inesperados, falhas, ou quando solicitada revisão pelo titular de dados.

A não-obrigatoriedade de revisão por pessoa natural pode trazer um segundo malefício a médio/longo prazo para o setor empresarial. O Brasil tem sido um player central no processo de aprovação do acordo de livre comércio entre o Mercosul e a União Europeia. Contudo, esse acordo pode ser impactado pela falta de compatibilidade entre o modelo regulatório de proteção de dados brasileiro e o europeu.

Quanto menos compatíveis os parâmetros brasileiros de proteção de dados com os da União Europeia, mais entraves podem surgir nas relações comerciais, especialmente no que diz respeito a economias digitais e comércio eletrônico. E o modelo europeu, expresso pelo Regulamento Geral de Proteção de Dados (RGPD), é explícito quanto à obrigatoriedade da intervenção humana no processo de revisão para que o titular de dados possa manifestar seu ponto de vista e contestar a decisão, assim exercendo seus direitos de forma plena.

Nesse sentido, com a entrada em vigor do RGPD, empresas brasileiras que processem dados para as europeias deverão estar alinhadas com seu artigo 22, que obriga a revisão por pessoa natural de decisões automatizadas. Este cenário de transferência internacional de dados pessoais é bastante comum em economias digitais. Por esse motivo, o empresário brasileiro inevitavelmente deverá cumprir o requisito vetado, o que acabará por aumentar os custos operacionais.

Como a intervenção humana ainda pode ser obrigatória

Há algumas possibilidades para que a intervenção humana ainda seja prevista em nosso ordenamento jurídico. A principal possibilidade de esse cenário mudar está na recém-criada Autoridade Nacional de Proteção de Dados (ANPD). Uma de suas primeiras grandes tarefas será certamente a redação de uma regulamentação que melhor detalhe alguns pontos obscuros da LGPD, como é o exemplo das formas de aplicação das sanções administrativas às infrações da lei. E, embora o texto atual do art. 20 não obrigue a intervenção humana, ele também não a proíbe. Uma interpretação motivada pelos princípios da LGPD, em particular os de transparência, não discriminação e responsabilização/prestação de contas, poderá levar a ANPD a exigir, mediante regulamentação própria, que a intervenção humana seja elemento obrigatório no processo de revisão de decisões automatizadas.

Outra possibilidade é o ajuizamento de Ação Direta de Inconstitucionalidade (ADI) sob o fundamento de que a ausência de intervenção humana viola direitos fundamentais. Atualmente, a PEC 17/2019, que pretende incluir a proteção de dados no rol de direitos fundamentais, está em avaliação por Comissão Especial na Câmara dos Deputados. Uma vez aprovada, não seria difícil argumentar que o veto ao texto original do art. 20 viola a Constituição Federal, pois uma série de direitos dos titulares de dados passam a ser restringidos pela não-obrigatoriedade de revisão de decisões automatizadas por pessoa natural. Ademais, a dignidade humana, um dos principais fundamentos, previsto no art. 1º, §3º de nossa Constituição, é afrontada quando a autonomia dos indivíduos é mitigada pela atuação das máquinas.

Vale ressaltar que, mesmo que nenhuma dessas duas hipóteses ocorra, a dinâmica internacional dos mercados digitais obriga várias empresas a se alinharem às obrigações da RGPD, que incluem a revisão por pessoa natural nos processos de decisões automatizadas. Por consequência, o dispêndio de capital e esforço por parte de empreendedores para se adequarem a esse requisito poderá ocorrer, independente de sua exclusão da LGPD.

—————————–

1 KAMARINOU, Dimitra et. al. Machine Learning with Personal Data. Queen Mary School of Law Legal Studies Research Paper No. 247, 2016. Disponível em: <https://ssrn.com/abstract=2865811>. Acesso em: 29 de setembro de 2019.

2 DONEDA, Danilo. Da Privacidade à Proteção de Dados Pessoais. Rio de Janeiro: Renovar, 2006. P. 196.


Faça o cadastro gratuito e leia até 10 matérias por mês. Faça uma assinatura e tenha acesso ilimitado agora

Cadastro Gratuito

Cadastre-se e leia 10 matérias/mês de graça e receba conteúdo especializado

Cadastro Gratuito