Opinião e Análise

Ana Frazão

Como se pode perceber pelos <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/controversias-sobre-direito-a-explicacao-e-a-oposicao-diante-de-decisoes-automatizadas-12122018" target="_blank" rel="noopener">artigos anteriores</a>, existem consideráveis controvérsias em torno do direito à explicação e à oposição diante de decisões automatizadas, o que pode comprometer a compreensão do seu real alcance e, consequentemente, a sua efetividade.
Não obstante, a interpretação sistemática dos referidos direitos diante de outras soluções previstas pela LGPD, a exemplo do disposto igualmente no GDPR, pode oferecer cenário mais promissor a respeito da sua eficácia.
É o que sustentam, em recente e instigante artigo, Bryan Casey, Ashkon Farhangi e Roland Vogl<a href="#_ftn1" name="_ftnref1">[1]</a>, segundo os quais, embora os direitos ora discutidos não obriguem a total transparência, no sentido de uma completa e individualizada explicação das decisões automatizadas, os seus efeitos sinergéticos se projetariam quando combinados com a auditoria dos algoritmos e a metodologias de "data protection by design". Daí a conclusão dos autores de que a mais revolucionária modificação do GDPR foi a relacionada aos poderes conferidos as autoridades e às previsíveis repercussões deles decorrentes.
<ul class="jota-article__internal-links">
<li>+JOTA:<a href="https://www.jota.info/cadastre-se"> Faça o cadastro e leia até dez conteúdos de graça por mês! 
</a></li>
</ul>
Por essa razão, é preocupante que, no contexto brasileiro, até hoje não tenha sido resolvido o problema da autoridade nacional, uma vez que, diante do veto presidencial à sua instituição, nada foi feito para suprir essa grave lacuna da LGPD.
Outro ponto crucial, destacado pelas Guidelines on Automated Individual Decision Making and Profiling<a href="#_ftn2" name="_ftnref2">[2]</a>, já mencionadas no artigo anterior, diz respeito à importância das medidas e procedimentos para prevenir erros, inacurácias e discriminações que podem resultar de decisões totalmente automatizadas, o que impõe a todos que delas se utilizam a realização de constantes avaliações sobre os seus resultados.
Tais conclusões casam-se perfeitamente com aquelas previstas no relatório do governo Barack Obama Preparing for the future of artificial intelligence<a href="#_ftn3" name="_ftnref3">[3]</a>, no qual fica claro que, diante das dificuldades de se realizar uma regressão perfeita das decisões totalmente automatizadas, há necessidade ao menos de se proceder a testes exaustivos sobre os seus resultados.
Outra medida de segurança repetidamente invocada pelas Guidelines é o relatório de impacto à proteção de dados, previsto no art. 35 do GDPR, por meio do qual se pode construir e demonstrar o compliance com a proteção de dados por meio do exame sistemático de técnicas de processamento automatizado e as medidas necessárias para gerenciar os riscos e as liberdades das pessoas naturais envolvidas.
De fato, de acordo com o GDPR, tais avaliações precisam conter minimamente a descrição sistemática das operações de processamento e seus propósitos, incluindo o legítimo interesse do controlador, a avaliação da necessidade e da proporcionalidade do processamento em relação aos seus objetivos, a avaliação dos riscos aos direitos dos titulares de dados e as medidas visando a endereçar tais riscos, incluindo as salvaguardas, medidas de segurança e mecanismos para garantir a proteção dos dados pessoais.
No Brasil, a LGPD define, em seu art. 5º, XVII, o relatório de impacto à proteção de dados pessoais como a "documentação do controlador que contém a descrição dos processos de tratamento de dados pessoais que podem gerar riscos às liberdades civis e aos direitos fundamentais, bem como medidas, salvaguardas e mecanismos de mitigação de risco."
Entretanto, não fica claro qual é o grau de comprometimento dos controladores com a referida obrigação, uma vez que o art. 38, da LGPD - "A autoridade nacional poderá determinar ao controlador que elabore relatório de impacto à proteção de dados pessoais, inclusive de dados sensíveis, referente a suas operações de tratamento de dados, nos termos de regulamento, observados os segredos comercial e industrial" - poderia sugerir que o relatório dependeria da iniciativa da autoridade nacional, hipótese que se confirmaria com a previsão do art. 4º, § 3º, segundo o qual "A autoridade nacional emitirá opiniões técnicas ou recomendações referentes às exceções previstas no inciso III do caput deste artigo e deverá solicitar aos responsáveis relatórios de impacto à proteção de dados pessoais."
Verdade seja dita que, ao tratar da questão da governança e do compliance, a própria LGPD, em seu art. 50, § 2º, I, "d", determina a existência de "políticas e salvaguardas adequadas com base em processo de avaliação sistemática de impactos e riscos à privacidade". Entretanto, não são claras as consequências do desrespeito a tais determinações.
De toda sorte, diante das controvérsias sobre as decisões automatizadas, é inequívoco que a autoridade tem o papel central de determinar o que pode ser considerado uma política adequada de proteção de dados e o que pode ser considerado uma avaliação idônea dos impactos e riscos para os usuários. Assim, qualquer que seja a interpretação, a ausência da autoridade nacional causa diversos problemas.
Com efeito, Bryan Casey, Ashkon Farhangi e Roland Vogl<a href="#_ftn4" name="_ftnref4">[4]</a> mostram que o que se chama de data protection by design precisa levar em consideração diversos fatores complexos, tais como o estado da arte da tecnologia, os custos de implementação, a natureza, o escopo, o contexto e o propósito do tratamento de dados, assim como os riscos da probabilidade de violações aos direitos dos titulares e a gravidade dessas violações.
Por mais que isso envolva uma atitude proativa dos controladores e possam existir hipóteses nas quais os altos riscos tornariam os relatórios de impactos obrigatórios – e não meramente recomendáveis -, é inequívoco que a autoridade responsável tem importante papel para aclarar essas dúvidas.
Não obstante, as Guidelines on Automated Individual Decision Making and Profiling delimitam alguns exemplos de atividades consideradas de alto risco, dentre as quais (i) avaliações ou scorings, (ii) decisões automatizadas com efeitos jurídicos ou similares, (iii) monitoramento sistemático, (iv) dados sensíveis, (v) dados processados em larga escala, (vi) datasets que forem combinados ou misturados, (vii) uso inovativo ou aplicação tecnologica ou souções organizacionais, (viii) transferência de dados entre fronteiras fora da União Eueopeia e (ix) processamentos que impedem titulares de dados de exercerem direitos ou usarem determinado serviço ou poderem contratar.
Por essa razão, faz sentido o argumento de Bryan Casey, Ashkon Farhangi e Roland Vogl<a href="#_ftn5" name="_ftnref5">[5]</a> de que, até para demonstrar que determinada atividade nao gera risco suficiente para justificar o relatório de impacto, será necessária a existência deste. Vale ainda ressaltar que, do ponto de vista das Guidelines on Automated Individual Decision Making and Profiling, as avaliações são necessárias não somente nos casos de decisões totalmente automatizadas.
Todas essas questões são aqui trazidas para se mostrar que os direitos ora em discussão, interpretados sistematicamente com as demais previsões do GDPR e da LGPD, não são apenas reativos, mas geram grande dever de cuidado aos agentes de processamento.
Afinal, ao direito do titular de entender a lógica do processo decisório e o significado e as consequências pretendidas, contrapõe-se o dever dos controladores de se utilizarem de procedimentos matemáticos e estatísticos apropriados, que sejam capazes de corrigir inacurácias e minimizar os riscos de erro, submetendo-os aos devidos controles, por meio dos relatórios de impacto e dos procedimentos de testagem e avaliação.
Sob essa perspectiva, o GDPR e a LGPD acabam impondo aos controladores o ônus da prova da legitimidade do tratamento totalmente automatizado, uma vez que caberá a eles demonstrar, dentre outras questões (i) os dados que são coletados, de que fonte e de que maneira, (ii) quais as linhas gerais de programação dos algoritmos e seus objetivos, (iii) como se deu a programação e o desenvolvimento do algoritmo, (iv) se o algoritmo pode ou não modificar seu próprio código, (v) se tais modificações são previsíveis ou ao menos verificáveis, (vi) quais as categorias relevantes dos perfis e os critérios para cada uma delas, (vii) quais são os outputs do processo decisório e como avaliar a sua adequação e acurácia, (viii) se há mecanismos de feedback, (viii) se há intervenção humana e em que nível, (ix) quais são os principais impactos e riscos para os titulares de danos, (x) que medidas foram tomadas para conter tais riscos.
Dessa maneira por mais que os direitos à explicação e à oposição não exijam que as companhias abram suas black boxes algorítmicas, certamente exigem que os controladores avaliem cuidadosamente os interesses dos titulares de dados, escolham com cuidado seus sistemas de processamento de dados e possam compreendê-los, assim como estabelecem políticas para documentar e justificar os aspectos centrais do design do sistema e todas as salvaguardas adotadas.
Não há dúvidas de que, apesar de todos os desafios apontados, tem-se que tanto o GDPR como a LGPD pavimentaram o caminho em busca da accountability algorítmica, o que se projeta inclusive na adoção, pelos controladores, de tecnologias compatíveis e dos investimentos necessários para tal fim.
------
<a href="#_ftnref1" name="_ftn1">[1]</a> Rethinking explainable machines: the GDPR's "right to explanation" debate and the rise of algorithmic audits in enterprise". https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3143325
<a href="#_ftnref2" name="_ftn2">[2]</a> file:///D:/Users/User/Downloads/wp251rev01_enpdf.pdf
<a href="#_ftnref3" name="_ftn3">[3]</a>https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_the_future_of_ai.pdf
<a href="#_ftnref4" name="_ftn4">[4]</a> Op.cit.
<a href="#_ftnref5" name="_ftn5">[5]</a> Op.cit.

technology-3092486_1920

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Série analisa as repercussões para a atividade empresarial

Nova LGPD: ainda sobre a eficácia do direito à explicação e à oposição

Série analisa as repercussões para a atividade empresarial