Daniel Becker
Isabela Ferrari
Entre intrigas e cabalas, a LGPD caminha finalmente para uma postergação, seja por meio da recentíssima Medida Provisória 959/20, que postergou o fim da vacatio legis para maio de 2021, seja por meio do Projeto de Lei nº 1.179/20 (PL), de autoria do senador Antônio Anastasia, o qual propõe o início da vigência em 1º de janeiro de 2021, observada a suspensão das sanções até agosto de 2020.
E essa tramitação legislativa é uma oportunidade única para melhorarmos a LGPD. Embora sejam muitos os pontos, desde isenção para pequenas e médias empresas até ajustes na buromania presente no atendimento de direitos do titular [1], aqui, restringimo-nos a propor uma necessária modificação no polêmico e pouco compreendido art. 20, § 1º, da LGPD, responsável por criar o pequeno feixe de regulação de aplicações de inteligência artificial no país, notadamente as decisões automatizadas.
Para que nossa crítica e posterior sugestão fiquem bem compreendidas, é preciso tecer algumas considerações para introduzir os menos versados no tema. A aprendizagem de máquinas (machine learning) e suas ramificações, alimentadas pela grande quantidade de dados disponíveis, rege, em grande parte, as nossas vidas.
Enquanto a ciência da computação tradicional detém um viés determinística, a machine learning, por outro lado, opera de forma probabilística e seus algoritmos são autoprogramáveis, isto é, “aprendem” por conta própria, sem a necessidade de programação prévia e explícita; o input consiste nos dados e no resultado esperado, já o output é o algoritmo que mescla ambos.[2]
Dessa moderna engenharia computacional e estatística, podem surgir sérios problemas envolvendo discriminação, preconceito e enviesamento decorrentes de opacidade e de datasets viciados.[3]
Nesse sentido, avant la lettre, os autores apresentaram, mais de uma vez, críticas, ponderações e chamados à regulação de inteligência artificial, especificamente no tocante às decisões automatizadas[4], alicerçadas em operações envolvendo machine learning e suas ramificações.[5]
Sabe-se que entender o processo decisório e a programação de algoritmos probabilísticos e autoprogramáveis é tarefa hercúlea. Diz-se que programar um algoritmo de machine learning é muito difícil; a única coisa reputada como mais difícil do que programá-lo, é auditá-lo e explicá-lo.[6]
Isso porque existe uma lacuna entre a atividade do programador e o comportamento dessa espécie de algoritmo, que cria a própria programação. Assim, esse tipo de algoritmo modifica de forma autônoma a sua estrutura enquanto opera, de acordo com os dados (lapidados ou não, que recebe).[7]
Dessa forma, pela complexidade de sua operação, a mera observação do output por um ser humano – ainda que seu próprio programador – dificilmente poderia conduzir a alguma conclusão sobre os processos internos que conduziram os inputs até lá, tornando o algoritmo uma verdadeira caixa-preta.[8] Voltaremos a essa problemática mais à frente.
Decisões automatizadas consistem em um processo decisório automático, sem qualquer envolvimento humano, informadas por dados, sejam eles pessoais ou não. Qual rua devo seguir para evitar trânsito? Qual filme é o mais recomendado para mim? Essas são algumas das inúmeras e inocentes perguntas feitas e respondidas diariamente por decisões automatizadas. Já outras tornam-se um pouco mais preocupantes como “qual o meu grau de reincidência?” ou “faço jus a um empréstimo e em que condições?”, por exemplo.[9]
Essa última pergunta refere-se à decisão automatizada mais regulada no mundo, a avaliação de risco de crédito. O credit scoring é uma técnica utilizada majoritariamente por instituições financeiras para, de forma estatística, avaliar a concessão de crédito a uma pessoa com base em variáveis pré-determinadas[10], as quais, no idioma da LGPD, correspondem a dados pessoais do indivíduo que solicita a operação financeira.
Nos EUA, a prática é regulada, ao menos desde os anos 70, pelo Fair Credit Reporting Act (FCRA) e pelo Equal Credit Opportunity Act (ECOA). A primeira delas tem como objeto a proteção do consumidor, detalhando como as informações de crédito do indivíduo podem ser coletadas, distribuídas e utilizadas.
Já a segunda exige que as empresas envolvidas em oferta de crédito de crédito disponibilizem de maneira equitativa o crédito a todos os clientes, vedando que as instituições financeiras tomem decisões baseadas em fatores discriminatórios, como raça, gênero, religião, idade, sexo, estado civil ou idade.[11]
No Brasil, enquanto a LGPD não entra em vigor, a prática é regulada de forma primitiva pelo Código de Defesa do Consumidor (CDC), por meio do direito à informação, insculpido no artigo 6º, III, e pela Lei do Cadastro Positivo, art. 5º, VI, e Súmula STJ nº 550. A combinação desses dispositivos gera a obrigação da instituição financeira de prestar esclarecimento aos consumidores acerca do escore de crédito.
A judicialização do tema ainda é tímida no Brasil, mas ela existe. O caso mais recente que os autores têm notícia ocorreu em Goiás. Em fevereiro deste ano, o 3º Juizado Especial Cível de Goiânia condenou uma empresa de credit score ao pagamento de indenização no valor de R$ 2.000,00 (dois mil reais).
Isso porque o autor da ação obteve a negativa de empréstimo de diversas instituições financeiras, com base na avaliação realizada pela empresa condenada e, ao tentar apurar a razão perante a empresa, não recebeu quaiquer esclarecimentos. Diante desses fatos, o órgão entendeu que houve violação ao direito à informação, previsto no CDC, ensejando, assim, indenização por dano moral.[12]
Feitas essas breves considerações sobre a decisão automatizada de score de crédito chegamos à LGPD. Fruto de um transplante legislativo, isto é, da importação com adaptações do Regulamento Geral de Proteção de Dados da União Europeia (GDPR), a LGPD, entre outros temas, introduziu em nosso ordenamento o artigo 20, § 1º, equivocadamente copiado da matriz europeia por dois motivos.
A primeira razão é de natureza semântica. A LGPD adotou uma abordagem muito mais agressiva em relação ao direito à explicação se comparada ao GDPR. Enquanto o regulamento europeu trata somente da regulação de decisões que produzam efeitos na esfera jurídica do titular dos dados pessoais ou que o afetem significativamente de forma similar, a lei brasileira dispõe que são reguladas as decisões automatizadas que afetem os interesses, incluídas as decisões destinadas a definir perfil pessoal, profissional, de consumo e de crédito ou os aspectos da personalidade do titular dos dados.
Não é trivial indicar o que são decisões automatizadas que produzam efeitos na esfera jurídica ou que afetem significativamente o titular de dados na forma do GPDR, mas podemos defini-las como aquelas que geram reflexos em seu conjunto de seus direitos e vinculações.
Agora, o que seriam decisões automatizadas que afetam os interesses de uma pessoa natural? Embora a LGPD tenha trazido um rol exemplificativo, a expressão “interesses” é um exemplo acadêmico de conceito jurídico indeterminado e pode vir a trazer muitos problemas na prática.
Decisões sobre preço e propagandas, por exemplo, afetam os interesses de um titular de dados pessoais? [13] Até esse conceito ser pacificado pelos nossos tribunais, muitos recursos humanos, financeiros e de tempo terão sido despendidos.
Ainda mais difícil de definir neste momento de incerteza, em ambas as legislações, é o que deve ser informado ao titular dos dados. A LGPD preconiza que deverão ser concedidas “informações claras e adequadas” sobre o procedimento adotado para a decisão automatizada.
Por outro lado, o GDPR, por ser uma legislação supranacional que engloba 28 (vinte oito) Estados-membros e 13 (treze) línguas oficiais, acaba por criar uma verdadeira panaceia em relação a alguns termos e expressões contidas no texto do regulamento.[14]
Nesse ponto, ao qualificar as informações que devem ser disponibilizadas por força do direito à explicação, a versão portuguesa utiliza o termo “úteis”, assim como as versões francesa e holandesa (“utiles” e “nuttige”, respectivamente), enquanto as versões inglesa, italiana, espanhola e alemã adotam “informações significativas” (“significative”, “significative”, “significativa” e “aussagekräftige”, respectivamente).[15] Observe: o que é útil nem sempre é significativo, e vice-versa.
O segundo ponto de atenção diz respeito à ratio da LGPD. A interpretação da lei brasileira – seja literal, sistemática ou teleológica – parece não deixar dúvidas de que seu objeto principal é proteger o indivíduo, o titular dos dados. Não é possível outra conclusão pela leitura do artigo 1º da LGPD, o qual deixar claro seu objetivo de “proteger os direitos fundamentais de liberdade e de privacidade e o livre desenvolvimento da personalidade da pessoa natural”.
Embora a Alemanha, de modo isolado dos demais países europeus, tenha avançado para tratar a lei também como reguladora de mercado, notadamente no que tange à defesa da concorrência [16], parece-nos que a exegese do GDPR é a mesma, uma norma direcionada para proteger direitos da personalidade.
Ademais, é essa a letra do Considerandum nº 71 do GDPR, o qual dispõe que as decisões automatizadas deverão ser acompanhadas das garantias adequadas, que deverão “incluir a informação específica ao titular dos dados e o direito de obter a intervenção humana, de manifestar o seu ponto de vista”, bem como “de obter uma explicação sobre a decisão tomada na sequência dessa avaliação e de contestar a decisão.”
Sobre a acalorada discussão na União Europeia sobre o direito à explicação, é comum assistir a falácia de que a transparência em relação ao algoritmo implica na abertura do código-fonte.
Embora haja muita energia e não sejam poucos, nem de pouco crédito, aqueles que defendam essa linha de ação, a abertura do código-fonte de um algoritmo de machine learning não auxilia a compreensão da forma como opera. Essa abertura resolve o problema da acessibilidade, mas não ataca o problema da compreensibilidade da decisão automatizada. [17]
Em outras palavras, como o código só expõe o método de aprendizado de máquinas usado, e não a regra de decisão, que emerge automaticamente a partir dos dados pessoais ou não sob análise, o código sozinho comunica muito pouco, remanescendo a dificuldade de compreender o seu processo decisório. [18]
O código-fonte é, portanto, apenas uma parte desse quebra-cabeças, e sua divulgação não é suficiente para demonstrar a assertividade do processo decisório. Algoritmos apenas podem ser considerados compreensíveis quando o ser humano é capaz de articular a lógica de uma decisão específica, explicando, por exemplo, a influência de determinados inputs ou propriedades para a decisão.[19]
Portanto, uma consequência direta e absurda da eficácia dessa ideia seria a quase total da suspensão de uso de algoritmos de machine learning cujo processo decisório seja inescrutável.
O argumento de complexidade “infinita” das decisões de machine learning não poderia, portanto, ser utilizado como escusa para o descumprimento da legislação e perpetuação da inércia das empresas que tratam os dados. [20] Qual o resultado? O custo de transação [21] da prestação dessa difícil informação seria agigantado, vindo a reboque com todo o custo regulatório trazido pela LGPD. [22]
Isso, por óbvio, acabaria prejudicando todos, haja vista que o titular de dados não quer, de fato, informações sobre o código-fonte, modelo estatístico, linha de programação et cetera; para o titular, na forma da ratio da LGPD, interessa saber quais dados pessoais seus serviram de input no sistema para a produção daquele output. Para o titular, é fundamental receber informações consistentes e compreensíveis para que ele, querendo, possa contestar a decisão automatizada.[23]
É este o objeto da LGPD ao tratar dos “Direitos do Titular” e nada mais. Não quer a lei, propriamente, conferir a titularidade incondicionada do titular aos seus dados pessoais. Qualquer entendimento extensivo agravará as externalidades da lei produzindo resultados temerários para a economia, sobretudo sobre os setores que utilizam, em suas atividades, decisões automatizadas.
Outro extremo, igualmente preocupante, é a possibilidade da perda de eficácia do dispositivo, haja vista a possibilidade de utilização da defesa do segredo industrial ou comercial para não disponibilizar as informações requeridas pelo usuário. Isso poderia resultar, inclusive, em uma auditoria por parte da Autoridade Nacional de Proteção de Dados (ANPD) – inexistente até a data deste artigo.
Estamos diante, portanto, da seguinte encruzilhada: o art. 20, § 1º lesa de morte a inovação ou é ineficaz vis-à-vis a proteção do segredo industrial e comercial das modelagens computacionais.
Re intellecta, ira verbis simas faciles, para que a lei não seja ainda mais nociva para inovação ou contenha palavras inúteis [24], é preciso buscar uma solução. Diante da importância da transparência e da informação do titular acerca das decisões automatizadas sobre ele, sugerimos, aqui, uma alteração no § 1º do artigo 20 da LGPD.
No qual, atualmente, consta a redação de que o “controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial”, quando, na verdade, basta revelar para o titular dos dados que requisitou as informações os seus dados pessoais que informaram a decisão automatizada. A melhor doutrina, técnica e jurídica, orienta para uma nova redação do dispositivo, a saber:
“§ 1º O controlador deverá fornecer, sempre que solicitadas, informações sobre os dados pessoais utilizados para informar a decisão automatizada.”
Nada mais lúcido do que concretizar o princípio da transparência (LGPD, art. 6º, VI), trazendo para a prática não só acessibilidade, mas também compreensibilidade sobre as decisões automatizadas.
Como nos lembra Cícero, “o astrônomo olha os signos celestiais; determina o ponto em que a cabra, a ursa e as outras constelações se encontram, e investiga o que acha nas alturas, descuidando talvez o que se encontra sob seus próprios pés.” [25]
Para as estrelas pelas asperezas. É hora de todos nós – inclusive os idólatras da LGPD – sermos penitentes, arregaçando as mangas, a fim de evitar que essa lei deixe a terra sob os nossos pés completamente arrasada.
[1] BECKER, Daniel; ARRUDA, Daniel Sivieri. O crepúsculo da LGPD. Estadão. Disponível em: https://politica.estadao.com.br/blogs/fausto-macedo/o-crepusculo-da-lgpd/ – Acesso em 02 de mai. 2020.
[2] DOMINGOS, Pedro. The master algorithm: how the quest for the ultimate machine learning will remake our world. Nova York: Basic Books, 2015, p. 6.
[3] FERRARI, Isabela; BECKER, Daniel; WOLKART, Erik Navarro. Arbitrium ex machina: panorama, riscos e a necessidade de regulação das decisões informadas por algoritmos. Revista dos Tribunais, vol. 995, setembro de 2018.
[4] Inteligência artificial pode ser definido como “[A] teoria e o desenvolvimento de sistemas computacionais capazes de desempenhar tarefas que normalmente requerem inteligência humana, como percepção visual, reconhecimento de fala, tomada de decisões e tradução automática de idiomas.” (tradução livre) In VARDI, Moshe Y. Artificial Intelligence: Past and Future. Communications of the ACM, vol. 55, janeiro de 2012.
[5] BECKER, Daniel; RODRIGUES, Roberta. Direitos do Titular In FEIGELSON, Bruno; BECKER, Daniel; CAMARINHA, Sylvia. Comentários à Lei Geral de Proteção de Dados. São Paulo: Revista dos Tribunais, 2020, p. 92-96. BECKER, Daniel; FERRARI, Isabela; ARAUJO, Bernardo. Regulation against the machine. JOTA. Disponível em: https://www.jota.info/opiniao-e-analise/artigos/regulation-against-the-machine-26092019 – Acesso em 04 de abr. 2020; FERRARI, Isabela; BECKER, Daniel. O direito à explicação sobre decisões automatizadas: uma análise comparativa entre a União Europeia e o Brasil. Revista de Direito e as Novas Tecnologias, vol. 1, outubro-dezembro de 2018; FERRARI, Isabela; BECKER, Daniel; WOLKART, Erik Navarro. Arbitrium ex machina: panorama, riscos e a necessidade de regulação das decisões informadas por algoritmos. Revista dos Tribunais, vol. 995, setembro de 2018; FERRARI, Isabela; BECKER, Daniel. Start spreading the news: NYC regulará seus algoritmos. JOTA. Disponível em: https://www.jota.info/opiniao-e-analise/artigos/start-spreading-the-news-nyc-regulara-seus-algoritmos-08012018 – Acesso em 10 de abr. 2020; FERRARI, Isabela; BECKER, Daniel. Algoritmo e preconceito. JOTA. Disponível em: https://www.jota.info/opiniao-e-analise/artigos/algoritmo-e-preconceito-12122017 –
Acesso em 10 de abr. 2020.
[6] BURT, Andrew. Is there a ‘right to explanation’ for machine learning in the GDPR? International
Association of Privacy Professionals. Disponível em: https://iapp.org/news/a/is-there-a-right-toexplanation-for-machine-learning-in-the-gdpr/ – Acesso em: 27 de mar. 2020.
[7] FERRARI, Isabela; BECKER, Daniel; WOLKART, Erik Navarro. Arbitrium ex machina: panorama, riscos e a necessidade de regulação das decisões informadas por algoritmos. Revista dos Tribunais, vol. 995, setembro de 2018.
[8] SELBST, Andrew; POWLES, Julia. Meaningful information and the right to explanation. International Data Privacy Law, v. 7, n. 4, 2017.
[9] ; FERRARI, Isabela; BECKER, Daniel. Start spreading the news: NYC regulará seus algoritmos. JOTA. Disponível em: https://www.jota.info/opiniao-e-analise/artigos/start-spreading-the-news-nyc-regulara-seus-algoritmos-08012018 – Acesso em 10 de abr. 2020
[10] SOUZA, Ródnei Bernardino. O modelo de collection scorinq como ferramenta para a gestão estratégica do risco de crédito. 2000. 75 p. Dissertação de MBA apresentada ao Curso de Pós-Graduação da EAESP/FGV, Área de Concentração: Risco de Crédito. São Paulo: EAESPIFGV, p. 21.
[11] HURLEY, Mikella; ADEBAYO, Julius. Credit scoring in the era of big data. Yale Journal of Law and Technology, vol. 18, 2017.
[12] VENTURA, Ivan. Cadastro positivo: empresa é obrigada a indenizar consumidor por “informação genérica” de score. O Consumerista. Disponível em: https://www.oconsumerista.com.br/2020/02/cadastro-positivo-empresa-e-obrigada-a-indenizar-consumidor-por-informacao-generica-de-score/ – Acesso em 12 de abr. 2020.
[13] FERRARI, Isabela; BECKER, Daniel. O direito à explicação sobre decisões automatizadas: uma análise comparativa entre a União Europeia e o Brasil. Revista de Direito e as Novas Tecnologias, vol. 1, outubro-dezembro de 2018.
[14] FERRARI, Isabela; BECKER, Daniel. O direito à explicação sobre decisões automatizadas: uma análise comparativa entre a União Europeia e o Brasil. Revista de Direito e as Novas Tecnologias, vol. 1, outubro-dezembro de 2018.
[15] MALGIERI, Gianclaudio; COMANDÉ, Giovanni. Why a right to legibility of automated decision making exists in the General Data Protection Regulation. International Data Privacy Law, v. 7, 4, nov. 2017. Disponível em: https://doi.org/10.1093/idpl/ipx019 – Acesso em: 12 de abr. 2020.
[16] HODGE, Neil. Germany’s dual approach to data regulation under the GDPR. Compliance Week. Disponível em: https://www.complianceweek.com/data-privacy/germanys-dual-approach-to-data-regulation-under-the-gdpr/28386.article – Acesso em: 12 de abr. 2020.
[17] MITTELSTADT, Brent Daniel et al. The ethics of algorithms: Mapping the debate. Big Data & Society, 1-21, jul.- dez. 2016.
[18] KROLL, Joshua A. et al. Accountable Algorithms. University of Pennsylvania Law Review, v. 165, p. 633-705, 2017.
[19] BAROCAS, Solon; SELBST, Andrew D. Big Data’s Disparate Impact, n. 104, California Law Review 671, 2016.
[20] SELBST, Andrew; POWLES, Julia. Meaningful information and the right to explanation. International Data Privacy Law, v. 7, n. 4, 2017. Disponível em: https://academic.oup.com/idpl/article/7/4/233/4762325 – Acesso em: 04.09.201
[21] COASE, Ronald H. The problem of social cost. The Journal of Law Economics, vol III, outubro de 1960. Disponível em: www.law.uchicago.edu/files/file/coase-problem.pdf – Acesso em 29 de mar. 2020.
[22] BECKER, Daniel. LGPD e Castigo. Valor Econômico. Disponível em: https://valor.globo.com/noticia/2019/08/26/lgpd-e-castigo.ghtml – Acesso em 12 de abr. 2020.
[23] BECKER, Daniel; CAVALHEIRO, Gabriela; ROMMEL, Roberto. All data is credit data: apontamentos sobre a regulação do credit score In BRUZZI, Eduardo; FEIGELSON, Bruno. Banking 4.0: desafios jurídicos e regulatórios do novo paradigma bancário e de pagamentos. São Paulo: Revista dos Tribunas, 2020 (no prelo).
[24] MAXIMILIANO, Carlos. Hermenêutica e Aplicação do Direito. 8ª ed. Freitas Bastos: Rio de Janeiro, 1965, p. 262
[25] CÍCERO, Marco Túlio. Da República. Edipro: São Paulo, 2011 (edição Kindle).
