Ana Frazão
Advogada. Professora associada de Direito Civil, Comercial e Econômico da UnB. Ex-Conselheira do CADE.
Há tempos que se discute a opacidade dos algoritmos e dos julgamentos daí resultantes, especialmente quando tais decisões repercutem na esfera jurídica de cidadãos e podem comprometer direitos fundamentais da mais alta relevância.
Segundo Frank Pasquale[1], estamos vivendo em uma black box society, em que algoritmos decidem muito mais do que os produtos ou serviços a que podemos ter acesso: decidem também quem somos, o que pensamos e o que queremos, bem como quais os nossos direitos e as nossas perspectivas de vida. Para Harari[2], os riscos do dataísmo – que seria equipavável a uma verdadeira religião dos dados – são o da subjugação do próprio homem, o que mostra que se trata de um dos assuntos mais importantes da nossa época.
Recentemente o tema da opacidade e da ininteligibilidade das decisões algorítmicas despertou a atenção do meio jurídico diante de iniciativas da Justiça Trabalhista de periciar o algoritmo da Uber, para o fim de se saber qual é o grau de controle que a plataforma exerce sobre os seus motoristas e, consequentemente, poder decidir pela existência ou não da relação de emprego. Nesse sentido, há pelo menos duas decisões recentes do Tribunal Superior do Trabalho (TST) que suspenderam, ainda que provisoriamente, esse tipo de prova[3].
Vale ressaltar que a questão é trazida ao Judiciário brasileiro em momento no qual já existem diversos estudos apontando para o controle algorítmico que a plataforma exerce sobre os motoristas, assim como em momento no qual já houve o reconhecimento do vínculo de emprego em vários e importantes países do mundo.
Verdade seja dita que a solução do imbróglio não é trivial, como confirma a própria Lei Geral de Proteção de Dados (LGPD), que, ao mesmo tempo em que prevê os princípios da transparência e da accountability e prestação de contas, também assegura, em diversos artigos, a proteção do segredo de negócios.
Trata-se, portanto, de um dos mais difíceis e importantes tradeoffs da LGPD, o que é reforçado pelo fato de que o próprio princípio da transparência é conformado expressamente pelo segredo comercial e industrial.
Com efeito, o art. 6º, VI, da LGPD o define como “garantia, aos titulares, de informações claras, precisas e facilmente acessíveis sobre a realização do tratamento e os respectivos agentes de tratamento, observados os segredos comercial e industrial.”
Acresce que a LGPD faz menção à necessidade de proteção aos segredos comercial e industrial em pelo menos outras doze oportunidades, inclusive na parte em que trata das competências da ANPD, para o fim de deixar claro que a autoridade precisa zelar pela observância dos segredos comercial e industrial (LGPD, art. 55-J, II, e § 5º).
Não obstante as dificuldades jurídicas, relacionadas à proteção do segredo de negócios, a busca pela transparência algorítmica ainda encontra um relevante óbice de natureza técnica, pois as decisões algorítmicas podem decorrer de diversos e múltiplos passos e/ou processos que, no seu conjunto, podem ser extremamente complexos e ininteligíveis, o que se potencializa com a utilização de machine learning e de outras técnicas, como redes neurais.
Daí a importância do critério da inteligibilidade, ou seja, da ideia de que pelo menos os aspectos principais e a lógica da decisão algorítmica – e especialmente os critérios de decisão – precisam ser esclarecidos. Dessa maneira, seria possível preservar inclusive o segredo de empresa, já que não se revelaria inteiramente o código, mas sim os aspectos mais relevantes da decisão algorítmica, os quais seriam convertidos da linguagem matemática para a linguagem natural.
Nesse sentido, em que pese a proteção do segredo de negócios, pode-se afirmar que a própria LGPD ampara o entendimento de que decisões algorítmicas que afetem terceiros precisam ser, no mínimo, inteligíveis e explicáveis, de forma que o segredo de negócios não pode utilizado para a ausência de explicações. Daí, inclusive, o direito à explicação e à revisão de decisões totalmente automatizadas, tal como previsto no art. 20, da LGPD.
Obviamente que isso não resolve o problema em sua integralidade, uma vez que é limitada a confiabilidade de uma explicação que, por ser oferecida pelo controlador de dados, é interessada e não está sujeita a qualquer tipo de controle. Essa é a razão pela qual muito se discute, para efeitos de se assegurar a adequada transparência algorítmica, a importância de auditorias externas independentes, que poderiam exercer o papel de atestar a idoneidade do sistema algorítmico ou de confirmar os principais aspectos que estariam sob discussão.
A própria LGPD, ao mesmo tempo em que determina que “O controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial” (art. 20, § 1º), prevê que “Em caso de não oferecimento de informações de que trata o § 1º deste artigo baseado na observância de segredo comercial e industrial, a autoridade nacional poderá realizar auditoria para verificação de aspectos discriminatórios em tratamento automatizado de dados pessoais.”
Dessa maneira, além da possibilidade de auditorias externas independentes, é inequívoco que a ANPD tem competência para realizar auditoria para verificação de aspectos discriminatórios no tratamento automatizado.
Entretanto, como tais soluções ainda não fazem parte da nossa prática, as discussões judiciais que se travam sobre aspectos relacionados às decisões algorítmicas ainda precisam ser resolvidas por outros meios. Daí a necessidade de se pensar em alternativas viáveis, exequíveis e que sejam capazes de conciliar os direitos envolvidos, tanto por parte das empresas, como parte dos terceiros que são afetados por suas decisões.
Para tal reflexão, é importante pensarmos, em primeiro lugar, na natureza e nos limites do segredo de negócios. Afinal, nem mesmo a propriedade intelectual – seja a propriedade industrial, seja o direito autoral – é considerada absoluta, havendo diversas e interessantes discussões sobre a função social da propriedade nesse campo e sobre situações nas quais os direitos dos titulares deveriam ceder diante de determinados interesses sociais.
Em interessante artigo sobre o tema, no qual se procura demonstrar como algoritmos secretos podem ser verdadeiras barreiras para a justiça social, Taylor Moore traz uma relevante discussão. Segundo ele, enquanto vários mecanismos dos sistemas de propriedade intelectual já equilibram os interesses do titular com os interesses da sociedade – tanto que há vários requisitos legais para a concessão de uma patente, por exemplo -, os segredos de negócio, embora carreguem o apelido de “propriedade intelectual”, não estão sujeitos a qualquer limite ou mecanismo de equilíbrio entre os interesses do titular e os da sociedade, já que são criados e mantidos de acordo com a mera vontade do seu titular, o que seria mais um argumento para não compreendê-los como direitos absolutos e para deles exigir a necessária transparência em situações nas quais afetam diretamente terceiros[4].
Consequentemente, há boas razões para não considerar o segredo de empresa como algo absolutamente intocável ou sacrossanto, de forma a se exigir que, em algumas situações, ele seja sopesado diante de relevantes interesses sociais que possam ser prejudicados em virtude do segredo. Mais do que isso, uma discussão bastante atual é se e em que medida o segredo de negócios pode ser oposto ao regulador, considerando que este não tem como regular algo que não compreende.
No caso brasileiro, vale ressaltar, que a própria Lei de Propriedade Industrial deixa uma válvula de escape para a revelação do segredo de negócios em casos excepcionais, no contexto de disputas judiciais, desde que mediante o segredo de justiça. Com efeito, o art. 206, da LPI, prevê que “Na hipótese de serem reveladas, em juízo, para a defesa dos interesses de qualquer das partes, informações que se caracterizem como confidenciais, sejam segredo de indústria ou de comércio, deverá o juiz determinar que o processo prossiga em segredo de justiça, vedado o uso de tais informações também à outra parte para outras finalidades.”
Independentemente das soluções específicas do direito brasileiro, a discussão sobre a necessidade de algum grau de abertura e explicabilidade dos algoritmos, especialmente quando as decisões deles decorrentes causam graves impactos na vida das pessoas, foi bastante explorada no famoso caso Compas, sistema de inteligência artificial que começou a ser utilizado pelo estado norte-americano do Wisconsin com a finalidade de auxiliar o juiz na dosimetria da pena, por meio do cálculo do grau de risco de reincidência por parte do réu.
O problema é que não havia qualquer grau de inteligibilidade ou transparência da decisão algorítimica, já que a empresa fornecedora do sistema alegava a proteção do seu segredo de negócios, o que gerou uma grande mobilização do meio jurídico e social no sentido de que o segredo de negócios não poderia prevalecer naquela hipótese. Em artigo específico sobre o tema, Frank Pasquale sintetizou o problema já no título: “Algoritmos secretos ameaçam a rule of law. Mandar pessoas para a cadeia por causa de julgamentos inexplicáveis e insuscetíveis de revisão feitos por um programa de computador sigiloso mina nosso sistema jurídico”[5].
Um dos pontos salientados por Frank Pasquale é que a ausência de transparência da decisão algorítmica impossibilita a defesa do réu, o que fulminaria vários dos princípios inerentes às decisões judiciais, tais como fundamentação aberta ao público e o próprio devido processo legal. Outro ponto importante destacado pelo autor é a existência de alternativas entre o segredo algorítmico e a transparência completa, já que se poderia pensar em uma transparência qualificada, possibilitando que determinados experts possam atestar a qualidade, a validade e a confiabilidade dos sistemas algorítmicos, mantendo o segredo de negócios.
Desde o caso Compas, há um considerável número de trabalhos mostrando que, por diversos enfoques e fundamentos, o segredo de negócios não poderia prevalecer em casos de condenações criminais[6]. Por mais que as condenações criminais sejam um exemplo extremo, abrem a discussão para saber em que casos é também justificável que o segredo de negócios sofra alguns temperamentos em prol dos demais interesses envolvidos.
Nesse sentido, decisões algorítmicas enviesadas ou discriminatórias também estão no foco da controvérsia, assim como decisões que podem impactar em relações assimétricas, tal como é o caso das relações de trabalho. Aliás, vale notar que outro famoso caso da luta em favor da transparência algorítmica é o de Daniel Santos e outros professores da cidade de Houston, no Texas, que foram demitidos em razão de terem sido mal avaliados por sistemas algorítmicos sem qualquer transparência[7].
Diante do ocorrido, o sindicato dos professores moveu ação contra o Houston Independent School Disctrict, alegando, dentre outras questões, a violação ao princípio constitucional do devido processo legal, já que os professores não poderiam ser demitidos sem saber a razão da demissão.
O caso acabou em acordo, com o Houston ISD concordando em pagar uma elevada quantia em taxas judiciais e assumindo o compromisso de parar de usar o controverso sistema de avaliação[8]. Entretanto, ficou claro que, também na seara trabalhista, as decisões algorítmicas podem ter importantes impactos sobre a vida dos trabalhadores, o que justificaria um cuidado maior tanto na utilização de sistemas de inteligência artificial, como também na questão da transparência e da accountability de tais sistemas.
Não é sem razão que, especificamente no tocante a Uber, os exemplos de trabalhadores questionando a opacidade dos algoritmos não se restringem ao Brasil. Recente notícia mostra que, no Reino Unido, motoristas também ajuizaram ação contra a companhia requerendo acesso aos seus dados pessoais e à accountability algorítmica, baseados no GDPR, legislação na qual se inspirou a nossa LGPD[9].
É fundamental que se reflita também sobre as consequências da recusa da Uber em abrir o seu algoritmo do ponto de vista probatório. Com efeito, uma coisa é assegurar o direito de manter o segredo de negócios. Outra, bem diferente, é considerar não provada uma relação de emprego que, em muitos casos, apenas poderia sê-lo com o conhecimento mais aprofundado da relação entre a plataforma e o motorista, o que dependeria necessariamente do algoritmo.
Sobre a questão probatória, vale lembrar um caso interessante, que diz respeito à decisão do Supremo Tribunal Federal que reconheceu ao réu de investigação de paternidade o direito de não realizar o teste de DNA contra a sua vontade. Embora tenha assegurado o direito à privacidade e à liberdade do réu, entendeu-se que a recusa em produzir a prova deveria ter impactos sobre a distribuição dos ônus respectivos, inclusive para o fim de invertê-los, de forma a criar uma presunção relativa de paternidade[10].
Dessa maneira, preservou-se a intimidade do suposto pai, mas não se possibilitou que ele se beneficiasse da recusa em se submeter à prova que seria determinante para o desfecho do processo. Tal questão, aliás, nunca mereceu maior debate na jurisprudência brasileira, tendo inclusive sido objeto da Súmula 301 do Superior Tribunal de Justiça, segundo a qual “Em ação investigatória, a recusa do suposto pai a submeter-se ao exame de DNA induz presunção juris tantum de paternidade.”
É preciso refletir, portanto, sobre os ônus da prova diante de situações de interesses legítimos de uma parte que são afetados por outra. Em casos assim, é necessário indagar se a recusa de uma das partes em relação à produção de prova determinante para o processo, ainda que sob a alegação de exercício regular de direito, não deveria levar à inversão dos respectivos ônus, nos termos do atual art. 373, § 1º, do Código de Processo Civil.
Caso os tribunais trabalhistas entendam que realmente não é possível abrir o código da Uber contra a sua vontade, mesmo no contexto de processo judicial sob sigilo, terão necessariamente que enfrentar os impactos da recusa da plataforma sobre a atribuição dos ônus da prova e em que medida seria razoável se cogitar de presunção relativa de vínculo empregatício.
Com efeito, considerando todos os riscos da opacidade algorítmica, o pior cenário é aquele em que se permitiria à plataforma se beneficiar do segredo de negócios, de forma ampla e absoluta, igualmente para efeitos probatórios. Caso as cortes trabalhistas assim entendam, chancelarão, ainda que indiretamente, a possibilidade de todos os tipos de fraudes e burlas à legislação trabalhista sob a conveniente justificativa do segredo de negócios.
Portanto, a discussão sob exame nos permite refletir sobre se é lícito e desejável que os algoritmos, que já são vistos por muitos como verdadeiras armas em diversos contextos[11], possam também ser vistos como escudos, o que provavelmente ocorrerá caso o segredo seja considerado uma defesa absoluta em processos judiciais, sem qualquer repercussão sobre a distribuição dos ônus da prova.
[1] PASQUALE, Frank. The black box society. The secret algorithms that control money and information. Cambridge: Harvard University Press, 2015.
[2] HARARI, Yuval Noah. Homo Deus. Uma breve história do amanhã. São Paulo: Companhia das Letras, 2016.
[3] https://www.jota.info/tributos-e-empresas/trabalho/pericia-algoritmo-aplicativo-99-suspensa-tst-01062021. https://www.migalhas.com.br/quentes/346444/tst-ministro-suspende-pericia-tecnica-no-algoritmo-da-uber.
[4] MOORE, Taylor. Trade Secrets and Algorithms as Barriers to Social Justice. https://cdt.org/wp-content/uploads/2017/08/2017-07-31-Trade-Secret-Algorithms-as-Barriers-to-Social-Justice.pdf
[5] MIT Technology Review. Secret Algorithms Threaten the Rule of Law. Sending people to jail because of the inexplicable, unchallengeable judgments of a secret computer program undermines our legal system. https://www.technologyreview.com/2017/06/01/151447/secret-algorithms-threaten-the-rule-of-law/
[6] Como exemplo, ver WEXLER, Rebecca. Life, Liberty, and Trade Secrets: Intellectual Property in the Criminal Justice System. Stanford Law Review 70 1343 (2018). https://review.law.stanford.edu/wp-content/uploads/sites/3/2018/06/70-Stan.-L.-Rev.-1343.pdf
[7] https://www.chron.com/news/houston-texas/education/article/Houston-ISD-settles-with-union-over-teacher-12267893.php
[8] https://www.chron.com/news/houston-texas/education/article/Houston-ISD-settles-with-union-over-teacher-12267893.php
[9] UK Uber drivers are taking the algorithm to court
https://techcrunch.com/2020/07/20/uk-uber-drivers-are-taking-its-algorithm-to-court/
[10] (HC 71373, Relator(a): FRANCISCO REZEK, Relator(a) p/ Acórdão: MARCO AURÉLIO, Tribunal Pleno, julgado em 10/11/1994, DJ 22-11-1996 PP-45686 EMENT VOL-01851-02 PP-00397)
[11] Ver O´NEIL, Cathy. Weapons of math destruction. How big data increases inequality and threatens democracy. EUA: Crown, 2016.