Ao participar do “II Congresso Internacional de Direito, Governo e Tecnologia”, no último dia 26 de setembro, o Ministro Dias Toffoli, Presidente do STF, afirmou que o emprego de sistemas de inteligência artificial constitui uma das principais alternativas para a superação dos gargalos existentes na tramitação dos processos no Poder Judiciário[1]. A afirmação vem reforçar a sinalização dada pelo Ministro Dias Toffoli em recente entrevista coletiva, quando indicou que, em sua gestão à frente do STF, deseja adotar “medidas que tragam eficácia para o dia a dia da Corte, como o incremento do Plenário Virtual e mecanismos de inteligência artificial”[2].

No mesmo Congresso, foram apresentadas as funcionalidades do VICTOR[3], ferramenta de inteligência artificial que vem sendo utilizada pelo STF, para, entre outras atividades, verificar se os recursos extraordinários que chegam àquele Tribunal veiculam matérias que já tiveram sua repercussão geral reconhecida, a fim de que sejam adotadas as providências cabíveis, como a devolução do processo ao Tribunal de origem ou a rejeição do recurso extraordinário[4].

No âmbito administrativo, a Receita Federal anunciou que está testando o uso de sistemas de inteligência artificial no julgamento dos processos pelas Delegacias da Receita Federal de Julgamento. Os computadores leriam os autos, identificariam as razões apresentadas pelo contribuinte e poderiam inclusive apresentar uma proposta de decisão[5].

+JOTA: Assine o JOTA e não deixe de ler nenhum destaque!

Em um contexto em que um número já bastante significativo de decisões são automatizadas, tomadas a partir de big data, algoritmos e sistemas de inteligência artificial — ou inteligência híbrida (human plus machine) —, iniciativas como essas[6] chamam a atenção para a necessidade de se analisar as inúmeras questões suscitadas pela aplicação da algoritmos e sistemas de inteligência artificial no âmbito do Poder Judiciário e da Administração Pública.

Uma dessas questões diz respeito à aplicação de algoritmos e sistemas de inteligência artificial na formulação de decisões em processos administrativos e judiciais e, em especial, ao conhecimento dos dados e mecanismos de decisão empregados por estes algoritmos ou sistemas na formação do provimento adotado.

No próprio universo da inteligência artificial, verifica-se uma crescente preocupação com a transparência e com a auditabilidade dos sistemas utilizados. Analisando as questões éticas trazidas pela inteligência artificial, Nick Bostrom e Eliezer Yudkowsky, no percursor artigo “The Ethics of Artificial Intelligence”[7], afirmam que, a partir do momento em que assumam trabalhos cognitivos com dimensão social — trabalhos cognitivos que antes eram executados por seres humanos —, os sistemas de inteligência artificial herdam requerimentos sociais, devendo apresentar características que seriam aplicáveis a seres humanos que executassem as mesmas funções, entre as quais a transparência e a auditabilidade.

A própria natureza do processo de tomada de decisões por algoritmos e sistemas de inteligência artificial aponta para a necessidade de que eles sejam transparentes e possam ser auditados. Senão veja-se.

Uma ideia bastante comum é a de que algoritmos e sistemas de inteligência artificial seriam mais rápidos, minimizariam a influência de vieses humanos, forneceriam dados claros e objetivos e seriam mais justos. Ao invés de humanos cheios de preconceitos escarafunchando pilhas de papeis, haveria apenas máquinas processando números[8]. Dessa forma, algoritmos e sistemas de inteligência artificial melhorariam a qualidade das decisões tomadas, já que seriam mais eficientes do que os seres humanos e não estariam sujeitos a seus preconceitos e vieses.

Contudo, a premissa de que tais sistemas, por serem automáticos, são precisos e imunes a falhas não é correta. Algoritmos e sistemas de inteligência artificial não são constituídos exclusivamente por correlações matemáticas e necessárias, senão que veiculam também escolhas dos programadores — seja em relação aos dados empregados seja em relação aos mecanismos utilizados para a tomada de decisões — e, consequentemente, seus eventuais vieses e preconceitos, além de poderem apresentar falhas. Assim, as decisões tomadas por algoritmos e sistemas de inteligência artificial não são necessariamente objetivas ou neutras, nem podem ser consideradas como “necessárias” ou “naturais”.

Além disso, deve-se ter em conta que os algoritmos e sistemas de inteligência artificial atuam com base em modelos. Um modelo é uma representação abstrata de algum processo real. Modelos, por sua própria natureza, não apreendem toda a complexidade da realidade, envolvendo sempre simplificações e selecionando algumas das variáveis envolvidas no processo real, ao mesmo tempo em que deixam outras de fora[9].

Assim, um modelo sempre envolve escolhas acerca das variáveis que devem ser incluídas na representação do processo e, como tais escolhas são feitas por seres humanos, os valores, ideologias, preconceitos e vieses dos seres humanos que elaboraram o algoritmo ou sistema de inteligência artificial podem ser trasladadas para o modelo e lá ficarem camufladas sob sua estrutura matemática[10].

Não bastasse isso, muitas vezes, não se tem dados sobre o comportamento em que se está efetivamente interessado, sendo necessário recorrer a dados relativos a um outro comportamento e traçar correlações estatísticas entre esse outro comportamento e o comportamento que se está efetivamente analisando (assim, por exemplo, se define uma correlação entre o endereço da pessoa e a probabilidade de essa pessoa deixar de pagar um empréstimo). Algumas dessas correlações podem ser discriminatórias e mesmo ilegais[11].

Por isso, as conclusões apresentadas por algoritmos e sistemas de inteligência artificial não podem ser confundidas com a realidade.

No campo jurídico, há fundamentos específicos para a exigência de que algoritmos e sistemas de inteligência artificial empregados na tomada de decisões pelo Poder Judiciário ou pela Administração Pública sejam transparentes e auditáveis. Primeiro, de acordo com a Constituição Federal, tanto o Poder Judiciário como a Administração Pública devem dar publicidade a seus atos[12], o que inclui a publicidade das razões que lhes serviram de fundamento. Segundo, a exigência de fundamentação das decisões judiciais e administrativas engloba a exigência de que as razões de fato e de direito que integram esta fundamentação sejam conhecidas[13]. Terceiro, a garantia do contraditório e da ampla defesa[14] exige que as partes conheçam os fundamentos das decisões, para que possam discuti-los e insurgir-se contra eles por meio dos recursos cabíveis.

Um exemplo dos riscos e cuidados necessários na utilização de algoritmos e sistemas de inteligência artificial em decisões judiciais ou administrativas pode ser extraído da utilização dos denominados “modelos de reincidência”.

Nos Estados dos Estados Unidos, em algumas jurisdições, os juízes, nas decisões que devem proferir na esfera penal, recorrem a “modelos de reincidência” para aferir o perigo representado pelos réus[15]. Um desses modelos é o COMPAS – Correctional Offender Management Profiling for Alternative Sanctions, uma ferramenta baseada em evidências destinada a avaliar os riscos e as necessidades do preso[16].

O COMPAS atribui a cada preso um score, que é determinado por um algoritmo baseado em cálculos atuariais que levam em conta as respostas dadas pelo próprio preso a uma série de perguntas destinadas a determinar seu perfil[17], assim como outras informações relativas ao preso, como o local onde nasceu e foi criado, sua educação, informações sobre sua família, amigos e vizinhos, sua atuação na sociedade, seu histórico de abuso de drogas e suas atividades criminosas[18]. O juiz recebe apenas o score do preso, na medida em que a metodologia empregada pelo COMPAS é considerada segredo comercial, sendo desconhecida tanto pelo juiz como pelo preso, que não podem avaliar quais foram os dados utilizados, como os fatores de risco são sopesados e como os scores são determinados[19].

Poder-se-ia afirmar que esse tipo de modelo melhoraria a qualidade da decisão dos juízes acerca, por exemplo, da concessão da condicional ou da fixação da pena, já que seriam mais eficientes do que a intuição humana na tarefa de identificar aqueles que possuem maior risco de reincidência e não estariam sujeitos aos preconceitos e vieses dos juízes nem a seu humor no momento de proferir a decisão.

Nada impede, no entanto, que tais modelos, ao invés de eliminar os defeitos de um julgamento humano, apenas os disfarcem com a utilização da tecnologia, caso incorporem presunções e preconceitos, que estarão escondidos em algoritmos compreendidos apenas por um pequeno grupo de pessoas que detenham o conhecimento técnico necessário[20]. Nesse caso, os “modelos de reincidência” podem acabar reforçando desigualdades já existentes e disfarçando uma discriminação baseada no status demográfico e socioeconômico do indivíduo[21]. Não bastasse isso, como se viu, o modelo se vale de dados que, do ponto de vista jurídico, não poderiam ser considerados para a condenação do réu ou para a dosimetria da pena, como circunstâncias ligadas à família, amigos e vizinhos do preso[22].

Nesse contexto, exsurge com toda clareza a necessidade de que algoritmos e sistemas de inteligência artificial sejam transparentes e auditáveis: os réus só poderão questionar os scores que lhe foram atribuídos, as informações que foram levadas em consideração em sua determinação e o processo de tomada de decisão empregado se tiverem acesso ao modelo, aos dados considerados e aos mecanismos de decisão utilizados pelo algoritmo e puderem compreendê-los.

Apenas conhecendo o algoritmo, os mecanismos de decisão por ele adotado e os dados por ele considerados é possível questionar o resultado apresentado pelo modelo, a precisão científica das premissas por ele adotadas, a acuidade dos fatos por ele empregados ou a validade dos fatores por ele considerados — aí incluída a verificação da compatibilidade da utilização do fator para a tomada de decisão com o ordenamento jurídico —. Se os fatores de risco considerados pelo algoritmo e seus pesos relativos não forem abertos, não se poderá identificar e verificar as correlações que são realizadas[23].

Como o exemplo dos “modelos de reincidência” bem evidencia, sem a transparência e auditabilidade dos algoritmos e sistemas de inteligência artificial empregados na tomada de decisões pelo Poder Judiciário ou pela Administração Pública, não se poderá verificar eventuais falhas relativas aos dados utilizados (dados falhos, incorretos ou incompletos) e aos mecanismos de tomada de decisões (como correlações que não correspondem a causalidades ou que carreguem vieses ou preconceitos).

Mais: se o processo de tomada de decisão do algoritmo ou do sistema de inteligência artificial for opaco, aqueles que estão sujeitos a suas decisões restarão privados de autonomia e de capacidade de influir nas decisões adotadas, sendo obrigados a confiar cegamente nos resultados apresentados pelo sistema e a adotar uma conduta passiva, que se resumirá a ouvir e obedecer[24].

Por isso, algoritmos e sistemas de inteligência artificial — incluindo seus mecanismos de aprendizagem e de tomada de decisões — devem ser desenhados de forma a serem transparentes e auditáveis, podendo ser compreendidos e auditados por operadores humanos.

Devem prover explicações claras e coerentes de como chegaram a determinada decisão e quais eram as demais alternativas de decisão que poderiam haver sido adotadas, além de indicar quais os elementos considerados relevantes para a decisão e como eles interagiram para conduzir à decisão adotada[25]. Deve ser possível identificar os dados que foram levados em consideração e as razões consideradas relevantes para as decisões apresentadas pelo algoritmo ou sistema de inteligência artificial e quais os mecanismos de decisão foram empregados.

É importante também que se adote providências para que não se alegue que algoritmos e sistemas de inteligência artificial não podem ser conhecidos ou auditados porque constituem “segredo de negócio”, protegido por propriedade intelectual, ou porque a liberação de seu código fonte poderia gerar riscos, como ocorreu quando se buscou conhecer o sistema eletrônico de distribuição de processos do STF[26].

E tais providências, como facilmente se percebe devem ser tomadas já quando do desenvolvimento ou da contratação do algoritmo ou do sistema de inteligência artificial pelo Poder Judiciário ou pela Administração Pública.

A transparência e auditabilidade dos algoritmos e sistemas de inteligência artificial utilizados na tomada de decisões pelo Poder Judiciário e pela Administração Pública evitarão que tais decisões se convertam em verdadeiros vaticínios, como aqueles provenientes do Oráculo de Delfos, manifestações da vontade divina, cujas razões se desconhece, mas que, assim mesmo, deve-se obedecer.

---------------------------------------------------------------

[1] Presidente do STF participa da abertura do II Congresso Internacional de Direito, Governo e Tecnologia. Disponível em: http://www.stf.jus.br/portal/cms/verNoticiaDetalhe.asp?idConteudo=390796&tip=UN – Acesso em 1º/10/2018.

[2] Ministro Dias Toffoli apresenta a jornalistas prioridades de sua gestão. Disponível em: http://portal.stf.jus.br/noticias/verNoticiaDetalhe.asp?idConteudo=389887 – Acesso em 1º/10/2018.

[3] A denominação da ferramenta foi uma homenagem ao ex-Ministro Victor Nunes Leal, principal responsável pela introdução da Súmula da jurisprudência do STF, técnica que facilita a aplicação dos precedentes em recursos que versem sobre matérias em relação às quais a jurisprudência da Corte já se encontra pacificada.

[4] Projeto VICTOR do STF é apresentado em congresso internacional sobre tecnologia. Disponível em: http://www.stf.jus.br/portal/cms/verNoticiaDetalhe.asp?idConteudo=390818&tip=UN - Acesso em 1º/10/2018).

[5] Receita testa inteligência artificial em julgamentos. Disponível em: https://www.valor.com.br/legislacao/5473055/receita-testa-inteligencia-artificial-em-julgamentos - Acesso em 1º/10/2018.

[6] Vale recordar que o próprio STF desde há muito utiliza um sistema informatizado para a distribuição dos processos no Tribunal e que o STJ já deu início à implantação de um projeto-piloto destinado a aplicar soluções de inteligência artificial nas rotinas relacionadas ao processo eletrônico, como a classificação temática dos processos, a indexação legislativa, a identificação de processos que veiculem idêntica controvérsia e de processos nos quais possam ser aplicados os mesmos precedentes, assim como em outras atividades do Tribunal, como a identificação de temas repetitivos, a identificação de prevenções e a identificação de dados das partes e advogados (STJ entra na era da inteligência artificial. http://www.stj.jus.br/sites/STJ/default/pt_BR/Comunicação/noticias/Notícias/STJ-dá-primeiro-passo-para-implantar-inteligência-artificial-na-rotina-do-processo - Acesso em 1º/10/2018.

[7] Disponível em: https://nickbostrom.com/ethics/artificial-intelligence.pdf - Acesso em 1º/10/2018.

[8] O’NEIL, Cathy. Weapons of math destruction. New York: Crown, 2016. p. 3.

[9] O’NEIL, Cathy. Weapons of math destruction. New York: Crown, 2016. p. 20.

[10] O’NEIL, Cathy. Weapons of math destruction. New York: Crown, 2016. p. 3, 7 e 21.

[11] O’NEIL, Cathy. Weapons of math destruction. New York: Crown, 2016. p. 18.

[12] CF, arts. 5º, inc. LX, 37, caput, e 93, inc. IX.

[13] CF, art. 93, inc. IX; Lei nº 9.784/1999, arts. 2º, caput, par. único, inc. VII, e 50, inc. V e § 3º.

[14] CF, art. 5º, inc. LV; Lei nº 9.784/1999, art. 2º, caput.

[15] O’NEIL, Cathy. Weapons of math destruction. New York: Crown, 2016. p. 24. KLINGELE, Cecelia. The Promises and Perils of Evidence-Based Corrections, 91 Notre Dame Law Review, v. 91, n. 2, fev. 2016. p. 566. Disponível em: http://scholarship.law.nd.edu/ndlr/vol91/iss2/2?utm_source=scholarship.law.nd.edu%2Fndlr%2Fvol91%2Fiss2%2F2&utm_medium=PDF&utm_campaign=PDFCoverPages - Acesso em 1º/10/2018. ANGWIN, Julia et al. Machine Bias. Pro Publica. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing – Acesso em 1º/10/2018.

[16] California Department of Corrections and Rehabilitation. Fact Sheet : COMPAS Assessment Tool Launched -- Evidence-based rehabilitation for offender success. Disponível em: https://www.cdcr.ca.gov/rehabilitation/docs/FS_COMPAS_Final_4-15-09.pdf – A cesso em 1º/10/2018.

[17] São perguntas como: “Was one of your parents ever sent to jail or prison?” e “How many of your friends/acquaintances are taking drugs illegally?”, cf. ANGWIN, Julia et al. Machine Bias. Pro Publica. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing - Acesso em 1º/10/2018.

[18] O’NEIL, Cathy. Weapons of math destruction. New York: Crown, 2016. p. 26. ANGWIN, Julia et al. Machine Bias. Pro Publica. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing – Acesso em 1º/10/2018. Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing. Harvard La Review, v. 130, n. 5, mar. 2017. p. 1531. Disponível em: https://harvardlawreview.org/2017/03/state-v-loomis/ - Acesso em 1º/10/2018. California Department of Corrections and Rehabilitation. Fact Sheet : COMPAS Assessment Tool Launched -- Evidence-based rehabilitation for offender success. Disponível em: https://www.cdcr.ca.gov/rehabilitation/docs/FS_COMPAS_Final_4-15-09.pdf - Acesso em 1º/10/2018.

[19] Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing. Harvard La Review, v. 130, n. 5, mar. 2017. p. 1530-1531 e 1535. Disponível em: https://harvardlawreview.org/2017/03/state-v-loomis/ - Acesso em 1º/10/2018.

[20] O’NEIL, Cathy. Weapons of math destruction. New York: Crown, 2016. p. 25.

[21] KLINGELE, Cecelia The Promises and Perils of Evidence-Based Corrections, 91 Notre Dame Law Review, v. 91, n. 2, fev. 2016. p. 577. Disponível em: http://scholarship.law.nd.edu/ndlr/vol91/iss2/2?utm_source=scholarship.law.nd.edu%2Fndlr%2Fvol91%2Fiss2%2F2&utm_medium=PDF&utm_campaign=PDFCoverPages – Acesso em 1º/10/2018. ANGWIN, Julia et al. Machine Bias. Pro Publica. Disponível em <https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing> acesso em 1º/10/2018. Wisconsin Supreme Court Requires Warning Before Use of Algorithmic Risk Assessments in Sentencing. Harvard La Review, v. 130, n. 5, mar. 2017. p. 1534. Disponível em <https://harvardlawreview.org/2017/03/state-v-loomis/> acesso em 1º/10/2018.

[22] No ordenamento jurídico brasileiro, por exemplo, a utilização de elementos estranhos ao réu ou ao fato delituoso para a fixação da pena encontra óbice na disposição dos incisos XLV e XLVI do artigo 5º da Constituição Federal e do artigo 59 do Código Penal.

[23] SLOBOGIN, Christopher, Principles of Risk Assessment: Sentencing and Policing (February 27, 2018). Ohio State Journal of Criminal Law, v. 15, 2018; Vanderbilt Law Research Paper No. 18-09. p. 584. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3131027 - Acesso em 1º/10/2018.

2018.

[25] HAMMOND, Kris. Artificial Intelligence: Transparency isn’t just a trend. Disponível em: https://www.computerworld.com/article/3155534/artificial-intelligence/artificial-intelligence-transparency-isn-t-just-a-trend.html - Acesso em 1º/10/2018.

[26] Edital de chamamento público de instituições para avaliação e aperfeiçoamento do sistema de distribuição de processos do Supremo Tribunal Federal. Disponível em: http://portal.stf.jus.br/hotsites/avaliacaodadistribuicao/edital_avaliacao_distribuicao_stf.pdf - Acesso em 1º/10/2018.

Algoritmos, inteligência artificial e o Oráculo de Delfos

As inúmeras questões suscitadas pela aplicação da algoritmos e IA no Judiciário e Administração Pública