Thiago Souza Martins

Inova&amp;Ação

Embora haja inúmeras controvérsias sobre o surgimento semântico da palavra “algoritmo”, o seu conceito, na ciência da computação, foi formalizado em 1936 por Alan Turing (Máquina de Turing) e Alonzo Church, os quais conceberam que um algoritmo é um conjunto não ambíguo e ordenado de passos executáveis que definem um processo finito.
Em suma, os algoritmos estão categorizados em programados, aqueles que seguem operações definidas pelo programador e não programados, que usam técnicas conhecidas como aprendizagem de máquina (machine learning); de modo geral, o aprendizado de máquina é uma maneira de alcançar a IA. A divisão da categoria dos algoritmos não programados ocorre da seguinte maneira: (i) supervisionados; (ii) de reforço e (iii) não supervisionados.
<a href="https://conteudo.jota.info/jota-pro-crise"><img class="aligncenter wp-image-239686 size-full" src="https://www.jota.info/wp-content/uploads/2020/03/whatsapp-image-2020-03-30-at-19-29-03.jpeg" sizes="(max-width: 400px) 100vw, 400px" srcset="https://www.jota.info/wp-content/uploads/2020/03/whatsapp-image-2020-03-30-at-19-29-03.jpeg 400w, https://www.jota.info/wp-content/uploads/2020/03/whatsapp-image-2020-03-30-at-19-29-03-300x300.jpeg 300w, https://www.jota.info/wp-content/uploads/2020/03/whatsapp-image-2020-03-30-at-19-29-03-150x150.jpeg 150w" alt="" width="400" height="400" /></a>
Em nosso cotidiano, os algoritmos encontram-se por todas as partes, seja para uma recomendação de produtos pela Amazon ou de algum filme na plataforma da Netflix. Entretanto, em que pese seu grau de assertividade, o uso de algoritmos chegou a um patamar que pode decidir o quão perigoso você é - ou não.
No ano de 2016, o caso Eric Loomis<a href="#_ftn1" name="_ftnref1">[1]</a> rendeu inúmeras manchetes e chamou atenção da comunidade jurídica. Loomis havia sido condenado a seis anos de prisão e obteve negativa de liberdade condicional com base em um software que indicava que ele apresentaria um alto risco de violência, reincidência e evasão.
A utilização do software privado, COMPAS (Correctional Offender Management Profiling for Alternative Sanction), funciona por meio de um algoritmo secreto ao qual nem os juízes têm acesso. Loomis recorreu à Suprema Corte de Winsconsin, a fim de requerer o acesso aos critérios que levaram o software a classificá-lo como uma pessoa de alto risco.
Por sua vez, os representantes legais da Northpointe Inc. (agora Equivant), desenvolvedora do COMPAS, defenderam que a forma de operação do sistema estaria protegida por segredo industrial. No julgamento foram suscitadas algumas questões delicadas, como o relatório da ONG ProPublica<a href="#_ftn2" name="_ftnref2">[2]</a>, sobre o enviesamento do referido software contra afro-americanos. Entretanto, o recurso de Loomis não logrou êxito tanto na Suprema Corte de Winsconsin como na Suprema Corte Americana.
Em caso mais recente, no Estado do Kansas, o acusado John Walls havia sido avaliado pela ferramenta LSI-R (Level of Service Inventory Revised), software desenvolvido pela empresa canadense Multi-Health Systems que também realiza “avaliação de risco”. Ao pedir para ver os resultados, John recebeu apenas acesso a uma página que resumia suas pontuações gerais; seu pedido para ver as perguntas e respostas específicas e as pontuações associadas a essas perguntas foram negadas. Porém, a Corte de Apelações do Kansas decidiu em favor de John, segundo a qual entendeu que negar o acesso dele à sua avaliação completa do LSI-R tornaria impossível contestar a precisão das informações<a href="#_ftn3" name="_ftnref3">[3]</a>
Analisando ambos os casos acima, percebe-se a grande controvérsia sobre a utilização dos algoritmos nas cortes americanas. Conforme relatório da EPIC (Eletronic Privacy Information Center)<a href="#_ftn4" name="_ftnref4">[4]</a>, os algoritmos da justiça criminal, são conhecidos por “avaliações de risco” ou “métodos baseados em evidências”, sendo que seu objetivo é prever o futuro de réus e pessoas encarceradas. As ferramentas, na maioria das vezes, realizam as estimativas com base na (i) probabilidade do réu reincidir antes do julgamento (“risco de reincidência”) e (ii) probabilidade de o réu deixar de comparecer no julgamento (“TLC”).
Sendo assim, essas técnicas são utilizadas para definir fiança, determinar sentenças e contribuir para determinações de culpa ou inocência. Muitos desses algoritmos levam em conta características pessoais como idade, sexo, geografia, histórico familiar e status de emprego. Por conseguinte, duas pessoas acusadas do mesmo crime podem receber resultados de fiança ou sentenças diferentes<a href="#_ftn5" name="_ftnref5">[5]</a>.
Os dois casos mencionados são apenas alguns exemplos do que tem sido implementado nos Estados Unidos. Há quem seja a favor e há quem seja contra a utilização destes softwares. Uma das principais críticas gira em torno da possibilidade de enviesamento dos algoritmos e à falta de transparência.
A título de exemplo, sobre a possibilidade de enviesamento, existem evidências de que, apesar das taxas similares de uso de drogas, os americanos negros são presos quatro vezes mais do que os americanos brancos por acusações relacionadas à droga. Supondo que os engenheiros coletassem fielmente esses dados e treinassem em um modelo de aprendizado de máquina, a IA ainda pegaria o viés incorporado como parte do modelo<a href="#_ftn6" name="_ftnref6">[6]</a>.
A falta de transparência e até mesmo a explicabilidade, se dá ao fato desses algoritmos serem verdadeiras caixas-pretas. Até os juízes, que se baseavam nessas avaliações de risco, geralmente não entendiam como as pontuações eram calculadas. Conforme explica Isabela Ferrari<a href="#_ftn7" name="_ftnref7">[7]</a>, o mero acesso ao código-fonte não responde como o programa parte dos inputs para chegar ao resultado, ou seja, não permite aprender o seu processo decisório.
Em contrapartida, alguns estudos<a href="#_ftn8" name="_ftnref8">[8]</a> demonstraram que a utilização dos algoritmos para essa finalidade poderia gerar impacto positivo. Isto pelo fato dos algoritmos combaterem decisões tendenciosas, deixando de lado as intuições e preferência pessoal de cada juiz.
________________________________________________________________________________________
<a href="#_ftnref1" name="_ftn1">[1]</a> <a href="https://www.nytimes.com/2016/06/23/us/backlash-in-wisconsin-against-using-data-to-foretell-defendants-futures.html">https://www.nytimes.com/2016/06/23/us/backlash-in-wisconsin-against-using-data-to-foretell-defendants-futures.html</a>.
<a href="#_ftnref2" name="_ftn2">[2]</a> <a href="https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing">https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing</a>
<a href="#_ftnref3" name="_ftn3">[3]</a> <a href="https://www.brookings.edu/blog/techtank/2019/03/21/algorithms-and-sentencing-what-does-due-process-require/">https://www.brookings.edu/blog/techtank/2019/03/21/algorithms-and-sentencing-what-does-due-process-require/</a>
<a href="#_ftnref4" name="_ftn4">[4]</a> <a href="https://epic.org/algorithmic-transparency/crim-justice/">https://epic.org/algorithmic-transparency/crim-justice/</a>
<a href="#_ftnref5" name="_ftn5">[5]</a> <a href="https://epic.org/algorithmic-transparency/crim-justice/">https://epic.org/algorithmic-transparency/crim-justice/</a>
<a href="#_ftnref6" name="_ftn6">[6]</a> <a href="https://www.weforum.org/agenda/2018/11/algorithms-court-criminals-jail-time-fair/">https://www.weforum.org/agenda/2018/11/algorithms-court-criminals-jail-time-fair/</a>
<a href="#_ftnref7" name="_ftn7">[7]</a> FERRARI, Isabela. Disponível em: &lt; <a href="https://itsrio.org/wp-content/uploads/2019/03/Isabela-Ferrari.pdf">https://itsrio.org/wp-content/uploads/2019/03/Isabela-Ferrari.pdf</a>&gt;
<a href="#_ftnref8" name="_ftn8">[8]</a> <a href="https://www.nytimes.com/2017/12/20/upshot/algorithms-bail-criminal-justice-system.html">https://www.nytimes.com/2017/12/20/upshot/algorithms-bail-criminal-justice-system.html</a>

black-macbook-pro-2473183

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Falta de transparência e possibilidades de enviesamento são alguns dos principais problemas apresentados

Análise sobre os algoritmos de avaliação de risco

Este texto integra a cobertura de novos temas do JOTA. Apoiadores participam da escolha dos temas, mas não interferem na produção editorial. [Conheça o projeto!](/pro#jota-discute)