Opinião e Análise

Ana Frazão

Não é novidade que, atualmente, decisões importantes e estratégicas de agentes privados e públicos estão sendo progressivamente terceirizadas, total ou parcialmente, para sistemas algorítmicos desenhados e executados com base em diferentes tipos de inteligência artificial.
O fenômeno tem ocorrido mesmo quando tais decisões envolvem juízos valorativos complexos e mesmo quando trazem impactos diretos na vida das pessoas que estão sujeitas a tais julgamentos, inclusive no que diz respeito à fruição de direitos fundamentais da mais alta relevância.
Apesar de já se ter mapeado um conjunto bastante preocupante de evidências dos riscos dos sistemas algorítmicos, um argumento comumente utilizado é o de que, apesar das suas falhas e problemas, os algoritmos seriam melhores do que as decisões humanas, com falibilidades e limitações ainda maiores.
É diante desse tipo de comparação que surge a questão que motiva o presente artigo: apesar de todas as conhecidas falhas dos julgamentos humanos, os algoritmos mostram-se tão mais vantajosos do que os julgamentos humanos, a ponto de justificar a substituição das decisões humanas por eles? Os riscos e as incertezas relacionados aos julgamentos algorítmicos autorizariam a referida delegação?
Na <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/discriminacao-algoritmica-16062021">série sobre discriminação algorítmica</a>, tentei abordar alguns dos principais problemas das decisões algorítmicas, começando com a dependência de um regime de exploração de dados que é incompatível com os direitos dos titulares de dados e abrangendo igualmente:
<ol>
<li>riscos de segurança, inclusive de ataques hackers que alteram o funcionamento e o resultado dos sistemas;</li>
<li>linguagem matemática de difícil compatibilidade com questões valorativas e éticas;</li>
<li>priorização da acurácia, o que pode ser incompatível com outros importantes objetivos, como justiça;</li>
<li>riscos de diversos tipos de discriminação, incluindo a estatística;</li>
<li>riscos de incorporação de vieses dos programadores ou de replicação de preconceitos já existentes na sociedade;</li>
<li>riscos de erros inexplicáveis e resultados não intencionais;</li>
<li>ausência de transparência, em razão de diversos fatores, incluindo o segredo de negócios;</li>
<li>alta complexidade, o que torna tais processos decisórios normalmente ininteligíveis ou inexplicáveis, pelo menos no nível exigido para a compreensão humana.</li>
</ol>
Todos esses aspectos agravam-se diante dos inúmeros trade-offs que se apresentam aos julgamentos algorítmicos, sendo exemplos: redução de ruídos x aumentos de vieses ou aumento de explicabilidade x perda de acurácia. Acresce que a programação dos algoritmos precisa enfrentar diversas opções éticas, uma vez que a suposta pela neutralidade, em se tratando de assuntos humanos e sociais, longe de ser propriamente uma escolha técnica, é uma opção valorativa pela manutenção do status quo e pela perpetuação de discriminações e iniquidades existentes.
Os problemas já apontados comprometem, portanto, a legitimidade dos julgamentos algorítmicos pelo processo. Se os processos decisórios humanos são muitas vezes caóticos e irracionais, os julgamentos algorítmicos também padecem de tantos problemas que dificilmente podem ser considerados como racionais, técnicos e controláveis.
Basta lembrar que muitas das limitações dos julgamentos humanos também estão presentes nos julgamentos algorítmicos, que podem inclusive incorporar os vieses dos seus programadores. Acresce que, por mais que possam ser bem melhores do que os julgamentos humanos em vários aspectos, como na questão da acurácia e da redução dos ruídos, os julgamentos algorítmicos apresentam diversos riscos não existentes nos julgamentos humanos, como é o caso dos incidentes de segurança.
A própria questão do maior controle sobre o processo decisório algorítmico precisa ser colocada em perspectiva. A título de exemplo, menciona-se o recente caso dos vieses do sistema algorítmico de recorte de imagens do Twitter, problema que foi descoberto por terceiros e que a plataforma não conseguiu resolver, tendo agora que <a href="https://g1.globo.com/economia/tecnologia/noticia/2021/08/02/twitter-oferece-recompensas-a-quem-corrigir-vieses-raciais-e-sexistas-em-seus-algoritmos-de-corte-de-imagens.ghtml">oferecer recompensa para quem conseguir fazê-lo</a>.
Isso mostra claramente o fato de que nem mesmo a transparência pode assegurar inteligibilidade a vários dos aspectos das decisões algorítmicas. O exemplo do Twitter mostra que mesmo a empresa que tem acesso ao código pode não entender a razão de resultados disfuncionais nem saber como consertar o defeito.
Imagine-se, então, o grau de vulnerabilidade a que estão sujeitos os indivíduos julgados por esses sistemas algorítmicos, problema que certamente não será resolvido por auditorias independentes. Pelo contrário, isso pode gerar inúmeras outras dificuldades, tais como conflitos de interesses semelhantes aos que ocorreram com as agências de rating – os terceiros desinteressados e confiáveis para avaliar a credibilidade de diversos títulos e investimentos financeiros – que foram uma das principais responsáveis pela crise financeira de 2008.
Afinal, a questão sobre quem controla o controlador vai se tornando cada vez mais complexa quando apenas poucos atores sociais podem efetivamente realizar esse controle e quando os afetados e a sociedade civil são afastados desse monitoramento. Logo, é no mínimo complicado que a higidez de julgamentos algorítmicos dependa da credibilidade e da atuação honesta de poucos atores sobre os quais não é possível um controle social efetivo.
Em razão de todas essas dificuldades, hoje já se fala na ausência de legitimidade dos julgamentos algorítmicos em razão do processo em si e da necessidade da sua avaliação pelos próprios resultados. É precisamente o que sustenta Talia Gillis<a href="#_ftn1" name="_ftnref3">[1]</a>, segundo a qual precisamos parar de tentar encontrar conexões causais entre os inputs e os outputs dos sistemas algorítmicos, porque isso é impossível. Daí a necessidade de que haja controle dos outputs, ou seja, dos resultados.
Com isso, os julgamentos algorítmicos acabam perdendo um grande diferencial comparativo em relação aos julgamentos humanos. A partir do momento em que perdem a legitimidade decorrente do processo decisório, precisarão da legitimidade decorrente do resultado. O problema é que, como lhes falta a explicabilidade, muitas também não conseguirão ter essa legitimação ex post.
Assim, se os julgamentos algorítmicos podem não conseguir se legitimar nem pelo processo nem pelo resultado, como poderão se substituir aos julgamentos humanos? Estes, por mais falhos que sejam e possam não se legitimar pelo processo decisório, podem se legitimar pelo resultado, tal como é o caso das decisões judiciais.
O impasse ora apresentado mostra que não é possível, pelo menos no atual estado da técnica, sustentar que os julgamentos algorítmicos apresentam tal superioridade sobre os julgamentos humanos que poderiam se substituir a estes. Cada vez mais, evidencia-se a necessidade da participação humana não apenas durante o processo decisório algorítmico, para fins de supervisão e monitoramento, como também para o controle de resultados e mesmo para as devidas complementações. Afinal, como bem expõem Cukier et al<a href="#_ftn2" name="_ftnref4">[2]</a>, há elementos de explicação que são exclusivos do raciocínio humano, tais como as causalidades, os contrafactuais e as constrições.
Tais considerações são ora expostas para mostrar que há boas razões para colocar em xeque a superioridade dos algoritmos sobre os julgamentos humanos, ainda mais quando se pretende utilizar tal comparação para uma delegação total ou substituição plena das decisões humanas. Se não há dúvidas de que algoritmos podem ser superiores aos humanos em diversos aspectos, também há diversos outros em que os seres humanos são superiores. Isso sem falar nos riscos adicionais decorrentes dos julgamentos algorítmicos.
É inequívoco que, desde que, com as devidas cautelas – boas bases de dados, monitoramento e cuidado, preocupações com segurança, dentre outros – os algoritmos podem ser muito melhores do que seres humanos em analisar amplas quantidades de dados, estabelecer correlações e padrões e atender ao objetivo de acurácia. Entretanto, isso não assegura por si só bons julgamentos e muito menos julgamentos justos e inteligíveis.
Daí por que tudo leva a crer que a comparação entre julgamentos algorítmicos e julgamentos humanos deve ser utilizada prioritariamente para se buscar abordagens complementares entre os dois, sem abrir mão das vantagens dos julgamentos humanos e do necessário controle humano que deve existir.
<a href="#_ftnref1" name="_ftn1"></a>
<hr />
<a href="#_ftnref1" name="_ftn3">[1]</a> GILLIS, Talia B., The Input Fallacy. <a href="https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3571266">https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3571266</a>
<a href="#_ftnref2" name="_ftn4">[2</a><a href="#_ftnref2" name="_ftn4">]</a> CUKIER, Kenneth; MAYER-SCHÖNBERGER, Viktor; VÉRICOURT, Francis de. Framers. Human Advantage in an Age of Turmoil. New York: Penguin Randon House LLC, 2021.

algoritmos

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

As falhas das decisões humanas justificam a sua substituição pelas decisões algorítmicas?

Decisões algorítmicas x decisões humanas

Decisões algorítmicas x decisões humanas: as falhas das decisões humanas justificam a sua substituição pelas decisões algorítmicas?