Opinião e Análise

Ana Frazão

A presente série procurou mostrar que existem sérios riscos relacionados à adoção de julgamentos algorítmicos para a tomada de decisões sobre seres humanos, especialmente quando tais decisões podem trazer relevantes impactos para as vidas daqueles que estão sob julgamento.
Sob diversas perspectivas, a questão da discriminação algorítmica é, na verdade, fruto de problema mais amplo e complexo, que diz respeito à própria utilização de algoritmos para diversos tipos de julgamentos sem maiores cuidados e sem a necessária supervisão humana.
<a href="https://www.jota.info/produtos/poder?utm_source=Banner%20site&amp;utm_medium=Artigos&amp;utm_campaign=CTA_Poder_materias"><img class="size-medium wp-image-292717 aligncenter" src="https://www.jota.info/wp-content/uploads/2021/01/jota-pro-poder.jpg" alt="" width="688" height="688" /></a>Tais aspectos potencializam-se quando os julgamentos algorítmicos são considerados a palavra única ou final, até porque podem refletir seja os vieses dos programadores, seja os preconceitos já existentes na sociedade, seja os interesses de poderosos agentes econômicos ou mesmo do Estado, os quais podem ser diametralmente opostos aos dos cidadãos.
Por essa razão, as reconhecidas falhas dos julgamentos humanos não podem ser pretexto ou justificativa para adotar, em substituição, julgamentos algorítmicos que são igualmente falhos e limitados, com o agravante de serem obscuros e em muitos casos incompreensíveis, diante das dificuldades técnicas e jurídicas para que se alcance a necessária transparência e accountability.
Consequentemente, há que se buscar caminhos para evitar o que Yuval Harari<a href="#_ftn1" name="_ftnref1">[1]</a> chama de dataísmo, ou seja, aquela situação em que sistemas de inteligência artificial – que nos conhecem mais do que nós mesmos – passam a decidir nosso futuro, sem qualquer transparência e possibilidade de contestação efetiva, subjugando-nos por completo.
Não se trata aqui de visão apocalíptica ou que ignore os benefícios da tecnologia, mas de simples advertência de que, como instrumento que é, a tecnologia tanto pode ser utilizada para o mal como para o bem. Logo, não é possível que a escolha da tecnologia fique restrita aos interesses de poderosos agentes econômicos ou do Estado, sem nenhum debate público mais abrangente.
Já não é de hoje que se conhecem os alertas para a utilização de inteligência artificial, tal como os apresentados na famosa carta aberta do Future of Life Institute – Open Letter. Research Priorities for Robust and Beneficial Artificial Intelligence<a href="#_ftn2" name="_ftnref2">[2]</a>. É por essa razão que existem hoje relevantes iniciativas de regulação da inteligência artificial, tal como a que existe na União Europeia<a href="#_ftn3" name="_ftnref3">[3]</a>.
O que precisa ser destacado, dentre as inúmeras discussões relacionadas às limitações dos julgamentos algorítmicos, é que, como bem sintetizam Ben Green e Lily Hu<a href="#_ftn4" name="_ftnref4">[4]</a>, as preocupações com vieses e justiça têm sido preteridas diante das preocupações com eficiência e acurácia.
Afinal, o machine learning tem ficado adstrito a técnicas que concebem critérios de justiça em termos de métricas estatísticas ou que confiam excessivamente em dados históricos como representações neutras e precisas do mundo, quando tal abordagem pode até entrincheirar discriminações históricas<a href="#_ftn5" name="_ftnref5">[5]</a>. Daí a precisa conclusão dos autores<a href="#_ftn6" name="_ftnref6">[6]</a>:
Although there is nothing inherently unfair about utilizing data and metrics to make decisions, there is a danger that relying only on these types of information will distort the values inherent to the task at hand by granting undue weight to considerations and values that are quantified at the expense of those that are not. This concern is especially salient when considering the application of machine learning in social decision-making processes, since many aspects of society have been measured only in limited ways and in many cases resist quantification.”
Outro dos trabalhos de Ben Green, desta vez em coautoria com Salome Vilhoen<a href="#_ftn7" name="_ftnref7">[7]</a>, propõe o que denomina de realismo algorítmico, defendendo a superação da abordagem excessivamente formalista em prol da constatação de que intervenções algorítmicas são inerentemente políticas.
Logo, é fundamental indagar sobre os tipos de subjetividade subjacentes às decisões algorítmicas, tais como as escolhas que dizem respeito às questões de pesquisa, à seleção das metodologias, às métricas de avaliação e aos critérios de interpretação dos resultados.
Segundo Green e Vilhoen<a href="#_ftn8" name="_ftnref8">[8]</a>, além da dimensão política, a porosidade e a análise de contexto seriam fundamentais para assegurar maior qualidade dos julgamentos algorítmicos e evitar distorções. Consequentemente, há que se romper com a ideia de que apenas acurácia importa, assim como se evitar soluções prontas e de caráter universal que desconsideram contextos sociais relevantes a elas inerentes:
“This political orientation enables computer scientists to reflect on the normative commitments and outcomes of algorithmic interventions. Rather than creating paralysis, with computer scientists unsure how to be neutral and objective when doing so is impossible, algorithmic realism provides a language to reason about political commitments and impacts as part of what it means to “do” algorithms.”
“Recognizing algorithmic formalism’s limited ability to characterize sociotechnical systems, algorithmic realism is porous, expanding the range of considerations deemed relevant to algorithm design and evaluation. Factors that were previously beyond the internalist algorithmic frame become central to what it means to have knowledge or make claims about algorithms. A porous approach to algorithms means that formalist considerations (e.g., accuracy, efficiency, and fairness) are recognized as necessary but no longer sufficient to define the efficacy or quality of an algorithm—additional modes of analysis are essential.”
“In contrast to the universalism of algorithmic formalism, algorithmic realism is grounded in contextualism, emphasizing the need to understand social contexts in order to determine the validity of any algorithmic intervention. Rather than question how a situation can be modeled and acted upon algorithmically, a contextual approach questions to what extent a situation can be modeled and should be acted upon algorithmically.”
Como se pode observar, tais conclusões dialogam com a opinião de muitos autores mencionados na presente série, realçando os diversos desafios a serem enfrentados no que toca à regulação de algoritmos e de inteligência artificial, bem como o fato de que se precisa agir imediatamente.
Como bem explica Stuart Russell<a href="#_ftn9" name="_ftnref9">[9]</a>, enquanto cientistas mantêm sua fé na realização das utopias do futuro, muitos experts de inteligência artificial e grandes corporações minimizam os riscos da tecnologia com medo de que seja ainda mais regulada. Para o autor, entretanto, a questão de como controlar a inteligência artificial e mitigar suas mais desastrosas consequências é uma das mais importantes questões da humanidade na atualidade.
Por fim, vale a pena destacar o recentíssimo texto de Acemoglu<a href="#_ftn10" name="_ftnref10">[10]</a>, que sintetiza muito bem várias das preocupações apontadas ao longo da presente série, sistematizando os riscos relacionados à utilização crescente de inteligência artificial em processos decisórios.
No que toca especificamente à questão da discriminação, Acemoglu<a href="#_ftn11" name="_ftnref11">[11]</a> reconhece também que este é um dos maiores riscos da utilização da inteligência artificial, já que esta pode levar à promoção de persistentes vieses e discriminações, com a agravante de “cimentar” esses vieses de uma forma ainda mais profunda na sociedade.
Com efeito, a partir do momento em que a sociedade começa a acreditar nos algoritmos, as escolhas discriminatórias destes começam a ser aceitas como mais justificáveis do que quando são feitas por indivíduos.
Aspecto fundamental do texto de Acemoglu<a href="#_ftn12" name="_ftnref12">[12]</a>, que dialoga perfeitamente com as preocupações da presente série, é que esses custos e riscos são evitáveis, desde que rejeite a premissa ingênua de que os “livres mercados” resolverão espontaneamente o problema e se reconheça a necessidade da regulação:
Indeed, my point throughout is that AI’s costs are avoidable, and if they were to transpire, this would be because of the choices made and the direction of research pursued by AI researchers and tech companies. They would also be due to the lack of appropriate regulation by government agencies and societal pressure to discourage nefarious uses of the technology and to redirect research away from them. This last point is important: again like most other technologies, but only more so, the direction of research of AI will have major distributional consequences and far-ranging implications for power, politics, and social status in society, and it would be naïve to expect that unregulated markets would make the right trade-offs about these outcomes ó especially since, at the moment the major decisions about the future of AI are being made by a very small group of top executives and engineers in a handful of companies. Put differently, AI’s harms are harms of unregulated AI.”
Daí Acemoglu<a href="#_ftn13" name="_ftnref13">[13]</a> colocar o princípio da precaução no centro dos debates relacionados à inteligência artificial:
These considerations then suggest a “precautionary regulatory principle” - ex ante regulation slowing down the use of AI technologies, especially in domains where redressing the costs of AI become politically and socially more difficult after large-scale implementation. AI technologies impacting political discourse and democratic politics may be prime candidates for the application of such a precautionary regulatory principle.”
As advertências de Acemoglu são perfeitas para encerrar a presente série. Já avançamos demais na utilização da inteligência artificial sem os devidos cuidados. Precisamos levar o princípio da precaução a sério. Está mais do que na hora de consideramos as incertezas e os riscos que não podem assumidos como limites naturais aos julgamentos algorítmicos.
Mesmo em relação aos riscos que podem e devem ser assumidos, é urgente que possamos empreender esforços consistentes para, além de impossibilitar a indevida discriminação algorítmica, assegurar que as decisões que impactam na vida das pessoas conciliem acurácia com justiça, transparência, inteligibilidade e adequado gerenciamento de riscos.
<div id="sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6" role="main"></div>
<script type="text/javascript" src="https://d335luupugsy2.cloudfront.net/js/rdstation-forms/stable/rdstation-forms.min.js"></script> 
<script type="text/javascript"> new RDStationForms('sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6', 'UA-53687336-1').createForm();</script>
<hr />
<a href="#_ftnref1" name="_ftn1">[1]</a> HARARI, Yuval Noah. Homo Deus. Uma breve história do amanhã. São Paulo: Companhia das Letras, 2016.
<a href="#_ftnref2" name="_ftn2">[2]</a> Disponível em: &lt;https://futureoflife.org/ai-open-letter/&gt;.
<a href="#_ftnref3" name="_ftn3">[3]</a> Disponível em: &lt;https://www.politico.eu/wp-content/uploads/2021/04/14/AI-Draft.pdf&gt;.
<a href="#_ftnref4" name="_ftn4">[4]</a> GREEN, Ben; HU, Lily. The Myth in the Methodology: Towards a Recontextualization of Fairness in Machine Learning. Equal contribution John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA, U.S.A. Presented at the Machine Learning: The Debates workshop at the 35th International Conference on Machine Learning, Stockholm, Sweden. Disponível em: &lt;https://econcs.seas.harvard.edu/files/econcs/files/green_icml18.pdf&gt;.
<a href="#_ftnref5" name="_ftn5">[5]</a> Op.cit.
<a href="#_ftnref6" name="_ftn6">[6]</a> Op.cit.
<a href="#_ftnref7" name="_ftn7">[7]</a> GREEN, Ben; VILJOEN, Salomé. Algorithmic Realism: Expanding the Boundaries of Algorithmic Thought. In Conference on Fairness, Accountability, and Transparency (FAT* ’20), January 27–30, 2020, Barcelona, Spain. ACM, New York, NY, USA. https://doi.org/10.1145/3351095.3372840
<a href="#_ftnref8" name="_ftn8">[8]</a> Op.cit.
<a href="#_ftnref9" name="_ftn9">[9]</a> RUSSELL, Stuart. Human Compatible. Artificial Intelligence and the Problem of Control. New York: Viking, 2019.
<a href="#_ftnref10" name="_ftn10">[10]</a> ACEMOGLU, Daron. Harms of AI. Working Paper 29247. Disponível em: &lt;http://www.nber.org/papers/w29247&gt;.
<a href="#_ftnref11" name="_ftn11">[11]</a> Op.cit., pp. 44-45.
<a href="#_ftnref12" name="_ftn12">[12]</a> Op.cit., p. 4.
<a href="#_ftnref13" name="_ftn13">[13]</a> Op.cit., p. 49.

rob-hampson-cqFKhqv6Ong-unsplash

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Existem riscos suficientes a exigir maior cuidado e transparência na adoção de julgamentos algorítmicos

Discriminação algorítmica: algumas conclusões

Existem riscos suficientes a exigir maior cuidado e transparência na adoção de julgamentos algorítmicos