Opinião e Análise

Ana Frazão

Como os <a href="https://www.jota.info/tudo-sobre/discriminacao-algoritmica">artigos anteriores</a> da série procuraram mostrar, os sistemas algorítmicos têm sido programados e executados sem os adequados cuidados para que os seus julgamentos sejam compatíveis com parâmetros éticos e jurídicos fundamentais. Daí ser não ser nenhuma surpresa o número de resultados disfuncionais e discriminatórios que vêm sendo identificados na sua recente utilização.
<a href="https://www.jota.info/produtos/poder?utm_source=Banner%20site&amp;utm_medium=Artigos&amp;utm_campaign=CTA_Poder_materias"><img class="size-medium wp-image-292717 aligncenter" src="https://www.jota.info/wp-content/uploads/2021/01/jota-pro-poder.jpg" alt="" width="688" height="688" /></a>
Diante desse contexto, inúmeras formas de discriminação se tornam possíveis, desde aquelas baseadas em dados objetivos, como a geolocalização<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftn1" name="_ftnref1">[1]</a>, até aquelas baseadas em dados subjetivos, sensíveis ou inferidos a partir de dados sensíveis, bem como dos perfis formados a partir deles.
Um dos riscos desse processo é o da discriminação estatística, em que o indivíduo é julgado a partir das características do grupo a que pertence, sem qualquer recurso para que possa haver alguma individualização. No famoso livro Weapons of math destruction. How big data increases inequality and threatens democracy<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftn2" name="_ftnref2">[2]</a>, que já se tornou um clássico sobre o tema, Cathy O’Neil alerta para esse risco:
“Do you see the paradox? An algorithm processes a slew of statistics and comes up with a probability that a certain person might be a bad hire, a risky borrower, a terrorist, or a miserable teacher. That probability is distilled into a score, which can turn someone’s life upside down. And yet when the person fights back, “suggestive” countervailing evidence simply won’t cut it.”
É interessante observar que os problemas da discriminação estatística ocorrem mesmo quando os dados estão corretos e também as estatísticas. Aliás, é comum se dizer que quanto mais arraigado for um preconceito na vida real, mais os algoritmos tenderão a vê-lo como um padrão e mais tenderão a replicá-lo se não houver nenhum cuidado para conter esse processo.
Ademais, os problemas da discriminação estatística se tornarão ainda mais graves quando os dados não são de qualidade ou quando há falhas na própria utilização da metodologia estatística ou na interpretação dos seus resultados, como acontece nas hipóteses em que se confunde correlação com causalidade.
No que se refere à qualidade dos dados utilizados pelos sistemas algorítmicos, nem sempre há os incentivos adequados para assegurá-la, o que é particularmente preocupante em relação a dados que podem mudar rapidamente, como as preferências ou hábitos dos indivíduos. Se não houver mecanismos para a desconsideração de dados ultrapassados e para a devida utilização apenas de dados atuais e fidedignos, os primeiros podem funcionar como poderosos ruídos para manter ou incluir indivíduos em determinados grupos por conta de um critério que não faz mais sentido no presente.
O que é irônico de todo esse processo de julgamentos e classificações de indivíduos é que, da mesma forma que pode ser ruim ser julgado apenas pelo critério estatístico, ou seja, pelas características gerais do grupo a que se pertence, pode ser ainda pior ser julgado por características personalíssimas que, devidamente identificadas pelos sistemas algorítmicos, podem permitir que estes conheçam a pessoa melhor do que seus familiares ou ela mesma.
Esse tipo de situação pode dar margem a discriminações com alto grau de individualização e sofisticação, inclusive por meio da exploração indevida das fragilidades e vulnerabilidades das pessoas. Daí por que não há dúvidas de que os algoritmos preocupam tanto quando erram como também como acertam, pois tanto os erros quanto os acertos possibilitarão diversas formas de discriminações inaceitáveis.
Acresce que, além dos problemas já apontados, a programação também pode ser responsável pela manutenção de diversos preconceitos e equívocos. Afinal, apesar de terem sido criados em prol da neutralidade, da justiça e da superação das limitações de racionalidade dos seres humanos, os algoritmos podem incorporar escolhas, vieses e preconceitos dos seus programadores, ainda que de forma não intencional.
A opacidade e falta de accountability dos sistemas algorítmicos ainda permite que eles, segundo Cathy O’Neil<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftn3" name="_ftnref3">[3]</a> possam funcionar como verdadeiros “deuses”, no sentido de que não estão sujeitos a nenhum tipo de questionamento ou impugnação, quaisquer que sejam seus resultados:
“The math-powered applications powering the data economy were based on choices made by fallible human beings. Some of these choices were no doubt with the best intentions. Nevertheless, many of these models encoded human prejudice, misunderstanding, and bias into the software systems that increasingly managed our lives. Like gods, these mathematical models were opaque, their workings invisible to all but the highest priest in their domain: mathematicians and computer scientists. Their veredicts, even when wrong or harmful, were beyond dispute or appeal. And they tended to punish the poor and the oppressed in our society, while making the rich richer.”<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftn4" name="_ftnref4">[4]</a>
<blockquote class="jota-article__eye">A parte final da citação da autora ainda chama a atenção para um grave problema: os efeitos ainda mais nefastos dos resultados algorítmicos para os pobres.</blockquote>
Tal receio é confirmado por Virginia Eubanks<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftn5" name="_ftnref5">[5]</a>, em seu interessante livro Automathing inequality. How High-Tech Tools Profile, Police, and Punish the Poor, oportunidade que a autora mostra como tais falhas de programação têm prejudicado exatamente os mais pobres e vulneráveis da sociedade:
“Through these new systems have the most destructive and deadly effects in low-income communities of color, they impact poor and working-class people across the color line. While welfare recipients, the unhoused, and poor families face the heaviest burdens of high-tech scrutiny, they aren’t the only ones affected by the growth of automated decision-making. The widespread use of these systems impacts the quality of democracy for us all.
Automated decision-making shatters the social safety net, criminalizes the poor, intensifies discrimination, and compromises our deepest national values.
(…)
America’s poor and working-class people have long been subject to invasive surveillance, midnight raids, and punitive public policy that increase the stigma and hardship of poverty. (…) Today, we have forged what I call a digital poorhouse from databases, algorithms, and risk models.”
Porém, não são somente os pobres que estão em risco acentuado. Há hoje muitas evidências de como a utilização de algoritmos tem reforçado as discriminações raciais e étnicas. Sobre o tema, vale pesquisar o site da Algorithmic Justice League<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftn6" name="_ftnref6">[6]</a>, uma das iniciativas de Joy Bouloamwini, que é a protagonista do igualmente recomendado documentário Coded Bias. Aliás, o filme é bastante interessante não apenas por mostrar a discriminação racial, como também por alertar para o fato de que muitas tecnologias discriminatórias têm sido são lançadas no mercado e utilizadas sem qualquer cuidado, transformando os seres humanos em verdadeiras cobaias, mesmo quando seus resultados preditivos são próximos da aleatoriedade e, portanto, muito distantes do objetivo de acurácia que deveria nortear os julgamentos algorítmicos.
No Brasil, vale acompanhar a obra e o site do pesquisador Tarcizio Silva, incluindo a interessante linha do tempo da discriminação algorítmica que ele sistematizou<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftn7" name="_ftnref7">[7]</a>. Dentre os casos mencionados estão os de que “90,5% dos presos por reconhecimento facial no Brasil são negros”, “Carros autônomos têm mais chances de atropelar pessoas negras” e “Google acha que ferramenta em mãos uma pessoa negra é uma arma”.
Outro tema que também vêm recebendo a atenção da literatura é o da discriminação de gênero, assunto em relação ao qual a obra de Maria Cristine Branco Lindoso<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftn8" name="_ftnref8">[8]</a>, Discriminação de gênero no tratamento automatizado de dados pessoais. Como a automatização incorpora vieses de gênero e perpetua a discriminação das mulheres, resultante de sua dissertação de Mestrado que eu tive a honra de orientar, apresenta um excelente mapeamento.
Obviamente que não é intenção do presente artigo fazer uma revisão de literatura a respeito do assunto ou destacar todas as formas de discriminação algorítmica, mas tão somente realçar o quanto elas são prováveis e o quanto já fazem parte da realidade, bem como a circunstância de que, apesar de o risco de discriminação abranger todos os cidadãos, ele é especialmente acentuado para alguns grupos, como pobres, negros e mulheres, dentre outros.
Tais resultados, repete-se, independem da intenção dos programadores pois, como explica Sara Wachter-Boettecher, autora do livro Technically Wrong. Sexist apps, biased algorithms, and other threats of toxic tech<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftn9" name="_ftnref9">[9]</a>, cientistas de dados não estão considerando os danos que os seus sistemas podem trazer para as pessoas simplesmente porque nunca ocorreu a eles que isso seria algo sobre o qual deveriam pensar. Além disso, a autora também destaca o quanto a tech culture, ao refletir a chamada Silicon Valley meritocracy, acaba sendo baseada nos valores dos homens brancos<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftn10" name="_ftnref10">[10]</a>.
Portanto, falar de discriminação algorítmica não é tratar de um receio ou de uma mera possibilidade, mas sim abordar problema atual e real, cujos riscos e danos não podem ser mesmo estimados. É com base nesse diagnóstico, traçado ao longo da presente série até aqui, que se passará, a partir do próximo artigo, a explorar algumas das alternativas para a solução do problema.
<div id="sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6" role="main"></div>
<script type="text/javascript" src="https://d335luupugsy2.cloudfront.net/js/rdstation-forms/stable/rdstation-forms.min.js"></script> 
<script type="text/javascript"> new RDStationForms('sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6', 'UA-53687336-1').createForm();</script>
<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftnref1" name="_ftn1">[1]</a> Ver FRAZÃO, Ana. Geopricing e geoblocking: as novas formas de discriminação de consumidores. Os desafios para o seu enfrentamento. Jota. <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/geopricing-e-geoblocking-as-novas-formas-de-discriminacao-de-consumidores-15082018">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/geopricing-e-geoblocking-as-novas-formas-de-discriminacao-de-consumidores-15082018</a>.
<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftnref2" name="_ftn2">[2]</a> O’NEIL, Cathy. Weapons of math destruction. How big data increases inequality and threatens democracy. New York: Broadway Books, 2017, p. 10.
<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftnref3" name="_ftn3">[3]</a> Op.cit., p. 3.
<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftnref4" name="_ftn4">[4]</a> Op.cit., p. 3.
<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftnref5" name="_ftn5">[5]</a> EUBANKS, Virginia. Automating Inequality. How High-Tech Tools Profile, Police, and Punish the Poor. New York: St. Martin`s, 2015.
<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftnref6" name="_ftn6">[6]</a> https://www.ajl.org
<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftnref7" name="_ftn7">[7]</a> https://tarciziosilva.com.br/blog/destaques/posts/racismo-algoritmico-linha-do-tempo/
<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftnref8" name="_ftn8">[8]</a> LINDOSO, Maria Cristine Branco. Discriminação de gênero no tratamento automatizado de dados pessoais. Como a automatização incorpora vieses de gênero e perpetua a discriminação das mulheres. Rio de Janeiro: Processo, 2021.
<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftnref9" name="_ftn9">[9]</a> WACHTER-BOETTCHER, Sara. Technically Wrong. Sexist apps, biased algorithms, and other threats of toxic tech. New York: W.W. Norton &amp; Company, 2017, p. 145.
<a href="applewebdata://70454CF6-3A84-4170-9510-7F91BB434758#_ftnref10" name="_ftn10">[10]</a> Op. cit., p. 173.

aplicativo

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Mapeando algumas das principais discriminações algorítmicas já identificadas

Discriminação algorítmica: por que algoritmos preocupam quando acertam e erram?

Mapeando algumas das principais discriminações algorítmicas já identificadas