Opinião e Análise

Ana Frazão

Ainda que todos os requisitos éticos e legais para os julgamentos algorítmicos sejam preenchidos, tal como se abordou no último artigo, é importante reconhecer que tais análises serão sempre reducionistas, em razão das próprias limitações da matemática e do formalismo dos modelos respectivos. Aliás, para muitos, a simplificação é precisamente o preço se a pagar pela maior precisão e acurácia dos julgamentos algorítmicos.
Como já foi bastante explorado ao longo da <a href="https://www.jota.info/tudo-sobre/discriminacao-algoritmica">presente série</a>, traduzir características qualitativas humanas em números ou padrões quantitativos é processo que envolve considerável grau de simplificação. Aliás, já tive oportunidade de mencionar as limitações dos métodos quantitativos na série sobre Análises de Impacto Regulatório (AIRs)<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn1" name="_ftnref1">[1]</a>, que apresentou diversas objeções que igualmente se estendem aos julgamentos algorítmicos.
<a href="https://www.jota.info/produtos/poder?utm_source=Banner%20site&amp;utm_medium=Artigos&amp;utm_campaign=CTA_Poder_materias"><img class="size-medium wp-image-292717 aligncenter" src="https://www.jota.info/wp-content/uploads/2021/01/jota-pro-poder.jpg" alt="" width="688" height="688" /></a>
Como nem tudo que conta é contável e nem tudo que é contável conta, julgamentos exclusivamente quantitativos, sem as devidas complementações por outras formas de julgamento, podem ser extremamente perigosos quando utilizados para assuntos humanos. Com efeito, há grave tendência de excluir aspectos importantes porque não são quantificáveis ou são de difícil quantificação ou de se adotar critérios arbitrários para a referida quantificação.
Em um recente e interessantíssimo livro, John Kay e Mervin King<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn2" name="_ftnref2">[2]</a> aproveitam a oportunidade de tratar o tema mais amplo a que se dedicam – as limitações do raciocínio probabilístico diante de um mundo repleto de incertezas radicais (os unknows unknows) – para criticarem a premissa de que todas as decisões podem ser expressas como problemas matemáticos e, portanto, são suscetíveis de serem resolvidas por computadores.
Sob essa perspectiva, além de ressaltarem a importância da criatividade e da imaginação para os processos decisórios, aspectos que não conseguem ser incorporados a sistemas decisórios algorítmicos, os autores advertem igualmente para a falácia de se pretender ter controle perfeito e previsibilidade em relação a fatos humanos.
Outro ponto destacado pelos autores é que também não é verdadeira a crença de que o raciocínio matemático é sempre mais rigoroso e preciso do que o raciocínio verbal. Afinal, diante dos desafios para se traduzir a complexidade do mundo real em modelos matemáticos, muitas vezes são utilizados atalhos que comprometem a robustez dos modelos. São exemplos os modelos matemáticos cujos termos são definidos pelos seus criadores, de forma que a lógica do argumento decorre tautologicamente de tais definições<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn3" name="_ftnref3">[3]</a>, e modelos matemáticos que se baseiam em uma verdadeira cornucópia de números, que foram simplesmente inventados para suprir as lacunas de conhecimento<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn4" name="_ftnref4">[4]</a>.
A grande questão é que a complexidade do mundo social e humano não cabe, em toda a sua extensão, em modelos matemáticos. Tal ponto vem sendo destacado igualmente pela economia da complexidade, já que um dos seus principais expoentes, Brian Arthur<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn5" name="_ftnref5">[5]</a>, é muito claro ao afirmar que o mundo real não é um sistema perfeitamente ordenado e redutível a equações matemáticas. Em sentido semelhante, Kay e King<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn6" name="_ftnref6">[6]</a> advertem que o raciocínio matemático é aplicável apenas aos “mundos pequenos” mas não ao “mundo grande” no qual vivemos.
Isso nos ajudar a entender a observação de Ben Green e Salome Viljoen<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn7" name="_ftnref7">[7]</a> de que o perigo não está formalismo dos sistemas algorítmicos em si, mas sim no fracasso em se reconhecer os seus limites e na aplicação acrítica de tais métodos formais. Com efeito, se, em contextos sociais complexos, o conhecimento formal exige uma visão estreita da realidade, a ordem formal codificada na engenharia social inevitavelmente deixará de fora elementos essenciais. Assim, é fundamental entender a decisão sobre o que ou quem será analisado ou deixado de fora da análise, pois elas revelam opções políticas ou valorativas sobre o que é ou não importante e sobre como mensurar tal importância.
Também na série sobre Análises de Impacto Regulatório (AIRs)<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn8" name="_ftnref8">[8]</a>, tive a oportunidade de mostrar que dados não existem por si só. São identificados, selecionados e escolhidos para análise, interpretados e avaliados de acordo com uma série de premissas, dentre as quais as características, os valores e os framings daqueles que estão tomando tais decisões. Isso é particularmente importante na elaboração dos modelos algorítmicos, em que é fundamental saber que fatos são importantes e como serão avaliados.
Não se pode ignorar, portanto, que a conversão do mundo real em fórmulas matemáticas é influenciada pelas visões de mundo, vieses e valores daqueles que estão fazendo a quantificação. No caso dos sistemas algorítmicos, isso cabe aos programadores que, de forma consciente ou inconsciente, acabam incorporando suas subjetividades na programação ou no treinamento dos sistemas algorítmicos, de forma que nem mesmo a pretensão de objetividade e neutralidade pode subsistir.
Na verdade, o grau de subjetividade de tais modelos pode ser de tal monta que, ao tratar dos modelos econômicos fortemente matematizados e quantitativos, Robert Skidelski<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn9" name="_ftnref9">[9]</a> sugere que eles podem revelar muito mais retórica do que propriamente ciência. Para Ben Green e Salome Viljoen<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn10" name="_ftnref10">[10]</a>, o problema é ainda mais amplo, pois as ordens formais dos modelos algorítmicos são normalmente decisões que podem decorrer de lutas sociais e políticas com consequências brutais sobre os que estão sendo julgados e classificados.
<blockquote class="jota-article__eye">Essas constatações mostram que, sob o véu da aparente neutralidade e objetividade, os modelos matemáticos envolvem escolhas valorativas e políticas que precisam ser enfrentadas.</blockquote>
Outro problema é lidar com a abordagem universalista, a fim de se verificar que algoritmos não são necessariamente aplicáveis a todas as situações e problemas, como igualmente advertem Ben Green e Salome Viljoen<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn11" name="_ftnref11">[11]</a>:
“This universalist orientation leads to interventions developed under an assumption that algorithms can provide a solution in every situation—an attitude that has been described in recent years as “technological solutionism”, “tech goggles”, and “tech- nochauvinism”. Algorithmic interventions have been proposed as a solution for problems ranging from police discrimination to misinformation to depression detection. Numerous initiatives strive to develop data science and artificial intelligence for “social good” across a wide range of domains, typically taking for granted with scant justification that algorithms are an effective tool for addressing social problems.”
Por fim, ainda é preciso refletir sobre em que medida a busca pela acurácia que justifica os julgamentos algorítmicos deve se sobrepor às preocupações quanto à justiça e à correção das decisões, como igualmente advertem Ben Green e Salome Viljoen<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftn12" name="_ftnref12">[12]</a>:
“Algorithmic interventions pursued under universalism impose a narrow algorithmic frame that structures how problems are conceived and limits the range of “solutions” deemed viable. Given that “[t]he way in which [a] problem is conceived decides what specific suggestions are entertained and which are dismissed”, applying algorithmic thinking to social problems imposes algorithmic logics—namely, accuracy and efficiency—onto these domains at the expense of other values.”
Todas essas razões nos levam a algumas conclusões preliminares:
(i) o universalismo, a estrutura matemática e o formalismo dos modelos algorítmicos são aspectos que podem torná-los incompatíveis para vários tipos de julgamentos sobre as pessoas;
(ii) mesmo quando é possível adotar posições mais universalistas e formalistas sobre determinados assuntos humanos, é fundamental encontrar meios e alternativas para uma maior contextualização do problema e para aproximar as conclusões do modelo do mundo real;
(iii) o reducionismo dos modelos algorítmicos exige, quando se trata de assuntos e diagnósticos humanos, a necessária complementação por outras análises e métodos que possam suprir suas falhas e restrições. Consequentemente, em se tratando de assuntos humanos, é indesejável e até temerário que julgamentos algorítmicos sejam a única ou a última palavra, sem qualquer tipo de controle ou supervisão humana ativa;
(iv) é necessário reconhecer que o desenho e o treinamento de sistemas algorítmicos envolvem a adoção de importantes opções valorativas e políticas, tais como as escolhas dos fatos a serem considerados para o julgamento e como tais fatos influenciarão no julgamento. Dessa maneira, é fundamental analisar o que é quantificado e como, pois esta operação não é exclusivamente técnica, mas igualmente valorativa. Se o desenho de sistemas algorítmicos é baseado em nítida ação política e valorativa, esta precisa ser assumida e submetida aos devidos controles e responsabilidades;
(v) é necessário considerar que programadores podem incluir nos sistemas algorítmicos, conscientemente ou não, diversas escolhas valorativas e políticas que decorrem de seus vieses, visões de mundo e framings. Até por isso, é imprescindível a adoção de salvaguardas para que tais escolhas sejam identificadas e submetidas ao devido escrutínio;
(vi) é necessário reconhecer que acurácia não é o único valor a ser buscado em julgamentos sobre seres humanos, razão pela qual preocupações com justiça e o próprio acerto da decisão são igualmente indispensáveis. Logo, deve haver meios para a introdução de tais vetores nos julgamentos algorítmicos ou pelo menos submetê-los à devida complementação por meio de outras análises que possam considerar as opções éticas e valorativas que foram embutidas nos sistemas algorítmicos ou mesmo avançar nas discussões valorativas que, por qualquer que seja a causa, não tenham sido endereçadas pelos julgamentos algorítmicos.
De forma geral, é fundamental assegurar que as discussões éticas e jurídicas sejam enfrentadas desde a programação até a execução dos sistemas algorítmicos, inclusive para o fim de confrontá-las ou complementá-las com necessárias análises qualitativas que possam sair dos mundos pequenos dos algoritmos, para nos utilizarmos da expressão de Kay e King, e abranger o grande e complexo mundo da vida real.
Sem esses cuidados, os modelos algorítmicos, longe de prevenirem discriminações inaceitáveis, acabam se tornando instrumentos para propagá-las e reforçá-las. Sob esta perspectiva, a acurácia que se busca por meio dos julgamentos algorítmicos pode ser até um fator de propagação de padrões discriminatórios.
E nem se afirme que os raciocínios estatísticos ou probabilísticos seriam capazes de resolver os problemas apontados, como se examinará melhor no próximo artigo da série.
<div id="sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6" role="main"></div>
<script type="text/javascript" src="https://d335luupugsy2.cloudfront.net/js/rdstation-forms/stable/rdstation-forms.min.js"></script> 
<script type="text/javascript"> new RDStationForms('sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6', 'UA-53687336-1').createForm();</script>
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref1" name="_ftn1">[1]</a> FRAZÃO, Ana. Jota. Perspectivas das Análises de Impacto Regulatório (AIRs) no Brasil.
. https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/perspectivas-das-analises-de-impacto-regulatorio-airs-no-brasil-17022021
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref2" name="_ftn2">[2]</a> KAY, John; KING, Mervin. Radical Uncertainty. Decision-making beyond the numbers. New York: W.W.Norton &amp; Company, 2020, p. 47.
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref3" name="_ftn3">[3]</a> Op.cit., pp. 93-96.
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref4" name="_ftn4">[4]</a> Op.cit., p. 404.
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref5" name="_ftn5">[5]</a> ARTHUR, Brian. Complexity and the Economy. New York: Oxford University Press, 2015.
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref6" name="_ftn6">[6]</a> Op.cit., pp. 175-176.
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref7" name="_ftn7">[7]</a> Ben Green, Salomé Viljoen Algorithmic Realism: 
Expanding the Boundaries of Algorithmic Thought. https://www.benzevgreen.com/wp-content/uploads/2020/01/20-fat-realism.pdf
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref8" name="_ftn8">[8]</a> Op.cit.
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref9" name="_ftn9">[9]</a> SKIDELSKI, Robert. What’s wrong with economics? A primer for the perplexed. New Haven: Yale University Press, 2021, p. 75.
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref10" name="_ftn10">[10]</a> Op.cit.
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref11" name="_ftn11">[11]</a> Op.cit.
<a href="applewebdata://89580799-12BB-4583-8394-5BC51968FF41#_ftnref12" name="_ftn12">[12]</a> Op.cit.

markus-spiske-uPXs5Vx5bIg-unsplash

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

A importância da inclusão das discussões valorativas na programação e no treinamento dos sistemas

Discriminação algorítmica: como lidar com reducionismo e formalismo dos sistemas?

A importância da inclusão das discussões valorativas na programação e no treinamento dos sistemas