Opinião e Análise

Ana Frazão

Como se demonstrou no último artigo da série, o processo de transferência de importantes decisões de agentes públicos e privados para algoritmos tem implicado uma silenciosa, mas profunda, terceirização das atividades públicas e privadas, com uma grande dissociação entre quem cria o sistema algorítmico – os programadores – e quem os executa – os usuários.
É por essa razão que, em interessante estudo sobre o tema, Vern Glaser<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftn1" name="_ftnref1">[1]</a> mostra que pouco se tem discutido sobre o processo de quantificação das decisões organizacionais e as importantes questões que ele suscita, tais como as relações de agência e poder, a fim de se verificar se o processo empodera humanos ou números. Outra importante discussão é de ontologia, a fim de se saber se os números apenas representam a realidade ou também a definem, antecipando o autor que adere à segunda posição, o que enfatiza ainda mais a importância dos números.
<a href="https://www.jota.info/produtos/poder?utm_source=Banner%20site&amp;utm_medium=Artigos&amp;utm_campaign=CTA_Poder_materias"><img class="size-medium wp-image-292717 aligncenter" src="https://www.jota.info/wp-content/uploads/2021/01/jota-pro-poder.jpg" alt="" width="688" height="688" /></a>
Diante da penetração crescente de sistemas algorítmicos em todas as áreas da vida humana e social, a questão do poder se torna crucial. Sem maiores cuidados, podemos caminhar para um verdadeiro determinismo tecnológico que, por sua vez, pode ser apenas uma faceta do determinismo econômico. Afinal, são as empresas de tecnologia e seus programadores que estão desenhando tais sistemas e podem estar fazendo isso em prol dos seus próprios interesses.
Sob essa perspectiva, a busca por precisão e acurácia de decisões e julgamentos não pode ser um pretexto para que organizações públicas e privadas, bem como a sociedade como um todo, possam abrir mão da liberdade e da responsabilidade que são inerentes ao processo decisório, como adverte Evgeny Morozov<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftn2" name="_ftnref2">[2]</a>:
“A regulação algorítmica, independentemente de seus benefícios imediatos, nos dará um regime político no qual todas as decisões serão tomadas pelas empresas de tecnologia e pelos burocratas estatais. Coube a um escritor de ficção científica, o polonês Stanislaw Lem, numa crítica publicada a respeito da cibernética, por assim dizer, na mesma época que The Automated State, explicitar a questão: “A sociedade não pode desistir do fardo de decidir o próprio destino, abdicando dessa liberdade em prol do regulador cibernético.”
Não obstante o problema que decorre da renúncia ou terceirização da decisão por parte de agentes públicos e privados, fenômeno que é preocupante por si só, ainda há o problema adicional de que tal renúncia pode se dar em favor de sistemas algorítmicos que não necessariamente colocam os interesses dos seres humanos em primeiro lugar.
Como bem explica Stuart Russell<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftn3" name="_ftnref3">[3]</a>, uma das maiores autoridades sobre o assunto, os riscos da utilização de sistemas algorítmicos, especialmente os baseados em técnicas de inteligência artificial, estão sendo subestimados, já que é fundamental saber quem está no controle de tais sistemas e se eles estão sendo utilizados ou não em prol do homem.
Para Russell, o paradigma atual de design é falho exatamente porque os sistemas algorítmicos estão sendo planejados para atingir objetivos predeterminados. Porém, como é extremamente difícil especificar tais objetivos de maneira que o sistema se comporte como o programador deseja, surgem resultados imprevisíveis e potencialmente nefastos.
Dessa maneira, o grande problema, para Russell, é que os sistemas algorítmicos têm se estruturado indevidamente na confiança na perfeição dos seres humanos para estabelecerem objetivos. Muitas das falibilidades dos modelos decorrem de constrangimentos, percalços e limites para o cumprimento do objetivo que os designers simplesmente não previram ou não consideraram. Outro grave problema de design, ainda segundo Russell, é que tais sistemas estão sendo programados para serem “inteligentes”, mas não para terem os melhores interesses da humanidade em consideração.
Em sentido próximo, Glaser<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftn4" name="_ftnref4">[4]</a> mostra que os processos de delegação das decisões organizacionais para sistemas algorítmicos – ou a quantificação das decisões - apresentam riscos que vão além daqueles identificados pela literatura contrária a essa tendência, normalmente focada apenas nos resultados indesejáveis, apontando as simplificações e reducionismos, a falta de flexibilidade e adaptabilidade e as limitações da criatividade, dentre outros.
O ponto fundamental do problema, segundo Glaser, é o processo em si, pois, quando organizações usam algoritmos complexos, elas transferem o poder de decisão e as respectivas responsabilidades dos experts da área para os experts da matemática. Consequentemente, o processo impõe, para que seja bem sucedido, uma necessária interação entre o domínio da expertise e o domínio da matemática.
Ocorre que, como já se viu nos artigos anteriores, nem sempre ocorre tal interação ou nem sempre ela ocorre de modo adequado. Não raro os programadores constroem sistemas algorítmicos sem conhecer as peculiaridades e as intenções dos usuários e sem considerar vários dos possíveis resultados práticos.
<blockquote class="jota-article__eye">Ora, sem a devida interação entre quem programa e quem executa, programadores podem não saber exatamente quais as necessidades e objetivos da organização que se utilizará do sistema, assim como podem não antever os resultados práticos da aplicação do modelo, especialmente diante de casos excepcionais que, por fugirem da regularidade, justificariam um tratamento distinto ou a própria adaptação do sistema</blockquote>
Ademais, sem a interação com os usuários e sem a consideração dos resultados concretos do modelo, os programadores tendem a não se sentirem moralmente responsáveis pelos efeitos indesejáveis ou nocivos dos seus sistemas. Tal cenário confirma as preocupações do já citado estudo de Maurice Chiodo e Toby Clifton<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftn5" name="_ftnref5">[5]</a>, ao salientarem que os matemáticos e programadores não se sentem responsáveis pelos resultados do seu modelo, porque não estão envolvidos diretamente na aplicação do seu trabalho, assim como entendem que não precisam considerar as implicações éticas externas: “After all, we just do the maths, and so it’s ‘not our problem’.
Por essa razão, Chiodo e Clifton<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftn6" name="_ftnref6">[6]</a> defendem que a utilização de sistemas algorítmicos nos processos decisórios deve vir acompanhada da devida reflexão, por parte dos matemáticos e programadores, sobre as repercussões éticas e sobre os resultados concretos dos seus modelos. Daí a crescente preocupação com a chamada “ética da matemática”:
“At each stage of separation from mathematical work some understanding of it is lost. It is difficult for a manager to understand all of the mathematical work we do and its limitations when applied and used. It is the nature of management that managers will only have partial knowledge of the work being done. There would be no point in a manager reproducing the work of all of the people under them, and mathematics is such that if you don’t ‘do it for yourself’ then there is a chance you may not fully understand it. Given this fact, there is always an onus on the individual mathematician to consider the ethical implications of what is being done.
(…)
Awareness that mathematicians need to consider extrinsic ethical issues is building in the community. In 2018 the head of mathematics at Oxford, Professor Michael Giles, commented at a panel discussion event: “Cambridge Analytica is interesting from one point of view in that, if you’d asked me 20 years ago whether mathematicians at the PhD level needed to be exposed to ideas of ethics, I would have said ‘Clearly, that is irrelevant to mathematicians’. Now I really think that this is something we have to think about. In the same way that engineers have courses looking at ‘What it means to be a professional engineer’, and ‘Ethics, and your responsibilities as an engineer’, I think that is something that we have to think about as mathematicians now.” Moreover, arxiv.org is currently revising the description of their mathematics tag History and Overview to include “Ethics in Mathematics” as a sub-category.”
O que se observa das discussões postas é que o próprio ecossistema de criação de modelos algorítmicos tem se mostrado bastante falho, pois tais sistemas estão sendo planejados sem o devido cuidado, sem as necessárias preocupações éticas e jurídicas por parte de programadores e empresas de tecnologia e sem a devida interação com os usuários e os resultados concretos.
Em tal contexto, é de se esperar que sejam altos os riscos de decisões disfuncionais, injustas e discriminatórias, como se aprofundará no próximo artigo da série.
<div id="sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6" role="main"></div>
<script type="text/javascript" src="https://d335luupugsy2.cloudfront.net/js/rdstation-forms/stable/rdstation-forms.min.js"></script> 
<script type="text/javascript"> new RDStationForms('sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6', 'UA-53687336-1').createForm();</script>
<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftnref1" name="_ftn1">[1]</a> GLASER, Vern. Enchanted algorithms. The Quantification of Organizational Decision-Making.https://www.proquest.com/openview/7273ffb029f687ca90067eed5ffb9580/1.pdf?pq-origsite=gscholar&amp;cbl=18750
<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftnref2" name="_ftn2">[2]</a> MOROZOV, Evgeny. Big Tech. A ascensão dos dados e a morte da política. Tradução de Cláudio Marcondes. São Paulo: Ubu Editora, 2018.
<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftnref3" name="_ftn3">[3]</a> RUSSELL, Stuart. Human Compatible. Artificial intelligence and the problem of control. Penguin, 2019.
<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftnref4" name="_ftn4">[4]</a> Enchanted algorithms. The Quantification of Organizational Decision-Making. Op.cit.
<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftnref5" name="_ftn5">[5]</a> CHIODO, Maurice; CLIFTON, Toby. European Mathematical Society. Newsletter No. 114, December 2019. https://www.ems-ph.org/journals/show_abstract.php?issn=1027-488X&amp;vol=12&amp;iss=114&amp;rank=2
<a href="applewebdata://967A96FA-2C5C-4C9D-BA80-85788438ADFC#_ftnref6" name="_ftn6">[6]</a> Op.cit.

Notebook escritório

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

A necessidade da definição de parâmetros éticos e jurídicos para o design de sistemas algorítmicos

Discriminação algorítmica: a responsabilidade dos programadores e das empresas

A necessidade da definição de parâmetros éticos e jurídicos para o design de sistemas algorítmicos