Opinião e Análise

Ana Frazão

O <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/discriminacao-algoritmica-3-30062021">artigo anterior</a> mostrou as relações entre o fenômeno da matematização do mundo e a tendência crescente de transferir para algoritmos decisões complexas relacionadas à vida humana e à vida social.
Independentemente das limitações das decisões algorítmicas, importante impacto do processo ora sob exame é a delegação, por parte de agentes privados e públicos, de decisões de suas competências para sistemas algorítmicos que são desenhados por outros agentes, criando uma preocupante cisão entre quem programa os algoritmos e quem os aplica.
<a href="https://www.jota.info/produtos/poder?utm_source=Banner%20site&amp;utm_medium=Artigos&amp;utm_campaign=CTA_Poder_materias"><img class="size-medium wp-image-292717 aligncenter" src="https://www.jota.info/wp-content/uploads/2021/01/jota-pro-poder.jpg" alt="" width="688" height="688" /></a>
Na verdade, não seria exagero dizer que a introdução de sistemas algorítmicos em processos decisórios pode implicar uma nova e ainda mais intensa forma de terceirização tanto das atividades privadas, como também das atividades públicas, o que nem sempre tem sido objeto da devida atenção.
Vale ressaltar que essa terceirização, longe de ser um efeito colateral ou não intencional dos julgamentos algorítmicos, parece ser um dos seus principais propósitos. Como ensina W. Teed Rockwell<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftn1" name="_ftnref1">[1]</a>, todos os elementos da decisão algorítmica, como os conhecimentos e a imaginação necessários para tal, ficam a cargo do programador, de forma que a execução do sistema seja tão simples que até um “idiota obediente” possa fazê-lo:
“An Algorithm eliminates the need for this kind of discriminating wisdom, by explaining physical processes in “dead simple steps, requiring no wise decisions or delicate judgments or intuitions” (ibid.). The person who designs or discovers an Algorithm needs detailed knowledge and creative imagination. The person who implements the algorithm needs none of these things. In fact, she (or it) need not be a person at all. Another good definition of an algorithm is a process that is “simple enough for a mechanical device—or a dutiful idiot—to perform” (ibid., 141).  (…)
Dennett admits that the main challenge of creating algorithmic formula is making them detailed enough that they can be followed by machines or idiots. This implies another question: what is going on inside the minds of people who can correctly follow instructions that are not detailed enough to be functioning algorithms?”
Ora, se a ideia de um bom sistema algorítmico é precisamente a de tornar a sua utilização simplificada e até mesmo irrefletida ou mecânica, tem-se que não apenas existe um relevante hiato entre programadores e usuários, como também – o que é ainda mais preocupante – que tal hiato passa a ser considerado como algo natural e até mesmo como sinal da eficiência do sistema algorítmico.
Obviamente que esse cenário enseja diversas reflexões, até porque as decisões, ao fim e ao cabo, serão tomadas, pelo menos do ponto de vista formal, pelos agentes privados e públicos usuários dos sistemas algorítmicos<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftn2" name="_ftnref2">[2]</a>. Todavia, o problema também nos faz refletir sobre o papel dos matemáticos e programadores.
Em interessante artigo, Maurice Chiodo e Toby Clifton<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftn3" name="_ftnref3">[3]</a> alertam para o fato de que a constante utilização da matemática em decisões cada vez mais importantes para as pessoas e para a sociedade requer as necessárias considerações sobre os desdobramentos práticos e as preocupações éticas inerentes aos modelos matemáticos.
Os autores utilizam-se de dois exemplos relativamente recentes para mostrar o descolamento entre os modelos matemáticos pensados abstratamente e os seus resultados práticos. O primeiro deles é a crise financeira de 2008, evento em relação ao qual há um consenso no sentido de que o trabalho matemático teve um papel crucial para a má utilização dos chamados Collateralised Debt Obligations (CDOs), já que a matemática que os sustentava não somente era altamente complexa – o que impossibilitava a sua compreensão pelo mercado – como continha graves limitações para a estimativa de risco, as quais eram também ignoradas pelos agentes que nela se baseavam.
Outro exemplo mencionado pelos autores é o caso Cambridge Analytica, em que o trabalho perigoso e fraudulento de manipular pessoas para fins políticos foi viabilizado por meio de sofisticados modelos matemáticos que foram planejados para tal propósito. Aliás, nesse ponto, a conclusão de Chiodo e Clifton vai ao encontro do diagnóstico de Giuliano Da Empoli, no seu inquietante livro Engenheiros do Caos<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftn4" name="_ftnref4">[4]</a>, ao mencionar trecho em que o próprio estrategista do Brexit – Cummings - reconhece a centralidade da matemática nos resultados políticos obtidos:
“Segundo declarações do estrategista do Brexit, os resultados ultrapassaram todas as expectativas. Ao ponto de Cummings, ele mesmo, tirar uma conclusão perturbadora: “Se você é jovem, inteligente e se interessa por política, pense bem antes de estudar ciências políticas na universidade. Você deveria se interessar, em vez disso, em estudar matemática ou física.”
Excesso de desfaçatez por parte de Cummings ou não, o fato é que Giuliano Da Empoli<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftn5" name="_ftnref5">[5]</a>também explora o momento em que o estrategista ironicamente afirmou que “se Victoria Woodcock, a responsável pelo software usado na campanha, tivesse sido atropelada por um ônibus, o Reino Unido teria continuado na União Europeia.”
Todas essas discussões vêm mostrando a urgência de se pensar no impacto dos modelos matemáticos sobre o mundo, como bem observam Chiodo e Clifton<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftn6" name="_ftnref6">[6]</a>:
“As a result of the pace and scale at which modern technology operates, through use of internet connectivity and readily-available fast computation, the consequences of the actions of mathematicians are more quickly realised and far-reaching than ever before. A mathematician in a big tech company can modify an algorithm, and then have it deployed almost immediately over a user base of possibly billions of people.”
Não bastasse a influência e o grau de penetração dos modelos matemáticos que têm sido utilizados para embasar decisões algorítmicas sobre assuntos humanos e sociais, Chiodo e Clifton<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftn7" name="_ftnref7">[7]</a> também advertem para o fato de que tais modelos apresentam a limitação natural de não poderem ser submetidos ao teste da falseabilidade, o que é uma razão a mais para haja uma maior reflexão ética em torno deles:
“Modelling a financial system is more difficult, as the system is affected by the application of the model. A pricing algorithm, if widely used to buy or sell a product, influences the market for the product in question. How does a model model its own impact?
So now what happens if you are modelling the future behaviour of people by predicting something like: ‘How likely is a particular individual charged with a crime to reoffend with a serious offence, a non-serious offence, or not reoffend, in the next 24 months?’
How do you test whether your prediction was correct? Now we have a serious ethical issue: we are using mathematical reasoning to make decisions about people that impact their lives, and in many of these cases we can never know whether the decisions made were desirable or appropriate. Is it right to use mathematics in such a way without careful reflection?
We now face an ethical dilemma. Do we limit our- selves to falsifiable claims, or do we allow ourselves to make claims, make decisions and initiate actions that are unfalsifiable? We are of course entitled to do the latter; however, we should then bear in mind that we have lost mathematical certainty. Furthermore, if we do this, we should broaden our perspective and training so that we can incorporate as many aspects of society as possible.”
<blockquote class="jota-article__eye">Como se pode observar, os modelos matemáticos, por parte dos programadores, têm sido criados sem maiores preocupações quanto aos seus efeitos práticos ou considerações éticas, passando a ser utilizados muitas vezes de forma acrítica pelos usuários, mesmo quando não podem oferecer certeza nem se submeter ao teste da falseabilidade.</blockquote>
Em outras palavras, estamos usando tais sistemas para decidir a vida das pessoas sem nem mesmo saber se tais decisões são apropriadas.
Além das preocupações com resultados equivocados, incorretos, injustos ou discriminatórios dos sistemas algorítmicos, o processo de terceirização do processo decisório, ao ressaltar o preocupante hiato entre programadores e usuários, coloca em evidência o risco de um cenário de “irresponsabilidade organizada”, em que nenhum dos participantes do processo decisório - nem programadores, que “simplesmente” programam o sistema, nem usuários, que “simplesmente” executam o sistema-  se considera responsável pelos resultados das decisões, como se explorará melhor no próximo artigo.
<div id="sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6" role="main"></div>
<script type="text/javascript" src="https://d335luupugsy2.cloudfront.net/js/rdstation-forms/stable/rdstation-forms.min.js"></script> 
<script type="text/javascript"> new RDStationForms('sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6', 'UA-53687336-1').createForm();</script>
<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftnref1" name="_ftn1">[1]</a> ROCKWELL, W. Teed. Algorithms and Stories. Human Affairs 23, 633–644, 2013, pp. 634-635. DOI: 10.2478/s13374-013-0154-0.
<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftnref2" name="_ftn2">[2]</a> Sobre as implicações do problema em relação à responsabilidade civil dos administradores de sociedades, ver FRAZAO, Ana. Responsabilidade civil de administradores de sociedades empresárias por decisões tomadas com base em sistemas de inteligência artificial. In: FRAZÃO, Ana; MULHOLLAND, Caitlin. Inteligência Artificial e Direito. Ética, Regulação e Responsabilidade. São Paulo: Revista dos Tribunais, 2020, pp. 501-541.
<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftnref3" name="_ftn3">[3]</a> CHIODO, Maurice; CLIFTON, Toby. European Mathematical Society. Newsletter No. 114, December 2019. https://www.ems-ph.org/journals/show_abstract.php?issn=1027-488X&amp;vol=12&amp;iss=114&amp;rank=2
<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftnref4" name="_ftn4">[4]</a> EMPOLI, Giuliano Da. Os engenheiros do Caos. Tradução Arnaldo Bloch. São Paulo: Vestígio, 2019, p. 83.
<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftnref5" name="_ftn5">[5]</a> Op.cit., p. 88.
<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftnref6" name="_ftn6">[6]</a> Op.cit., p. 35.
<a href="applewebdata://3E301B1E-CA58-413E-A3D5-DDF378C95B18#_ftnref7" name="_ftn7">[7]</a> Op.cit., p. 35.

computação quântica

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

A terceirização de processos decisórios por agentes públicos e privados

Discriminação algorítmica: o hiato entre quem programa e quem usa

A terceirização de processos decisórios por agentes públicos e privados