Opinião e Análise

Ana Frazão

O artigo da semana passada procurou mostrar como os sistemas algorítmicos estão sendo planejados sem o devido cuidado e sem as necessárias preocupações éticas e jurídicas por parte de programadores e empresas de tecnologia, o que aumenta os riscos de decisões disfuncionais, injustas e discriminatórias.
<a href="https://www.jota.info/produtos/poder?utm_source=Banner%20site&amp;utm_medium=Artigos&amp;utm_campaign=CTA_Poder_materias"><img class="size-medium wp-image-292717 aligncenter" src="https://www.jota.info/wp-content/uploads/2021/01/jota-pro-poder.jpg" alt="" width="688" height="688" /></a>
É indispensável, portanto, reconhecer que o design de algoritmos para viabilizar processos decisórios que terão impactos na sociedade equipara-se à formulação de políticas sociais, razão pela qual precisa adotar todos os cuidados inerentes a tais atividades.
Excelente artigo que sintetiza a questão é o escrito por Ben Green - Data Science as Political Action: Grounding Data Science in a Politics of Justice<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftn1" name="_ftnref1">[1]</a>, no qual se inspira o título da presente coluna. Em seu texto, Green propõe que os cientistas de dados se reconheçam como atores políticos engajados em construções normativas da sociedade, razão pela qual devem analisar e valorar o seu trabalho de acordo com o impacto que ele terá na vida das pessoas.
Segundo Ben Green, isso não vem acontecendo essencialmente por três motivos: (i) a “ética” da ciência dos dados baseia-se em uma divisão artificial entre tecnologia e sociedade, (ii) a “ética” da ciência dos dados raramente apresenta algum mecanismo para assegurar que engenheiros sigam princípios éticos ou para que violadores de tais princípios sejam considerados responsáveis e (iii) a “ética” da ciência dos dados não tem nenhum substrato normativo explícito.
Em razão disso, os engenheiros, matemáticos, cientistas de dados e designers de sistemas algoritmos simplesmente não se vêem como atores políticos, embora claramente o sejam:
“As architects of decision-making systems, data scientists are political actors in that they play an increasingly powerful role in defining such distributions across a wide array of social contexts.”<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftn2" name="_ftnref2">[2]</a>
Daí por que, ainda segundo Green, o primeiro passo para tentar resolver o problema das decisões algorítmicas disfuncionais ou discriminatórias é demonstrar a insubsistência dos argumentos que são normalmente invocados para afastar a responsabilidade dos designers: (i) “I’m just an engineer”, (ii) “Our job isn’t to take political stances” e (iii) “We should not let the perfect be the Enemy of the good.”
Para Green, não há como se aceitar o argumento de que a programação de algoritmos é mera engenharia diante dos inúmeros exemplos de sistemas que estruturam comportamentos, transferem poder e moldam vários aspectos da sociedade. Dessa maneira, a falta de consciência sobre o que os cientistas de dados realmente fazem os impede de entender e de assumir as devidas responsabilidades:
“By articulating their limited role as neutral researchers, data scientists provide themselves with an excuse to abdicate responsibility for the social and political impacts of their work.”<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftn3" name="_ftnref3">[3]</a>
Quanto ao segundo argumento, Green até considera compreensível a postura dos cientistas de dados, diante do seu desejo genuíno de assumirem a postura da neutralidade. Entretanto, aponta dois argumentos poderosos contra isso: (i) a neutralidade é um objetivo inatingível, uma vez que é impossível se engajar na ciência e na política sem ser influenciado por backgrounds, valores e interesses e (ii) o esforço pela neutralidade não é uma posição politicamente neutra, mas sim uma posição fundamentalmente conservadora e em defesa do status quo. Daí uma importante conclusão:
“Just as it is impossible to conduct science in any truly neutral way, there similarly is no such thing as a neutral (or apolitical) approach to politics. As philosopher Roberto Unger writes, political neutrality is an “illusory and ultimately idolatrous goal” because “no set of practices and institutions can be neutral among conceptions of the good” (Unger, 1987). Even if it were possible to be neutral and apolitical, however, such a stance would be undesirable. For neutrality does not mean value-free—it means acquiescence to dominant social and political values, freezing the status quo in place. Neutrality may appear to be apolitical, but that is only because hegemonic power manifests pervasively without appearing explicitly political. Anything that challenges the status quo—which efforts to promote social justice must by definition do—will therefore be seen as political. But efforts for reform are no more political than efforts to resist reform or even the choice simply to not act, both of which preserve existing systems.”
Já quanto ao argumento de que a perfeição é inimiga daquilo que é exequível, ele acabou fazendo com o que a ciência dos dados tenha se desenvolvido sem qualquer definição praticável do que pode ser considerado o bem comum para guiar seus esforços.
Por tudo isso, sugere Green um passo a passo para a ciência dos dados, em que a etapa 1 envolve o interesse sobre as questões sociais inerentes aos sistemas algorítmicos, a etapa 2 requer a reflexão sobre os impactos dos sistemas algorítmicos no mundo real e a etapa 3 propõe a aplicação das etapas anteriores na identificação dos métodos existentes que podem ser aplicados para endereçar as injustiças e as mudanças de poder social e político.
A etapa 4, que envolve a prática, seria a mais difícil, pois envolve o enfrentamento do dilema ético fundamental que se descortina a partir do momento em que se afasta a falsa pretensão de neutralidade:
"All designers face an ethical dilemma: if they attempt to remain neutral and focus on direct needs, they risk entrenching the status quo; if they take an advocacy position, on the other hand, they inevitably impose their own values on society. In order to distribute responsibility and authority, designers must therefore incorporate participatory approaches into their practice (Bardzell, 2010).”<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftn4" name="_ftnref4">[4]</a>
Entretanto, muitas das dificuldades relacionadas ao enfrentamento do dilema ético poderiam ser resolvidas, segundo Green, por meio da participação social, o que endereçaria igualmente o problema da falta de diversidade entre os programadores:
“Given that data science is a form of political action and that this action is significantly influenced by practitioners’ perceptions of problems and ways to address them, then excluding certain demographics from the design and development of algorithms excludes these people also from a form of politics. Such exclusion has significant consequences on the production and impacts of data science: it is hard to imagine, for example, that predictive policing and facial recognition would so commonly be developed for law enforcement purposes if more data scientists came from poor and minority backgrounds. Notably, one of the only facial recognition companies to explicitly reject working with law enforcement is one founded and led by a Black man: in a 2018 article, Kairos founder Brian Brackeen centers his Blackness as an important component in this decision, writing, “As the black chief executive of a software company developing facial recognition services, I have a personal connection to the technology, both culturally and socially” (Brackeen, 2018). Brackeen’s perspective points highlights the value of groups such as Black in AI,19 LatinX in AI,20 Queer in AI,21 and Women in Machine Learning,22 all of which work to increase the presence of underrepresented groups in the field of artificial intelligence.<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftn5" name="_ftnref5">[5]</a>
<blockquote class="jota-article__eye">Vale lembrar que a maior parte de programadores é composta por homens brancos, de forma que, além da conscientização de que são atores sociais formulando políticas sociais, é importante que tenham minimamente outras visões sobre o problema, incluindo a perspectiva daqueles que estarão sujeitos aos efeitos dos sistemas algorítmicos por eles desenhados.</blockquote>
A maior diversidade possibilitará inclusive uma melhora das análises de impactos de tais sistemas, como igualmente afirma Green:
“Data scientists cannot be expected to perfectly predict the impacts of their work— the entanglements between technology and society are far too complex—but, through collaborations with people from other fields and milieus, well-grounded analyses are possible. Just as data scientists would demand rigor in claims that one algorithm is superior to another, they should also demand rigor in claims that a particular technology will have any particular impacts.”<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftn6" name="_ftnref6">[6]</a>
Daí por que, se realmente queremos ter sistemas algorítmicos que não discriminem, não será suficiente apenas o controle de resultados indesejáveis, mesmo quando isso seja possível. É preciso pensar no próprio design do sistema, criando mecanismos para que pesquisadores e engenheiros, assim como as empresas de tecnologia que os empregam, possam se conscientizar do que fazem e assumir as respectivas responsabilidades.
Da mesma forma, há que se refletir, de forma mais aprofundada, sobre a interação entre designers e usuários dos algoritmos, como se continuará a explorar no próximo artigo da série.
<div id="sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6" role="main"></div>
<script type="text/javascript" src="https://d335luupugsy2.cloudfront.net/js/rdstation-forms/stable/rdstation-forms.min.js"></script> 
<script type="text/javascript"> new RDStationForms('sdr-inbound-form-artigos-impacto-nas-instituicoes-8c5227dd4ede3347a6c6', 'UA-53687336-1').createForm();</script>
<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftnref1" name="_ftn1">[1]</a> GREEN, Ben. Data Science as Political Action: Grounding Data Science in a Politics of Justice,<a href="https://arxiv.org/ftp/arxiv/papers/1811/1811.03435.pdf" target="_blank" rel="noopener noreferrer">https://arxiv.org/ftp/arxiv/papers/1811/1811.03435.pdf</a>.
<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftnref2" name="_ftn2">[2]</a> Op.cit., p. 7.
<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftnref3" name="_ftn3">[3]</a> Op.cit., p. 10.
<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftnref4" name="_ftn4">[4]</a> Op.cit., p. 33.
<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftnref5" name="_ftn5">[5]</a> Op.cit., p. 34.
<a href="applewebdata://4C5C7655-76D3-4D65-89A9-1D3D8DE3F420#_ftnref6" name="_ftn6">[6]</a> Op.cit., p. 37.

computer-2583383_1280

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Necessário reconhecimento de que sistemas algorítmicos que impactam na vida das pessoas envolvem escolhas sociais e políticas

Discriminação algorítmica: ciência dos dados como ação política

Necessário reconhecimento de que sistemas algorítmicos que impactam na vida das pessoas envolvem escolhas sociais e políticas