Bernardo Fico

Ana Catarina de Alencar

Beatriz de Sousa

O Dia Internacional da Mulher é, sobretudo, um marco de luta por direitos. As pautas já consolidadas no passado por equidade de cargos e salários, respeito à liberdade sexual e reprodutiva da mulher e combate ao feminicídio ainda se impõem no presente. Atualmente, contudo, além das pautas históricas, essa luta ganha contornos inerentes à era do Big Data e da Inteligência Artificial (IA). Assim, novos desafios se apresentam no contexto da digitalização e plataformização das sociedades, e, por esse motivo, é preciso falar sobre o futuro das mulheres e a luta por igualdade na era digital.
Situações concretas no mercado de trabalho, em serviços financeiros ou na área da saúde já demonstram como a IA pode atuar com vieses discriminatórios. Isto é, como a IA pode reforçar o preconceito contra a mulher e sabotar décadas de avanços em igualdade de gênero. 
<a href="http://conteudo.jota.info/aprovometro-jota"><img class="aligncenter wp-image-292714 size-full" src="https://www.jota.info/wp-content/uploads/2021/01/aprovometro.jpg" alt="" width="688" height="688" /></a>Isso não ocorre porque a IA seja ruim em si mesma ou inerentemente defeituosa, mas porque ela aprende a partir de dados, que são coletados em um mundo complexo e, por vezes, desigual. Assim, as informações que alimentam os sistemas de aprendizado de máquina (base da IA) podem vir carregadas de pré-concepções, como estereótipos de gênero. Esses estereótipos, por sua vez, podem não representar adequadamente aspectos importantes da vida das mulheres, ou mesmo abarcar inferências errôneas levando a decisões discriminatórias em sistemas automatizados.
De acordo com o Gender Gap Report<a href="#_ftn1" name="_ftnref1">[1]</a>, do Fórum Econômico Mundial, a esmagadora maioria dos profissionais de IA é composta de homens, representando 72% dos postos de trabalho em 2020. Nas gigantes de tecnologia como o Facebook<a href="#_ftn2" name="_ftnref2">[2]</a>, 37% dos cargos são ocupados por mulheres. Já na Microsoft<a href="#_ftn3" name="_ftnref3">[3]</a>, esse percentual cai para 28,6%. Tendo em vista que a arquitetura dos sistemas de IA é pensada por pessoas, e que os dados alimentando os sistemas também são selecionados, é importante que empresas e profissionais de tecnologia tenham um olhar treinado às questões de gênero ao elaborarem seus produtos e sistemas. Isso passa, necessariamente, pela inclusão de mais mulheres nesse debate.
A escassez de mulheres nessa indústria pode motivar implicações no design de muitos de seus produtos, ao incorporarem as perceções dos seus desenvolvedores, o que ensejaria a perpetuação de estereótipos patriarcais nas tecnologias, como a subserviência atrelada à personalidade feminina em assistentes digitais<a href="#_ftn4" name="_ftnref4">[4]</a>.
Uma das tecnologias envolvidas no aprendizado dessas assistentes é o Natural Language Processing (NLP), que permite à máquina compreender e reproduzir a comunicação humana com diversas de suas variáveis linguísticas. Contudo, estudos mostram que o NLP pode incorporar vieses de gênero presentes nas informações que a IA usa para aprender a fazer associações; por exemplo, associando “computer programmer” a homem e “homemaker” a mulher<a href="#_ftn5" name="_ftnref5">[5]</a>.
<blockquote class="jota-article__eye">Similarmente ao que ocorre com NLP, a discriminação de gênero também pode estar presente em algoritmos geradores de imagem. </blockquote>
O MIT Technology Review publicou reportagem sobre um estudo mostrando que 43% das vezes em que algoritmos completavam a imagem de um homem, ele era retratado vestindo terno. Ao receber fotos de mulheres, em 53% das vezes, o algoritmo as completava vestindo um biquíni<a style="font-family: inherit; font-style: inherit; font-variant-ligatures: inherit; font-variant-caps: inherit; text-align: center;" href="#_ftn6" name="_ftnref6">[6]</a>.
O resultado foi reproduzido mesmo quando a mulher em questão era uma política notória, como a congressista norte-americana Alexandria Ocasio-Cortez. Uma das preocupações expressadas na publicação é o impacto que esses algoritmos podem ter na vida das mulheres. Se esse tipo de viés for empregado em decisões de alto impacto (como recrutamentos com pré-seleção baseada em vídeos analisados por IA, englobando análise de imagem e linguagem), quais não podem ser as consequências para as candidatas?<a href="#_ftn7" name="_ftnref7">[7]</a>
Essa preocupação com discriminação de gênero em seleção de candidatos por meio de IA não se restringe a algoritmos de análise de vídeos e, infelizmente, não é hipotética. Em 2017, uma grande companhia internacional de varejo descartou software de recrutamento baseado em IA porque a tecnologia se mostrou manifestamente enviesada em prejuízo de candidatas mulheres<a href="#_ftn8" name="_ftnref8">[8]</a>.
A ferramenta havia sido treinada com base em currículos recebidos pela empresa em um período de dez anos. Como a indústria de tecnologia é predominantemente masculina, a maior parte desses currículos eram de homens. Assim, a IA reconheceu como padrão que candidatos homens eram preferíveis e passou a rebaixar currículos de mulheres.
Há outros exemplos de reprodução da discriminação enraizada na sociedade por meio do aprendizado de máquina em diversos âmbitos e em prejuízo de minorias. Para citar alguns, temos máquinas fotográficas que identificavam pessoas de ascendência asiática como piscando em fotos; marcador automático de imagens que identificou um casal negro como gorilas; baixa eficiência do reconhecimento facial em mulheres e – particularmente – em mulheres negras; dentre outros.
Dessa forma, identificam-se duas principais formas pelas quais estereótipos (de gênero ou não) podem ser incorporados ao aprendizado de máquina. Por meio de sua concepção de arquitetura, ou por meio dos dados selecionados para treinar a IA. Nos citados casos de assistentes digitais, por exemplo, a discussão é a de incorporação de estereótipos de gênero no desenvolvimento da tecnologia. Em outros casos, contudo, os vieses estavam embutidos nas bases de dados utilizadas no treinamento da IA, que aprende a reproduzir esses vieses em sua atuação automatizada.
O alto potencial de impacto que a IA apresenta fez com que diversas organizações mundiais, como a Comissão Europeia<a href="#_ftn9" name="_ftnref9">[9]</a> e a OCDE<a href="#_ftn10" name="_ftnref10">[10]</a>, elaborassem princípios éticos para guiar o desenvolvimento dessas tecnologias. Alguns dos fatores comuns a esses princípios são a privacidade e proteção de dados, transparência e equidade. Contudo, críticas apontam que as referências à igualdade de gênero e ao empoderamento feminino nos princípios existentes são escassas<a href="#_ftn11" name="_ftnref11">[11]</a>.
É importante que o setor tecnológico mantenha um olhar atento às questões de gênero. Esse olhar deve partir de diversas perspectivas, incluindo a garantia de diversidade nos times de desenvolvimento de produtos, testes para identificação de vieses cognitivos e transparência quanto a seus processos. Especificamente com base na Lei Geral de Proteção de Dados Pessoais (LGPD), é necessário que o tratamento de dados pessoais repetidamente realizado no desenvolvimento da Inteligência Artificial respeite os princípios norteadores da legislação, especialmente a não discriminação e a prestação de contas.
<hr />
O episódio 50 do podcast Sem Precedentes faz uma análise da decisão tomada pelo Supremo Tribunal Federal nesta semana e que pode acelerar a aplicação de vacinas contra a Covid-19. Ouça:
https://www.youtube.com/watch?v=b9z7dDRHnrg
<hr />
<a href="#_ftnref1" name="_ftn1">[1]</a> Disponível em: <a href="http://www3.weforum.org/docs/WEF_GGGR_2020.pdf">http://www3.weforum.org/docs/WEF_GGGR_2020.pdf</a>. Acesso em 22.02.2021.
<a href="#_ftnref2" name="_ftn2">[2]</a> Disponível em: <a href="https://www.statista.com/statistics/311827/facebook-employee-gender-global/">https://www.statista.com/statistics/311827/facebook-employee-gender-global/</a>. Acesso em 22.02.2021.
<a href="#_ftnref3" name="_ftn3">[3]</a> Disponível em: <a href="https://www.thestatesman.com/technology/women-now-represent-28-6-microsofts-global-workforce-1502931069.html">https://www.thestatesman.com/technology/women-now-represent-28-6-microsofts-global-workforce-1502931069.html</a>. Acesso em 22.02.2021.
<a href="#_ftnref4" name="_ftn4">[4]</a> UNESCO, “I’d Blush if I Could: closing gender divides in digital skills through education”, Março de 2019. Disponível em: <a href="https://unesdoc.unesco.org/ark:/48223/pf0000367416.page=1">https://unesdoc.unesco.org/ark:/48223/pf0000367416.page=1</a>. Acesso em 24.02.2021.
<a href="#_ftnref5" name="_ftn5">[5]</a> Sun et. al., “Mitigating Gender Bias in Natural Language Processing: Literature Review”. Disponível em: <a href="https://www.aclweb.org/anthology/P19-1159.pdf">https://www.aclweb.org/anthology/P19-1159.pdf</a>. Acesso em 24.02.2021. Outras referências: Caliskan et. al., “Semantics derived automatically from language corpora contain human-like biases”. Disponível em: <a href="https://science.sciencemag.org/content/356/6334/183">https://science.sciencemag.org/content/356/6334/183</a>. Acesso em 24.02.2021.
<a href="#_ftnref6" name="_ftn6">[6]</a> Disponível em: <a href="https://www.technologyreview.com/2021/01/29/1017065/ai-image-generation-is-racist-sexist/">https://www.technologyreview.com/2021/01/29/1017065/ai-image-generation-is-racist-sexist/</a>. Acesso em 24.02.2021.
<a href="#_ftnref7" name="_ftn7">[7]</a> A tecnologia referenciada na matéria do MIT Technology Review é a da empresa HireVue. Disponível em: <a href="https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-increasingly-decides-whether-you-deserve-job/">https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face-scanning-algorithm-increasingly-decides-whether-you-deserve-job/</a>. Acesso em 24.02.2021.
<a href="#_ftnref8" name="_ftn8">[8]</a> Fonte: <a href="https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G">https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G</a>. Acesso em 25.02.2021.
<a href="#_ftnref9" name="_ftn9">[9]</a> European Commission, “Ethics Guideline for Trustworthy AI”, 2019. Disponível em: <a href="https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai">https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai</a>. Acesso em 25.02.21.
<a href="#_ftnref10" name="_ftn10">[10]</a> Organização para a Cooperação e Desenvolvimento Econômico, “Recommendation of the Council on Artificial Intelligence”, 2019. Disponível em: <a href="https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449">https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449</a>. Acesso em 25.02.21.
<a href="#_ftnref11" name="_ftn11">[11]</a> UNESCO, “Artificial Intelligence and Gender Equality – Key findings of UNESCO’s Global Dialogue”, 2020. Disponível em: <a href="https://en.unesco.org/AI-and-GE-2020">https://en.unesco.org/AI-and-GE-2020</a>. Acesso em 24.02.21.

WhatsApp Image 2021-03-05 at 15.29.24

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Diversas situações já demonstraram como a IA pode atuar com vieses discriminatórios

Discriminação de gênero na era do Big Data e da inteligência artificial

Situações no trabalho, em serviços financeiros ou na área da saúde já demonstram como a IA pode atuar com vieses discriminatórios