Opinião e Análise

Christine Peter da Silva

Carolina Freitas Gomide

A adoção pelo <a href="https://www.jota.info/tudo-sobre/stf">Supremo Tribunal Federal</a> de uma ferramenta de <a href="https://www.jota.info/tudo-sobre/inteligencia-artificial">inteligência artificial</a> que seja capaz de identificar e agrupar processos que tratem direitos fundamentais com impacto nos direitos fundamentais das mulheres é uma exigência da implementação dos objetivos fundantes do protocolo de julgamento em perspectiva de gênero, previsto pela Resolução 332/2020.
Por isso o nosso tema da coluna Observatório Constitucional de hoje propõe temática que ainda não faz parte da pauta constitucional brasileira, mas cuja reflexão já se revela tanto urgente quanto adequada e necessária, pois que o uso de ferramentas de IA nos tribunais brasileiros, segundo dados do portal do Conselho Nacional de Justiça, está em notável e exponencial crescimento.
<h3><a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias">Assine a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas no seu email</a></h3>
Em 2023, o uso de inteligência artificial no Judiciário cresceu 26% em relação a 2022, totalizando 140 projetos desenvolvidos ou em desenvolvimento, segundo dados da plataforma Sinapses (CNJ, 2024).
Outrossim, é relevante relembrar que a própria Resolução 332/2020 do CNJ, em seu art. 7º, determinou: “as decisões judiciais apoiadas em ferramentas de inteligência artificial devem preservar a igualdade, a não discriminação, a pluralidade e a solidariedade, auxiliando no julgamento justo", de modo que se faz obrigatória a verificação se tal dispositivo está sendo observado pelo Poder Judiciário brasileiro.
É notório entre os especialistas das mais diversas áreas, os quais se debruçam sobre o tema da IA, que o risco da discriminação de todas as formas pelas ferramentas de inteligência artificial, comumente associada aos chamados vieses algorítmicos, está relacionada especialmente com o funcionamento do sistema que busca alcançar acurácia nas previsões de comportamento, a partir da construção de uma identidade humana baseada nos dados sobre ela armazenados, a chamada identidade datificada como se refere Cheney-Lippold (CHENEY-LIPPOLD, 2017).
Ao utilizar algoritmos para classificar, ranquear ou julgar seres humanos, a ferramenta de inteligência artificial encara a dificuldade de converter aspectos complexos da natureza humana para critérios objetivos e para a linguagem matemática. Se as identidades datificadas são construídas a partir de informações como hábitos, geolocalização, preferências e habilidades das identidades reais, casos concretos demonstram que aspectos como gênero, raça e classe influenciam, mesmo que inconscientemente, a categorização e as predições tomadas a partir daquelas sombras.
Assim, os algoritmos têm não apenas o desafio, já nada trivial, de traduzir aspectos complexos como gênero e raça para fórmulas matemáticas, como também têm o poder de afetar o destino desses grupos sem que estes ao menos exerçam controle sobre a criação de suas sombras. Como lembra, com propriedade, a professora Ana Frazão, as categorias para as quais as vidas datificadas serão convertidas passarão a definir não apenas quem somos, mas também quem seremos, impactando o “futuro algorítmico” da humanidade (FRAZÃO, 2021).
Assim sendo, e forte na premissa de que a discriminação também pode fazer parte dos modelos tradicionais de decisão do judiciário brasileiro, premissa essa, inclusive,  já reconhecida pelo Supremo Tribunal Federal, na oportunidade do julgamento da Arguição de Descumprimento de Preceito Fundamental 1.107, é preciso que também as ferramentas de inteligência artificial, de todo o poder judiciário, incluindo o Supremo Tribunal Federal, observe a tese fixada na referida ação: “É inconstitucional a prática de desqualificar a mulher vítima de violência durante a instrução e o julgamento de crimes contra a dignidade sexual e todos os crimes de violência contra a mulher, de modo que é vedada eventual menção, inquirição ou fundamentação sobre a vida sexual pregressa ou ao modo de vida da vítima em audiências e decisões judiciais” (STF, 2024).
As ideias aqui postas provocam todas e todos para um olhar que direcione os algoritmos das ferramentas de inteligência artificial para uma visão aberta, pluralista e não discriminatória das mulheres no sistema de justiça. Para isso, é preciso considerar que se as ferramentas de IA vão auxiliar na identificação e agrupamento dos processos que conduzirão a precedentes constitucionais paritários, tais ferramentas devem ser estruturadas para reconhecer direitos e deveres das mulheres no modelo constitucional vigente.
A proposta é que diante de todas as opções algorítmicas para dar vida a uma ferramenta de inteligência artificial para o STF, escolha-se aquela que possa contribuir para uma decisão que respeite, na máxima potência possível, a igualdade de gênero, preconizada do artigo 5º, I, da Constituição da República; assim como o princípio da não discriminação, constante do art. 3º, IV, da mesma norma fundamental.
Diante de uma possível classificação tripartite dos modelos conceituais de inteligência artificial, pretende-se defender o argumento de que a neutralidade pode não ser a melhor solução. Para isso, partimos da premissa de que o modelo afirmativo, ou feminista, é o mais adequado para alcançar o objetivo constitucional da não discriminação, garantindo, com a opção por esse modelo, o direito à igualdade material e a aproximação do ideal de julgamento justo, previsto no art. 7º da Resolução 332/2020 do CNJ.
O primeiro modelo conceitual para a estruturação de uma ferramenta de inteligência artificial é o dos estereótipos, no qual as ferramentas de inteligência artificial fazem predições baseadas em associações automáticas e discriminatórias, ancoradas em preconceitos relacionados a características como raça e gênero. Embora os vieses nem sempre sejam negativos em si, essas associações podem aumentar as desigualdades já observadas na sociedade. Assim, o modelo dos estereótipos perpetua preconceitos e reforça desigualdades estruturais (PETER E GOMIDE, 2024), não sendo, portanto, o mais adequado.
No modelo dos estereótipos, por exemplo, uma pesquisa mostrou que o LinkedIn sugeria erroneamente versões masculinas de nomes femininos comuns nos EUA, como "Stephanie Williams" para "Stephen Williams", algo que não ocorria com nomes masculinos. Outro caso envolve o algoritmo do Twitter, que favorecia rostos brancos e destacava partes sexualizadas do corpo feminino ao realizar recortes automáticos de imagens.
Exemplos adicionais incluem o sistema de anúncios do Google Ads, que direcionava oportunidades de trabalho mais bem remuneradas para homens, e o conhecido caso do sistema de reconhecimento de imagens da mesma empresa, que confundia rostos negros com gorilas (PETER E GOMIDE, 2024).
No contexto das plataformas digitais e dos anúncios segmentados, uma pesquisa da Carnegie Mellon revelou que o sistema de recomendação do Google Ads tendia a direcionar, com maior frequência, vagas de emprego com salários mais altos para homens do que para mulheres. Ainda no que diz respeito ao acesso ao mercado de trabalho, um caso amplamente discutido foi o do sistema de recrutamento da Amazon, que, conforme se descobriu, favorecia automaticamente currículos masculinos. Isso ocorreu porque a base de dados usada para treinar o algoritmo refletia um padrão de contratações predominantes na empresa ao longo de dez anos, período em que a maioria dos contratados eram homens (PETER E GOMIDE, 2024).
Diante dos casos cada vez mais comuns de discriminação algorítmica sendo divulgados, surgiu doutrinariamente e no arcabouço jurídico discussões sobre a adoção da “cegueira”, isto é, a não inserção de dados sensíveis para treinamentos de algoritmos. Assim, no âmbito tecnológico, cientistas buscam aprimorar as bases de dados e seus algoritmos na busca da redução de vieses e na busca da fórmula perfeita que conseguisse tomar decisões imparciais sem incorrer em pressuposições de gênero ou raça (PETER E GOMIDE, 2024).
Dessa ideia surge o segundo modelo, que se pode chamar de agnóstico ou neutro, o qual busca evitar vieses, utilizando, por exemplo, o balanceamento de dados para que características como raça e gênero não influenciem as decisões. No entanto, mesmo que o objetivo seja a imparcialidade, é preciso reconhecer que, na prática, esse modelo pode criar uma tecnologia "cega" para desigualdades sociais, pois nele não se consideram as diferenças reais entre os grupos. A tentativa de neutralidade, assim, pode perpetuar o estado de coisas discriminatório e negligenciaria de desigualdades notórias subjacentes (PETER E GOMIDE, 2024).
Nesse mesmo sentido, Requião e Costa defendem que simplesmente calibrar o algoritmo para ignorar dados sensíveis, como raça ou gênero, não é suficiente para garantir a igualdade. Para que grupos vulneráveis sejam tratados de forma justa, o algoritmo precisaria ser ajustado com pesos diferenciados e inclusivos, criando assim uma forma de discriminação algorítmica positiva (REQUIÃO E COSTA, 2022).
De forma semelhante, Ana Frazão argumenta que a programação dos algoritmos envolve decisões éticas, e que a aparente neutralidade, em questões sociais e humanas, acaba sendo uma escolha que favorece a manutenção do status quo e perpetua discriminações e desigualdades existentes (FRAZÃO, 2024).
Embora a busca por uma ferramenta neutra, a qual evite discriminações baseadas em estereótipos,  pareça um objetivo louvável, não se pode deixar de reconhecer que optar pela neutralidade é fechar os olhos para o potencial de a tecnologia ser uma efetiva aliada no combate às desigualdades reais.
Se a Constituição da República busca eliminar a discriminação, promover a igualdade de gênero e a interpretação do direito à igualdade em seu aspecto material mais radical, torna-se urgente lançar mão de medidas que vão além da neutralidade, incluindo políticas afirmativas que, embora enviesadas, possam ajudar a corrigir os efeitos de uma neutralidade que mantém hígido o estado de coisas de desigualdades (PETER E GOMIDE, 2024).
Dessa forma, se o modelo dos estereótipos acabam reforçando desigualdades e o modelo agnóstico, sob o pretexto de buscar neutralizar tais vieses, não é a solução ideal, considerando que a simples omissão de dados sensíveis como raça e gênero pode, na verdade, perpetuar as desigualdades, a solução remanescente, então, é a do terceiro modelo conceitual, chamado de afirmativo, o qual visa promover a igualdade material, por meio da criação de mecanismos que beneficiem grupos historicamente marginalizados (PETER E GOMIDE, 2024).
O terceiro modelo, portanto, chamado de afirmativo ou feminista, reconhece a existência de vieses, e busca usá-los de maneira controlada para corrigir desigualdades. Esse modelo é inspirado, e, por isso guarda algumas semelhanças, com o modelo de políticas afirmativas tradicionais, propondo que os algoritmos de instrução das ferramentas de inteligência artificial não apenas refutem, nem ignorem as diferenças, mas, ativamente, ajudem a balancear as desigualdades existentes. A hipótese é a de que o viés, quando controlado, possa ser uma ferramenta para promover, no maior potencial possível, a justiça social (PETER E GOMIDE, 2024).
Assim, se as políticas afirmativas, em sistemas decisórios tradicionais, buscam corrigir desigualdades, também é preciso pensar na concepção de uma ferramenta de inteligência artificial que, não obstante as inúmeras barreiras práticas que podem surgir na sua implementação, considere políticas afirmativas nos seus algoritmos fundacionais (PETER E GOMIDE, 2024).
A ideia posta ao debate é que, se a neutralidade tecnológica não se apresenta como uma postura verdadeira neutra, mas, sim, permeada de escolhas que favorecem a manutenção do estado de coisas das desigualdades, os sistemas conceituais afirmativos ou feministas, podem e devem ser considerados como ferramentas adequadas e necessárias para, ressaltando essas desigualdades, possibilitar uma prática judiciária mais paritária e equitativa.
A adoção de políticas afirmativas como sistemas conceituais dos algoritmos, como exemplificado pelos projetos Caretas, da Unicef, e Glória, da Universidade de Brasília, podem ser trazida como uma alternativa para enfrentar os problemas estruturais  de combate às desigualdades reais, a fim de que, com isso, a ferramenta de inteligência artificial possa contribuir para uma sociedade mais justa e igualitária (PETER E GOMIDE, 2024).
No caso do Supremo Tribunal Federal, colhendo-se o exemplo da vitorIA, tem-se a possibilidade de treinar uma ferramenta de inteligência artificial voltada para o combate ativo à desigualdade de gênero, com autorização expressa da garantia institucional prevista no art. 5º, I, da Constituição da República.
A vitorIA é um robô que tem como missão a ampliação da base de dados controlada sobre o perfil dos processos recebidos no STF, permitindo o tratamento conjunto de temas repetidos ou similares. Para isso, a vitórIA identifica, no acervo de processos da Suprema Corte, aqueles processos que tratam do mesmo tema, sugerindo o seu agrupamento.
É uma ferramenta que nasceu com o potencial de contribuir para a agilidade do processo judicial, a consistência do processo de tomada de decisão e também para a segurança jurídica dos jurisdicionados. Por se tratar de uma ferramenta de triagem e agrupamento de processos, a vitorIA pode contribuir para uma gestão do acervo pelos temas constitucionais de mérito, o que é um importante passo para a consolidação de uma Corte Constitucional focada nos direitos humanos e fundamentais, especialmente no que tange à igualdade de gênero.
Por isso, defendemos aqui a ideia de que, para que esta ferramenta de inteligência artificial do Supremo Tribunal Federal atinja, de forma plena, seus objetivos, no contexto do Estado Democrático e Constitucional de Direito brasileiro, a vitorIA deve ser feminista.
<hr />
CHENEY-LIPPOLD, John. We Are Data: Algorithms and the Making of Our Digital Selves. New York: New York University Press, 2017.
FRAZÃO, Ana. Discriminação algorítmica: Compreendendo a 'datificação' e a estruturação da sociedade da classificação. Jota. 2021. Disponível em: <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/discriminacao-algoritmica-2-23062021">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/discriminacao-algoritmica-2-23062021</a>. Acesso em 30.06.2024.
PETER, Christine; GOMIDE, Carolina. Por uma VitórIA feminista: a Inteligência Artificial como uma aliada na adoção do protocolo de julgamento em perspectiva de gênero no Supremo Tribunal Federal. In: ARANHA, Marcio Iorio; et al. (ed.). Communication Policy Research Latin America. Brasília: Americas Information and Communications Research Network, 2024. Disponível em: <a href="https://cprlatam.site/2024/pt/programacao/">https://cprlatam.site/2024/pt/programacao/</a>
REQUIÃO, Maurício; COSTA, Diego. Discriminação algorítmica: ações afirmativas como estratégia de combate. Civilistica.com, Rio de Janeiro, v. 11, n. 3, p. 1–24, 2022. Disponível em: https://civilistica.emnuvens.com.br/redc/article/view/804. Acesso em: 17 set. 2024.

51353730353_a13a762ccf_k

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Ferramenta nasce com potencial de contribuir para agilidade do processo judicial e consistência da tomada de decisão

VitorIA deve ser uma inteligência artificial feminista no STF

VitorIA nasce com potencial de contribuir para agilidade do processo judicial e consistência da tomada de decisão