O termo algoritmo remete ao nome do matemático Al-Khwarizmi nascido no Uzbequistão durante os anos 707 e 718 D.C., considerado o pai da álgebra (al-jabr). O termo foi adotado no mundo ocidental apenas no século XII, com a popularização da matemática e a tradução para o latim dos manuscritos intitulados “Algoritmi de Numero Indorum” do italiano Baldassare Boncompagni (1857)^[1].

Com a evolução da matemática, o algoritmo passou a designar uma sequência pré-ordenada de operações finitas, referindo-se às fórmulas voltadas a permitir que as “máquinas computassem”. O uso de algoritmos foi, assim, determinante para o desenvolvimento da ciência da computação, impulsionando a criação do primeiro computador pelas mãos de Alan Turing em 1938, durante a II Guerra Mundial.

Posteriormente, o desenvolvimento de uma alta capacidade de processamento de dados ofereceu embasamento para a difusão de sistemas algoritmos de tomada de decisões nos mais variados campos do conhecimento, permitindo análises preditivas sobre desastres climáticos, campeonatos esportivos, crises econômicas, surtos pandêmicos, dentre outras hipóteses em que relevante a prevenção/mitigação de risco^[2].

A etimologia e a evolução do uso do algoritmo permitem a formação de duas conclusões preliminares: 1) o termo carrega consigo uma inevitável herança matemática, situando-se mais no âmbito das ciências exatas do que nas ciências humanas (o que implica levar em consideração suas vantagens, mas principalmente suas desvantagens para explicação dos fenômenos humanos); 2) embora seu desenvolvimento se encontre imbricado ao surgimento da ciência da computação, os algoritmos adquiriram uma importância fundamental na elaboração de análises que direcionam políticas e escolhas humanas. Em síntese, trata-se da ideia que governa o mundo ^[3], o que demonstra que é melhor aprender a lidar com eles do que refutá-los^[4].

Conceitualmente, um algoritmo pode ser definido como uma sequência finita de instruções executadas por um programa de computador, com o objetivo de processar informações para um fim específico.

Refere-se, portanto, a um procedimento computacional pré-definido, que recebe uma informação [dado] como entrada (input) e oferece uma informação [dado] como saída (output). Em resumo, são as diretrizes seguidas por uma máquina^[5] para o oferecimento de soluções pré-definidas.

A seu turno, os sistemas baseados em inteligência artificial (IA) consistem em sistemas computacionais que, a partir de algoritmos, estão aptos a realizar previsões, recomendações ou decisões que influenciam ambientes reais ou virtuais.

A ideia é que esses sistemas possam executar tarefas similares à inteligência humana, tais como planejamento, compreensão, linguagem, aprendizado, raciocínio, resolução de conflitos etc. Cuida, ademais, de um conceito guarda-chuva (umbrella concept), que condensa diversos aportes de uma teoria dos sistemas computadorizados inteligentes^[6].

No interior desta vastidão que é a IA, se situa um ramo específico de pesquisa que revolucionou o uso de algoritmos para o processamento de dados, denominado machine learning (ML). No aprendizado de máquina, ao invés de se produzirem resultados pré-definidos (output) a partir de informações de entrada (input), as operações estatísticas têm por objetivo a criação de novos algoritmos, permitindo que a própria máquina aprenda a reconhecer e a correlacionar padrões, desenhando, assim, o modo de cumprimento de uma tarefa sem prévia programação humana.

Há diversos tipos de ML atualmente existentes, que permitem desde aprendizados supervisionados (supervised learning) e não supervisionados de máquina (non supervised learning) a aprendizados reforçados (reinforcement learning) e profundos (deep learning)^[7].

Assim, se antes a ambição dos sistemas de IA era o de imitar os processos cognitivos humanos, hoje seus objetivos são bem mais ousados, visando “desenvolver autômatos que resolvam alguns problemas muito melhor que os humanos, por todos os meios disponíveis”^[8].

O ponto crítico é que os sistemas algorítmicos, principalmente os de aprendizagem, podem produzir ou reproduzir resultados injustos, antiéticos e discriminatórios^[9] na sociedade digitalizada, que se projetam tanto a partir de preconceitos existentes na mente dos programadores, quanto a partir do acesso a uma base de dados corrompida ou viciada. Não se afaste, ademais, a possibilidade de o próprio sistema de IA dar origem a algoritmos eticamente problemáticos, como nos casos de machine learning.

É possível, outrossim, que um algoritmo detenha acesso a uma base de dados qualitativamente confiável e se valha de uma metodologia adequada, mas, ainda assim, produza resultados injustos (seja por desconsideração da individualidade, seja por reprodução estatística de preconceitos existentes no mundo real)^[10]. Em outras palavras, mesmo quando acerta (na metodologia), o algoritmo pode errar (no resultado).

Todo este estado de insegurança no uso de algoritmos revela uma dimensão específica da vulnerabilidade digital, que ora se denomina vulnerabilidade algorítmica, a qual se refere às situações de risco decorrentes do uso de sistemas de inteligência artificial e de machine learning que ofereçam resultados injustos, antiéticos ou discriminatórios.

O caso do algoritmo Compas (Correctional Offender Management Profiling for Alternative Sanctions), criado pela empresa Northpoint (hoje Equivant) para avaliar o risco de reincidência delitiva de egressos do sistema prisional norte-americano, é um exemplo multicitado de algoritmo discriminatório^[11].

Segundo estudo divulgado pela ProPublica, o Compas sofria de tamanho enviesamento racial que apresentava 77% a mais de chance de classificar pessoas negras e pobres com altos índices de reincidência em relação a infratores brancos^[12].

Igualmente, na obra “Algorithms of Opression”, Safiya Noble retrata o racismo do buscador Google que, em meados de 2015, associava a busca de “gorila” e “macaco” a fotografias de pessoas negras e a então primeira-dama dos Estados Unidos da América Michelle Obama. Já a pesquisa do termo pejorativo “n*gger” no Google Maps conduzia diretamente ao endereço geográfico da Casa Branca, em nítida alusão ao então presidente da época Barack Obama^[13].

Cathy O’neal também apresenta um relato detalhado de como os algoritmos contribuem para a manutenção dos bolsões de pobreza, exploração de vulnerabilidades e condenações criminais de latinos e negros. Ilustra, ademais, o curioso caso de Kyle Behm, pessoa identificada com o espectro do transtorno bipolar, que foi rejeitada em uma série de seletivas de emprego após um teste de personalidade aplicado por um algoritmo desenvolvido pela empresa Kronos. Mesmo sendo um universitário bastante qualificado, Behm jamais conseguiu ascender a um dos cargos pretendidos em virtude dos testes aplicados^[14].

Dierle Nunes ainda reúne outros exemplos de discriminação algorítmica: “um sistema de reconhecimento facial criado pela Google identificou pessoas negras como gorilas; o sistema de busca de contatos do aplicativo Linkedin demonstrou uma preferência por nomes de pessoas do sexo masculino; Tay, mecanismo de IA lançado pela Microsoft para interagir com usuários do Twitter, passou a reproduzir mensagens xenofóbicas, racistas e antissemitas; o aplicativo de chat SimSimi, que utiliza inteligência artificial para conversar com os usuários, foi suspenso no Brasil por reproduzir ameaças, palavrões e conversas de teor sexual”^[15].

Todos estes indesejados exemplos discriminatórios denunciam que a vulnerabilidade algorítmica constitui uma realidade na sociedade de vigilância^[16], a qual deve ser urgentemente trabalhada, combatida e prevenida pelos governos e órgãos de controle, especialmente quando transportado o uso dos sistemas de inteligência artificial para auxiliar o funcionamento dos Sistemas de Justiça.

Registre-se, nesse aspecto, recente mapeamento de atividades consideradas de alto risco para a aplicação de IA promovido pela Comissão Europeia no Plano Coordenado para a Inteligência Artificial, que envolvem desde questões relativas à vida, saúde, educação e transporte dos cidadãos como procedimentos para acesso a empregos, concessão de crédito e permissão de asilo migratório^[17].

Em relação à discriminação racial, a Recomendação Geral nº 36/2020, emitida pelo Comitê para Eliminação da Discriminação Racial da ONU, elenca uma série de outras medidas para prevenir e combater o perfilamento racial e o racismo algorítmico, dentre as quais se incluem o dever de accountability, transparência e explicabilidade das decisões automatizadas, além da pluralização da supervisão algorítmica por órgãos estatais e sociedade civil.

A esse respeito, cite-se recente ação civil pública proposta pela Defensoria Pública e entidades da sociedade civil contra a implementação do sistema de reconhecimento facial pela Companhia do Metropolitano de São Paulo, em que se sustenta que os dados utilizados para informar tais sistemas refletem vieses produtores de resultados distorcidos, permitindo que algoritmos performem melhor com rostos masculinos e de pele clara em detrimento a rostos femininos e de pele escura[18].

Dentre os princípios gerais de tratamento de dados, A LGPD também enuncia a observância da não discriminação, vedando a realização do tratamento para fins discriminatórios ilícitos ou abusivos (artigo 6º inciso IX). Autoriza, ainda, que a Autoridade Nacional de Proteção de Dados promova auditoria para verificação de aspectos discriminatórios em tratamento automatizado de dados pessoais, em caso de não oferecimento de informações ao seu devido titular (artigo 20, §2º).

Para além das questões envolvendo a discriminação algorítmica, engrossam o caldo dos problemas envolvendo o uso de sistemas de inteligência artificial: a) o uso de bases de dados seletivas ou desatualizadas; b) métodos corrompidos de coleta, análise e tratamento de dados; c) a opacidade^[19] das decisões automatizadas; d) os vieses de programação; e) a incapacidade de controle e supervisão humana de decisões algorítmicas^[20]; f) os vieses de confirmação que os julgamentos algorítmicos projetam sobre a mente humana (confirmation bias^[21]).

Em sua brilhante série sobre discriminação algorítmica no portal JOTA^[22], Ana Frazão reuniu outras adversidades envolvendo o uso de sistemas de IA, tais como: a) uso de algoritmos e fórmulas matemáticas para a execução de tarefas qualitativas e subjetivas (problema da matematização das ciências humanas^[23]); b) irresponsabilidade humana na terceirização de decisões difíceis^[24]; c) hiato entre programadores e controladores; d) ausência de preocupação ética na formulação de designs^[25]; d) riscos de correlações absurdas (allucinating patterns^[26]) e resultados não intencionais^[27].

Cite-se, ainda, os problemas advindos da perfilização e do score de pessoas. Assim, a classificação de seres humanos a partir de critérios definidos por algoritmos para a diferenciação da oferta e a concessão de crédito (credit score) ou para a categorização e estabelecimento de prognoses de comportamentos (social score) revela-se essencialmente problemática do ponto de vista ético, político e social, vilipendiando em diversos aspectos os direitos humanos.

Daí por que se faz relevante cogitar de uma regulação para o uso de sistemas algorítmicos, a partir de valores éticos que ao mesmo tempo iluminem os designs e os ecossistemas de programação, restringindo a aplicabilidade de sistemas de inteligência artificial em situações consideradas de alto risco a direitos fundamentais.

Cite-se, a este respeito, os cinco princípios éticos da Comissão Europeia pela Eficiência da Justiça (Cepej) sobre o uso de Inteligência Artificial nos sistemas judiciais, que envolvem: a) o respeito aos direitos fundamentais; b) a não-discriminação; c) qualidade e segurança; d) transparência, imparcialidade e equidade; e) controle pelo usuário.

Percorrendo o mesmo caminho, a recente Declaração Europeia sobre os Direitos e Princípios Digitais para a Década Digital (2022) convoca os países europeus a “garantir que os sistemas algorítmicos se baseiam em conjuntos de dados adequados para evitar a discriminação ilegal (...)”, assegurando também que os algoritmos e a inteligência artificial “não sejam utilizados para determinar previamente as escolhas das pessoas, por exemplo no que diz respeito à saúde, à educação, ao emprego e à sua vida privada”.

No Brasil, o tema vem sendo discutido no Parlamento a partir de três principais projetos de lei, sendo o mais expressivo deles o PL 21/2020, que visa a instituir o Marco Civil da Inteligência Artificial, ao lado do PL 5051/2019 e do PL 872/2021.

Conforme veremos na próxima coluna, a vulnerabilidade algorítmica tende a ser ainda mais prejudicial, quando associada a modulação de comportamentos humanos (vulnerabilidade neural), última das dimensões da vulnerabilidade digital que trabalharemos nesta série.

Vejo vocês em breve!

[1] REIS, Paulo Victor Alfeo. Algoritmos e o Direito. São Paulo: Almedina, 2020, p. 112-113.

[2] MENDES, Schertel Laura; MATTIUZZO, Marcela. Discriminação algorítmica: conceito, fundamento legal e tipologia. Direito Público, [S.l.], v. 16, n. 90, dez. 2019, p. 43. Disponível em: https://portal.idp.emnuvens.com.br/direitopublico/article/view/3766 Acesso em nov. 2021.

[3] BERLINSKI, David. O advento do algoritmo: a ideia que governa o mundo. Trad. Leila Ferreira de Souza Mendes. São Paulo: Globo, 2002.

[4] Como afirmam John Kay e Mervyn King: “não precisamos temer os computadores; devemos usá-los. Para fazer isso, é necessário julgamento. O bom senso não pode ser resumido em doze regras de vida, sete hábitos de pessoas eficazes ou mesmo vinte e uma lições para o século XXI. A inteligência humana e a inteligência artificial são diferentes, e a última aprimora em vez de substituir a primeira”. KAY, John; KING, Mervin. Radical Uncertainty. Decision-making beyond the numbers. New York: W. W. Norton & Company, 2020, P. 176.

[5] REIS, op. cit., p. 119-120.

[6] Ibid., p. 133-134.

[7] FREITAS, Juarez; FREITAS, Thomas Bellini. Direito e inteligência artificial – em defesa do humano. Belo Horizonte: Forum, 2020, p. 31-32.

[8] NUNES, Dierle; MARQUES, Ana Luiza Pinto Coelho. Inteligência artificial e direito processual: vieses algorítmicos e os riscos de atribuição de função decisória às máquinas. Revista de Processo, v. 285, nov/2018, p. 03.

[9] Laura Mendes classifica quatro hipóteses de discriminação: a) discriminação por erro estatístico; b) discriminação por generalização; c) discriminação pelo uso de informações sensíveis; d) discriminação limitadora do exercício de direitos. MENDES, op. cit., p. 51-52.

[10] FRAZÃO, Ana. Discriminação algorítmica: superando estatísticas e cálculos probabilísticos. Jota, 25 ago. 2021, disponível em: https://www.jota.info/opiniao-e-analise/artigos/discriminacao-algoritmica-superando-estatisticas-e-calculos-probabilisticos-25082021 Acesso em: nov. 2021.

[11] Em 2013, na cidade de La Crosse, Eric Loomis foi detido e acusado de fuga policial em um veículo utilizado em um tiroteio. Loomis confessou que dirigia o veículo, mas negou a autoria dos disparos. Mesmo assim, foi condenado à pena de seis anos de prisão por ambos os crimes. A sentença foi calculada com o auxílio do sistema Compas, que o classificou como um preso de “alto risco para a comunidade” e com “grandes chances de reincidência”. Inconformado, Loomis recorreu da sentença, arguindo que a ausência de acesso à fórmula utilizada pelo algoritmo violava o seu direito à defesa. A Suprema Corte de Wisconsin rejeitou o recurso, aduzindo que o réu receberia a mesma sentença caso o Compas não houvesse sido utilizado. Loomis seguiu preso e nunca obteve acesso ao algoritmo.

[12] MATTU, Surya; LARSON, Jeff; ANGWIN, Julia; KIRCHNER, Lauren. How We Analyzed the Compas Recidivism Algorithm. ProPublica (2016). Disponível em: https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm Acesso em nov. 2021.

[13] NOBLE, Safiya Umoja. Algorithms of Opression – how search engines reinforce racism. New York: New York University Press, 2018, p. 06-07.

[14] O’NEIL, op. cit., p. 164-165.

[15] NUNES; MARQUES, op. cit., p. 07.

[16] RODOTÀ, Stefano. A vida na sociedade da vigilância: a privacidade hoje. Rio de Janeiro: Renovar, 2008.

[17] European Commission, The European approach to trustworthy AI. Disponível em: Europe_fit_for_the_Digital_Age__Commission_proposes_new_rules_and_actions_for_excellence_and_trust_in_Artificial_Intelligence.pdf Acesso em nov. 2021.

[18] https://www.jota.info/coberturas-especiais/protecao-de-dados/reconhecimento-facial-metro-de-sp-23032022

[19] Por opacidade, entenda-se a não compreensão do caminho estatístico percorrido pelo algoritmo para se chegar ao resultado proposto.

[20] NUNES, Dierle. A supervisão humana das decisões de inteligência artificial reduz os riscos? Revista Consultor Jurídico, 2021, disponível em: https://www.conjur.com.br/2021-jun-25/nunes-supervisao-humana-decisoes-ia-reduz-riscos Acesso em nov. 2021.

[21] Para uma boa compreensão dos inúmeros vieses cognitivos e sua relação com o Direito Processual, conferir: NUNES, Dierle; LUD, Natanael; PEDRON, Flávio Quinaud. Desconfiando da imparcialidade dos sujeitos processuais – um estudo sobre os vieses cognitivos, a mitigação de seus efeitos e o debiasing. Salvador: Juspodivm, 2018.

[22] FRAZÃO, Ana. Constituição, Empresa e Mercado. Disponível em: https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado Acesso em nov. 2021.

[23] Sobre o problema da “objetificação” do subjetivo, conferir: COHEN, Julie E. Examined lives: informational privacy and the subject as object. Stanford Law Review, v. 52, 2000, pp. 1373-1438.

[24] Gilmar Mendes se referiu ao tema como a “era das escolhas de Sofia automatizadas” no julgamento do caso IBGE, cf. STF, ADI 6387 MC, Tribunal Pleno, j. em 07/05/2020, p. 97-110.

[25] “As architects of decision-making systems, data scientists are political actors in that they play an increasingly powerful role in defining such distributions across a wide array of social contexts”. GREEN, Ben. Data Science as Political Action: Grounding Data Science in a Politics of Justice. Disponível em: https://arxiv.org/ftp/arxiv/papers/1811/1811.03435.pdf Acesso em nov. 2021.

[26] DOMINGOS, Pedro. The Master Algorithm. How the quest for the ultimate learning machine will remake our world. New York: Basic Books, 2015.

[27] KEARNS, Michael; ROTH, Aaron. The Ethical Algorithm. The Science of Socially Aware Algorithm Design. New York: Oxford University Press, 2020; RUSSELL, Stuartigo Human Compatible. Artificial intelligence and the problem of control. Viking, 2019.

Vulnerabilidade digital e discriminação algorítmica - parte 5

Em que medida os sistemas de inteligência artificial podem reproduzir resultados discriminatórios?