JOTA Info
Constituição, Empresa e Mercado
Menu
  • Poder
    Voltar
    • Poder
    • Justiça
    • Dados
    • Legislativo
    • STF
    • Eleições 2022
  • Tributos
  • Saúde
  • Opinião & Análise
    Voltar
    • Opinião & Análise
    • Análise
    • Colunas
    • Artigos
  • Coberturas Especiais
    Voltar
    • Coberturas Especiais
    • Aluguel por Temporada
    • Aviação: Desafios da Retomada
    • Diversidade
    • Inovação e Pesquisa
    • Liberdade de Expressão
    • PL das Debêntures
    • Proteção de Dados
    • Regulação e Inovação
    • Segurança Jurídica & Desenvolvimento
    • Sociedade Digital
  • Cadastre-se
  • Assine
  • Pro
Buscar
  • Cadastre-se
  • Assine
  • Pro
Login
  • Facebook
  • Twitter
  • Linkedin
  • Instagram
  • RSS

Home » Opinião & Análise » Colunas » Constituição, Empresa e Mercado » Discriminação algorítmica: por que algoritmos preocupam…

  • Economia

    Relator da LDO propõe orçamento secreto impositivo e pode complicar futuro presidente

  • Eleições 2022

    Potenciais e desafios dos diferentes modos de pesquisas nestas eleições

  • Tributário

    STF proíbe ICMS majorado em SC e no DF sobre energia e telecom

  • Coluna da ABDF

    Liquidar garantias antes do trânsito em julgado eleva o custo Brasil

Parte VIII

Discriminação algorítmica: por que algoritmos preocupam quando acertam e erram?

Mapeando algumas das principais discriminações algorítmicas já identificadas

  • Ana Frazão
04/08/2021 10:33
Facebook Twitter Whatsapp Email
comentários

Como os artigos anteriores da série procuraram mostrar, os sistemas algorítmicos têm sido programados e executados sem os adequados cuidados para que os seus julgamentos sejam compatíveis com parâmetros éticos e jurídicos fundamentais. Daí ser não ser nenhuma surpresa o número de resultados disfuncionais e discriminatórios que vêm sendo identificados na sua recente utilização.

Diante desse contexto, inúmeras formas de discriminação se tornam possíveis, desde aquelas baseadas em dados objetivos, como a geolocalização[1], até aquelas baseadas em dados subjetivos, sensíveis ou inferidos a partir de dados sensíveis, bem como dos perfis formados a partir deles.

Um dos riscos desse processo é o da discriminação estatística, em que o indivíduo é julgado a partir das características do grupo a que pertence, sem qualquer recurso para que possa haver alguma individualização. No famoso livro Weapons of math destruction. How big data increases inequality and threatens democracy[2], que já se tornou um clássico sobre o tema, Cathy O’Neil alerta para esse risco:

“Do you see the paradox? An algorithm processes a slew of statistics and comes up with a probability that a certain person might be a bad hire, a risky borrower, a terrorist, or a miserable teacher. That probability is distilled into a score, which can turn someone’s life upside down. And yet when the person fights back, “suggestive” countervailing evidence simply won’t cut it.”

É interessante observar que os problemas da discriminação estatística ocorrem mesmo quando os dados estão corretos e também as estatísticas. Aliás, é comum se dizer que quanto mais arraigado for um preconceito na vida real, mais os algoritmos tenderão a vê-lo como um padrão e mais tenderão a replicá-lo se não houver nenhum cuidado para conter esse processo.

Ademais, os problemas da discriminação estatística se tornarão ainda mais graves quando os dados não são de qualidade ou quando há falhas na própria utilização da metodologia estatística ou na interpretação dos seus resultados, como acontece nas hipóteses em que se confunde correlação com causalidade.

No que se refere à qualidade dos dados utilizados pelos sistemas algorítmicos, nem sempre há os incentivos adequados para assegurá-la, o que é particularmente preocupante em relação a dados que podem mudar rapidamente, como as preferências ou hábitos dos indivíduos. Se não houver mecanismos para a desconsideração de dados ultrapassados e para a devida utilização apenas de dados atuais e fidedignos, os primeiros podem funcionar como poderosos ruídos para manter ou incluir indivíduos em determinados grupos por conta de um critério que não faz mais sentido no presente.

O que é irônico de todo esse processo de julgamentos e classificações de indivíduos é que, da mesma forma que pode ser ruim ser julgado apenas pelo critério estatístico, ou seja, pelas características gerais do grupo a que se pertence, pode ser ainda pior ser julgado por características personalíssimas que, devidamente identificadas pelos sistemas algorítmicos, podem permitir que estes conheçam a pessoa melhor do que seus familiares ou ela mesma.

Esse tipo de situação pode dar margem a discriminações com alto grau de individualização e sofisticação, inclusive por meio da exploração indevida das fragilidades e vulnerabilidades das pessoas. Daí por que não há dúvidas de que os algoritmos preocupam tanto quando erram como também como acertam, pois tanto os erros quanto os acertos possibilitarão diversas formas de discriminações inaceitáveis.

Acresce que, além dos problemas já apontados, a programação também pode ser responsável pela manutenção de diversos preconceitos e equívocos. Afinal, apesar de terem sido criados em prol da neutralidade, da justiça e da superação das limitações de racionalidade dos seres humanos, os algoritmos podem incorporar escolhas, vieses e preconceitos dos seus programadores, ainda que de forma não intencional.

A opacidade e falta de accountability dos sistemas algorítmicos ainda permite que eles, segundo Cathy O’Neil[3] possam funcionar como verdadeiros “deuses”, no sentido de que não estão sujeitos a nenhum tipo de questionamento ou impugnação, quaisquer que sejam seus resultados:

“The math-powered applications powering the data economy were based on choices made by fallible human beings. Some of these choices were no doubt with the best intentions. Nevertheless, many of these models encoded human prejudice, misunderstanding, and bias into the software systems that increasingly managed our lives. Like gods, these mathematical models were opaque, their workings invisible to all but the highest priest in their domain: mathematicians and computer scientists. Their veredicts, even when wrong or harmful, were beyond dispute or appeal. And they tended to punish the poor and the oppressed in our society, while making the rich richer.”[4]

A parte final da citação da autora ainda chama a atenção para um grave problema: os efeitos ainda mais nefastos dos resultados algorítmicos para os pobres.

Tal receio é confirmado por Virginia Eubanks[5], em seu interessante livro Automathing inequality. How High-Tech Tools Profile, Police, and Punish the Poor, oportunidade que a autora mostra como tais falhas de programação têm prejudicado exatamente os mais pobres e vulneráveis da sociedade:

“Through these new systems have the most destructive and deadly effects in low-income communities of color, they impact poor and working-class people across the color line. While welfare recipients, the unhoused, and poor families face the heaviest burdens of high-tech scrutiny, they aren’t the only ones affected by the growth of automated decision-making. The widespread use of these systems impacts the quality of democracy for us all.

Automated decision-making shatters the social safety net, criminalizes the poor, intensifies discrimination, and compromises our deepest national values.

(…)

America’s poor and working-class people have long been subject to invasive surveillance, midnight raids, and punitive public policy that increase the stigma and hardship of poverty. (…) Today, we have forged what I call a digital poorhouse from databases, algorithms, and risk models.”

Porém, não são somente os pobres que estão em risco acentuado. Há hoje muitas evidências de como a utilização de algoritmos tem reforçado as discriminações raciais e étnicas. Sobre o tema, vale pesquisar o site da Algorithmic Justice League[6], uma das iniciativas de Joy Bouloamwini, que é a protagonista do igualmente recomendado documentário Coded Bias. Aliás, o filme é bastante interessante não apenas por mostrar a discriminação racial, como também por alertar para o fato de que muitas tecnologias discriminatórias têm sido são lançadas no mercado e utilizadas sem qualquer cuidado, transformando os seres humanos em verdadeiras cobaias, mesmo quando seus resultados preditivos são próximos da aleatoriedade e, portanto, muito distantes do objetivo de acurácia que deveria nortear os julgamentos algorítmicos.

No Brasil, vale acompanhar a obra e o site do pesquisador Tarcizio Silva, incluindo a interessante linha do tempo da discriminação algorítmica que ele sistematizou[7]. Dentre os casos mencionados estão os de que “90,5% dos presos por reconhecimento facial no Brasil são negros”, “Carros autônomos têm mais chances de atropelar pessoas negras” e “Google acha que ferramenta em mãos uma pessoa negra é uma arma”.

Outro tema que também vêm recebendo a atenção da literatura é o da discriminação de gênero, assunto em relação ao qual a obra de Maria Cristine Branco Lindoso[8], Discriminação de gênero no tratamento automatizado de dados pessoais. Como a automatização incorpora vieses de gênero e perpetua a discriminação das mulheres, resultante de sua dissertação de Mestrado que eu tive a honra de orientar, apresenta um excelente mapeamento.

Obviamente que não é intenção do presente artigo fazer uma revisão de literatura a respeito do assunto ou destacar todas as formas de discriminação algorítmica, mas tão somente realçar o quanto elas são prováveis e o quanto já fazem parte da realidade, bem como a circunstância de que, apesar de o risco de discriminação abranger todos os cidadãos, ele é especialmente acentuado para alguns grupos, como pobres, negros e mulheres, dentre outros.

Tais resultados, repete-se, independem da intenção dos programadores pois, como explica Sara Wachter-Boettecher, autora do livro Technically Wrong. Sexist apps, biased algorithms, and other threats of toxic tech[9], cientistas de dados não estão considerando os danos que os seus sistemas podem trazer para as pessoas simplesmente porque nunca ocorreu a eles que isso seria algo sobre o qual deveriam pensar. Além disso, a autora também destaca o quanto a tech culture, ao refletir a chamada Silicon Valley meritocracy, acaba sendo baseada nos valores dos homens brancos[10].

Portanto, falar de discriminação algorítmica não é tratar de um receio ou de uma mera possibilidade, mas sim abordar problema atual e real, cujos riscos e danos não podem ser mesmo estimados. É com base nesse diagnóstico, traçado ao longo da presente série até aqui, que se passará, a partir do próximo artigo, a explorar algumas das alternativas para a solução do problema.


[1] Ver FRAZÃO, Ana. Geopricing e geoblocking: as novas formas de discriminação de consumidores. Os desafios para o seu enfrentamento. Jota. https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/geopricing-e-geoblocking-as-novas-formas-de-discriminacao-de-consumidores-15082018.

[2] O’NEIL, Cathy. Weapons of math destruction. How big data increases inequality and threatens democracy. New York: Broadway Books, 2017, p. 10.

[3] Op.cit., p. 3.

[4] Op.cit., p. 3.

[5] EUBANKS, Virginia. Automating Inequality. How High-Tech Tools Profile, Police, and Punish the Poor. New York: St. Martin`s, 2015.

[6] https://www.ajl.org

[7] https://tarciziosilva.com.br/blog/destaques/posts/racismo-algoritmico-linha-do-tempo/

[8] LINDOSO, Maria Cristine Branco. Discriminação de gênero no tratamento automatizado de dados pessoais. Como a automatização incorpora vieses de gênero e perpetua a discriminação das mulheres. Rio de Janeiro: Processo, 2021.

[9] WACHTER-BOETTCHER, Sara. Technically Wrong. Sexist apps, biased algorithms, and other threats of toxic tech. New York: W.W. Norton & Company, 2017, p. 145.

[10] Op. cit., p. 173.

Ana Frazão – Sócia de Ana Frazão Advogados. Professora de Direito Civil e Comercial da UnB. Ex-conselheira do Cade.

Compartilhe Facebook Twitter Whatsapp

Próxima
stf
acompanhe
STF – questões trabalhistas – Sessão do dia 04/08/2021

Tags Algoritmo algoritmos Direito Antitruste Direito Concorrencial direito digital Discriminação algorítmica

Recomendadas

produtos sem registro

Sem acordo

PL que limita importação de remédios sem registro deve ficar para próximo semestre

Comissão de Assuntos Sociais do Senado aprovou audiência pública sobre o tema, mas não houve definição de datas

Vilhena Soares | Saúde

governo
Crédito: Raoni Arruda

Eleições 2022

Auxílio eleitoral: o improviso do governo para resolver problemas econômicos

Raciocínio no Congresso é de que não se trata mais de ajudar Bolsonaro, mas de não prejudicar a própria reeleição

Bárbara Baião | Coluna da Bárbara Baião

Orçamento secreto
Fachada do Congresso Nacional / Crédito: Pedro França/Agência Senado

Economia

Relator da LDO propõe orçamento secreto impositivo e pode complicar futuro presidente

Se aprovado, Arthur Lira pode ganhar força adicional para se manter na presidência da Câmara dos Deputados

Fabio Graner | Legislativo

Juízes durante a audiência pública do caso Baraona Bray. Crédito: Corte IDH/Divulgação

Direitos humanos

Condenado por injuriar senador, advogado alega violação da liberdade de expressão

Carlos Baraona foi processado no Chile após dar entrevistas sobre um esquema de comércio ilegal de madeira

Erick Gimenes | Jotinhas

Roe v. Wade
Manifestantes protestam em frente à Suprema Corte dos EUA contra decisão que barrou direito ao aborto. Crédito: Cássio Casagrande

o mundo fora dos autos

Roe v. Wade revertido nos EUA: consequências políticas da decisão

Julgamento da Suprema Corte americana repercutirá sobre os três poderes

Cássio Casagrande | O mundo fora dos autos

STF
Crédito: Marcello Casal Jr./Agência Brasil

estado de direito

O STF entre o jogo de pega-vareta e o carnaval jurídico

Expedientes do governo nos últimos três anos desmoralizam a hierarquia das leis e deterioram o processo legislativo

José Eduardo Faria | Artigos

wikijota

WikiJOTA

ANS: Entenda o que faz a Agência Nacional de Saúde Suplementar

Fábio Santos

WikiJOTA

LC 116: Saiba o que é e entenda sua relevância para o sistema tributário

Pedro Augusto A. A. Asseis

Rol da ANS

ADPF

Idec e Rede Sustentabilidade questionam rol taxativo da ANS no Supremo

Erick Gimenes

WikiJOTA

ANS: Entenda o que faz a Agência Nacional de Saúde Suplementar

Fábio Santos

Eleições 2022

Eleições 2022

Potenciais e desafios dos diferentes modos de pesquisas nestas eleições

Daniel Marcelino

Eleições 2022

Saiba quem são os pré-candidatos ao Senado pelo Rio Grande do Norte em 2022

Jéssica Viana

Casa JOTA

webinar

Casa JOTA debate oportunidades e desafios na segurança cibernética no dia 29/6

Redação JOTA

Debate

Casa JOTA discute ‘Governo digital: desafios de Estado’ em webinar no dia 28/6

Redação JOTA

TJSP

1ª Turma

Dono de imóvel objeto de usufruto é responsável solidário pelo IPTU, decide STJ

Cristiane Bonfanti

Impostos e taxas

Relator no TJSP vota pela inconstitucionalidade do voto de qualidade no TIT-SP

Mariana Ribas

Jotinhas

Direitos das Mulheres

Suprema Corte dos EUA anula o direito constitucional ao aborto

Danielly Fernandes

Operação da PF

Milton Ribeiro é preso em operação sobre ‘gabinete paralelo’ no MEC

Redação JOTA

ICMS

Tributário

STF proíbe ICMS majorado em SC e no DF sobre energia e telecom

Cristiane Bonfanti

Aumento dos Combustíveis

Gilmar Mendes marca audiência de conciliação entre União e estados sobre ICMS dos combustíveis

Flávia Maia

Regulação

Observatório para a Qualidade da Lei

Regulação na Amazônia

Fabiana de Menezes Soares, Bianor Saraiva Nogueira Júnior

competindo pela infraestrutura

Jurisdição e competitividade na regulação da infraestrutura

Gilvandro Vasconcelos Coelho de Araújo, Rafael Araripe Carneiro


  • EDITORIAS
    • STF
    • Tributário
    • Saúde
    • Trabalho
    • Regulação
    • Legislativo
    • Carreira
    • Colunas
    • Artigos
  • Temas
    • Ebooks
    • Congresso
    • LGPD
    • Anvisa
    • Reforma tributária
    • Carf
    • Liberdade de Expressão
    • TCU
    • Covid-19
    • PIS/Cofins
  • Siga o JOTA
    • YouTube
    • Spotify
    • Twitter
    • LinkedIn
    • Instagram
    • Facebook
  • Sobre
    • Quem Somos
    • About Us
    • Blog
    • Ética JOTA
    • Política de diversidade
    • Termos de uso
    • Política de privacidade
    • Seus dados
    • FAQ
  • Assine
    • Cadastre-se
    • PRO
    • PRO Tributos
    • PRO Poder
    • PRO Saúde
    • Aprovômetro
    • Atendimento
    • Contato
    • Trabalhe Conosco