VOLTAR
  • Poder
    • Justiça
    • Dados
    • Legislativo
    • STF
    • Eleições 2022
  • Tributos
  • Saúde
  • Opinião & Análise
    • Análise
    • Colunas
    • Artigos
  • Coberturas Especiais
    • Agro: Desafio das Rodovias
    • Aluguel por Temporada
    • Aviação: Desafios da Retomada
    • Brasil Empreendedor
    • Diversidade
    • Inovação e Pesquisa
    • Liberdade de Expressão
    • Proteção de Dados
    • Regulação e Inovação
    • Segurança Jurídica & Desenvolvimento
    • Sociedade Digital
Conheça o Jota PRO para empresas Assine nossas newsletters gratuitas
JOTA
Login
  • Poder
    • Justiça
    • Dados
    • Legislativo
    • STF
    • Eleições 2022
  • Tributos
  • Saúde
  • Opinião & Análise
    • Análise
    • Colunas
    • Artigos
  • Coberturas Especiais
    • Agro: Desafio das Rodovias
    • Aluguel por Temporada
    • Aviação: Desafios da Retomada
    • Brasil Empreendedor
    • Diversidade
    • Inovação e Pesquisa
    • Liberdade de Expressão
    • Proteção de Dados
    • Regulação e Inovação
    • Segurança Jurídica & Desenvolvimento
    • Sociedade Digital

Parte VII

Discriminação algorítmica: a relação entre homens e máquinas

Os riscos das interações disfuncionais e da irresponsabilidade organizada

  • Ana Frazão
28/07/2021 07:15 Atualizado em 04/08/2021 às 10:34
Facebook Twitter Whatsapp Email
comentários
Imagem reúne logos de aplicativos e redes sociais como Spotify,TikTok,Netflix,Twitter e Instagram. Todos usam algoritmos
Aplicativos e redes sociais que usam algoritmos (Crédito: Alexander Shatov/Unsplash)

Como já se viu ao longo da série, a transferência ou delegação total do processo decisório de agentes públicos e privados para sistemas algorítmicos é procedimento que envolve diversos riscos, considerando as limitações já apontadas na programação e nos designs de tais sistemas.

Um dos maiores riscos é o da irresponsabilidade organizada, pois, como igualmente já se apontou, assim como programadores podem não se sentir responsáveis pelos resultados concretos e pelas utilizações de seus sistemas, usuários podem não se sentir responsáveis quando simplesmente executam uma aplicação de terceiro.

Por outro lado, mesmo quando não ocorre a terceirização total e o sistema algorítmico tem o papel de ser apenas um auxiliar no processo decisório, permanecendo o ser humano com a “última palavra”, os desafios não são banais. Afinal, pouco se sabe sobre como se comportam seres humanos diante de decisões algorítmicas, havendo o fundado receio de que tendam a concordar com os seus resultados, até porque, considerando a opacidade dos algoritmos, não conseguem compreendê-los nem questioná-los.

Como mostram Chiodo e Clifton[1], é ingenuidade achar que boas práticas de gestão poderão resolver esse tipo de problema pois, a cada estágio de separação do trabalho matemático traduzido no sistema algorítmico, perde-se parcela de significado sobre o próprio alcance da programação. Consequentemente, fica muito difícil para o tomador de decisões, ao buscar auxílio nos sistemas algorítmicos, entender todo o trabalho matemático que foi feito, assim como as suas limitações.

Ainda segundo Chiodo e Clifton[2], é da própria natureza da gestão que decorrem tais problemas. Assim como um gestor não tem condições de reproduzir todo o trabalho feito pelos seus subordinados, igualmente não faria sentido que pretendesse fazer isso com sistemas algorítmicos, ainda mais quando, diante das características destes, é grande a probabilidade de que não sejam compreendidos, mesmo após consideráveis esforços nesse intento.

Se tal cenário reforça a necessidade de matemáticos e programadores considerarem os resultados concretos de seus sistemas e incluírem parâmetros éticos nas programações, também mostra como a existência de controle humano sobre tais resultados pode ser de pouca utilidade.

Com efeito, muito se tem pensado na questão do controle por pessoa natural como solução para resolver as limitações dos julgamentos algorítmicos. Esse é um dos principais aspectos ressaltados pelas Diretrizes da União Europeia para uma Inteligência Artificial Confiável[3], documento que chega a afirmar que a supervisão humana pode exigir a capacidade de anular a decisão algorítmica.

Da mesma maneira, era essa a intenção original da Lei Geral de Proteção de Dados (LGPD) ao tratar das decisões totalmente automatizadas em seu art. 20, na qual se previa o direito de explicação e revisão de decisões totalmente automatizadas por meio de pessoa natural, requisito que foi excluído posteriormente pela Lei nº 13.853/2019. Apesar das merecidas críticas à exclusão da revisão por pessoa natural, a grande questão é saber em que medida a supervisão humana é realmente adequada e eficiente para resolver problemas de decisões algorítmicas enviesadas, discriminatórias ou disfuncionais.

Logo, é fundamental refletir sobre como interagem os usuários com os diagnósticos e predições de sistemas algorítmicos e qual é a medida da sua capacidade de reação a determinados resultados. Afinal, para que a supervisão humana tenha resultado prático, deve haver efetivo controle e possibilidade de divergência diante dos resultados algorítmicos.

Entretanto, tais possibilidades parecem limitadas, como demonstraram Ben Green e Yiling Chen[4] em interessante estudo no qual analisam sistemas algorítmicos como o Compas, utilizados para auxiliar juízes na dosimetria de penas por meio de cálculos sobre o potencial de reincidência dos réus sob julgamento.

Antes de testarem suas hipóteses, os autores tentam mapear os trabalhos anteriores sobre o tema, realçando a parte da literatura que aponta o quanto as pessoas são ruins para incorporar, em suas análises, predições quantitativas. O chamado fenômeno do viés da automação (automation bias) sugere que ferramentas de automação influenciam decisões humanas de formas significativas e geralmente ruins. Dois tipos de erros são particularmente comuns: (i) erros de omissão, nos quais as pessoas não reconhecem quando os sistemas automatizados erram e (ii) erros comissivos, nos quais as pessoas seguem os sistemas automatizados sem considerar suas informações contraditórias.

Consequentemente, uma forte confiança em sistemas automatizados pode alterar as relações das pessoas com as suas tarefas, criando uma espécie de “para-choque” entre as decisões e os seus impactos, com a consequente perda do senso de responsabilidade e da accountability.

Daí o receio de que decisões algorítmicas, embora tenham sido desenhadas para reduzir os erros humanos, possam causar ainda mais problemas.

Por outro lado, os autores igualmente ressaltam estudos que mostram que (i) mesmo diante de algoritmos com maior acurácia, as pessoas nem sempre os incorporam para melhorar suas decisões, preferindo confiar no seu próprio julgamento ou no julgamento de terceiro, (ii) as pessoas não sabem distinguir entre predições confiáveis e predições não confiáveis e (iii) existe uma aversão ao algoritmo, de forma que as pessoas são menos tolerantes aos erros dos algoritmos do que aos erros das pessoas.

Outra parte dos estudos sobre o assunto mostra a importância dos vieses dos julgadores humanos como verdadeiros filtros informacionais, de forma que mesmo informações que supostamente ajudariam as pessoas a tomar melhores decisões podem falhar ao ser incorporadas de forma enviesada no processo decisório.

Como se pode observar, há grande controvérsia a respeito de como os seres humanos formalmente responsáveis por determinadas decisões agem e reagem diante de resultados algorítmicos, existindo riscos tanto de que os sigam de forma irrefletida como de que os apliquem de acordo com seus próprios vieses, o que pode gerar resultados ainda mais disfuncionais.

Todo esse cenário mostra o quanto o sucesso da utilização de sistemas algorítmicos nos processos de decisão depende da prévia reflexão sobre como se dá a complexa relação entre homens e máquinas, a fim de evitar resultados indesejáveis, que vão da falta de supervisão humana à própria deturpação do resultado algorítmico.

Voltando ao estudo de Ben Green e Yiling Chen[5], os autores formulam três hipóteses que, ao final, são confirmadas pela pesquisa empírica: (i) participantes que recebem uma avaliação algorítmica de risco farão predições com menor acurácia do que a avaliação de risco, (ii) participantes serão incapazes de avaliar a sua própria performance e também a performance do algoritmo e (iii) diante da forma como os participantes interagem com a avaliação de riscos, suas posturas serão desproporcionalmente prováveis de aumentar as previsões de risco em relação a réus negros do que réus brancos.

Logo, o estudo mostra o quanto se tem a avançar na compreensão dos reais efeitos de avaliações ou diagnósticos algorítmicos sobre as decisões humanas que deles se utilizam, inclusive para avaliar o risco de que a intervenção humana não seja capaz de identificar falhas nem de realizar propriamente qualquer controle sobre eventuais problemas dos algoritmos.

Por mais que ainda seja cedo para formular conclusões sobre o assunto, já foi possível verificar que um resultado algorítmico pode inclusive alavancar a discriminação contra um determinado grupo. Não é sem razão que Ben Green e Yiling Chen[6] defendem a necessidade de inserir as avaliações algorítmicas de risco no contexto social e tecnológico, a fim de que seus impactos possam ser identificados e valorados.

Ademais, ficou igualmente claro, no exemplo concreto estudado pelos autores, que a introdução de análises algorítmicas de risco no sistema criminal não elimina a discricionariedade nem cria julgamento mais objetivos, mas simplesmente transfere a discricionariedade para outras “áreas”, o que inclui a interpretação judicial da avaliação algorítmica e também a decisão sobre quão fortemente se pode confiar nela.

Seja porque a interação entre homem e máquina pode levar a uma total confiança nos sistemas, seja porque pode levar a interpretações que criem novas áreas de discricionariedade, que podem inclusive distorcer o sistema, é urgente que se entenda minimamente essa interação nos casos concretos, sob pena de tornar inexequível a proposta de que o controle humano possa ser suficiente para resolver problemas de discriminação.

Dessa maneira, tão importante quanto um bom design algorítmico, que possa considerar os resultados práticos e os desdobramentos éticos da sua aplicação, é a qualidade da interação entre os usuários e os sistemas algorítmicos, a fim de se evitar resultados disfuncionais e mesmo a irresponsabilidade organizada, efeitos que têm sido amplamente verificados na prática recente, como se verá no próximo artigo da série.


[1] CHIODO, Maurice; CLIFTON, Toby. The Importance of Ethics in Mathematics. European Mathematical Society. Newsletter No. 114, December 2019.

[2] Op.cit.

[3] https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai

[4] GREEN, Ben; CHEN, Yiling. In FAT* ’19: Conference on Fairness, Accountability, and Transparency (FAT* ’19), January 29–31, 2019, Atlanta, GA, USA. ACM, New York, NY, USA, 10 pages. https://doi.org/10. 1145/3287560.3287563. https://scholar.harvard.edu/files/19-fat.pdf

[5] Op.cit.

[6] Op.cit.

Ana Frazão – Sócia de Ana Frazão Advogados. Professora de Direito Civil e Comercial da UnB. Ex-conselheira do Cade.

Compartilhe Facebook Twitter Whatsapp

Próxima
CNMP; imprensa; jornalistas
LGPD e a fadiga do consentimento
O dilema do consentimento e a sobrecarga informacional

Tags Algoritmo algoritmos Constituição Direito Antitruste Direito Concorrencial direito digital Discriminação algorítmica empresa e mercado Redes sociais

Recomendadas

concursos públicos
Crédito: Pedro França/Agência Senado

Administração pública

Câmara aprova projeto de lei geral dos concursos públicos

PL 252/2003 permite inovações como os concursos digitais

Anna Carolina Migueis Pereira, Conrado Tristão | Artigos

Aristóteles orçamento público
Crédito: Pixabay

Coluna Fiscal

Aristóteles e o orçamento público

Filósofo nos adverte contra visões unilaterais ou equivocadas

Marcus Abraham | Coluna Fiscal

desmatamento na Amazônia Legal
Crédito: Arquivo/Agência Brasil

Observatório das Eleições

Eleições estaduais e desmatamento na Amazônia Legal: o que esperar?

O que já está ruim, pode piorar ainda mais

Observatório das Eleições | Artigos

TIT
Crédito: Iano Andrade/CNI

Observatório do TIT

A base de cálculo do ITCMD aos olhos da Câmara Superior do TIT

A maioria dos julgadores considera o ‘valor de mercado’ como base de cálculo do imposto

Grupo de Pesquisa sobre Jurisprudência do TIT do NEF/FGV Direito SP | Artigos

Manifestantes pró (à direita) e contra (à esquerda) o impeachment da ex-presidente Dilma Rousseff (PT) ocupam a Esplanada dos Ministérios durante a votação na Câmara dos Deputados | Foto: Juca Varella/Agência Brasil

Diálogo

Apoiadores de Bolsonaro e Lula têm opiniões parecidas em meio ambiente e racismo

Pesquisa do JOTA com o IBPAD mostrou convergência de pensamentos; posse de armas e aborto geraram discordância

Letícia Paiva | Eleições 2022

Luiz Fux
O presidente do STF, ministro Luiz Fux. Crédito: Nelson Jr./SCO/STF

Supremo

STF aprova aumento de 18% para magistrados e servidores do Judiciário

Reajuste será feito em quatro parcelas até julho de 2024; ministros passarão a ganhar mais de R$ 46 mil

Luiz Orlando Carneiro | Do Supremo

  • Editorias
    • Poder
    • Tributário
    • Saúde
    • Opinião e Análise
    • Coberturas Especiais
  • Temas
    • Ebooks
    • Congresso
    • LGPD
    • Anvisa
    • Eleições
    • Carf
    • Liberdade de Expressão
    • TCU
    • Covid-19
    • PIS/Cofins
  • Sobre
    • Quem Somos
    • About Us
    • Blog
    • Ética JOTA
    • Política de diversidade
    • Termos de uso
    • Seus dados
    • FAQ
  • Atendimento
    • Contato
    • Trabalhe Conosco

Siga o JOTA

Assine Cadastre-se