A expressão “algoritmo” entrou no vocabulário popular há pouco mais de uma década e, desde então, é vista como algo místico, quase mágico, devido ao crescente hype em torno da inteligência artificial. No entanto, o algoritmo nada mais é do que um passo a passo, uma sequência de instruções pré-definidas, expresso em uma linguagem matemática estilizada¹ e desenvolvido com a finalidade de determinar o que um computador tem de fazer². Em curtas linhas, todo algoritmo tem um input e um output: os dados alimentam o computador, o algoritmo segue suas instruções e daí surge o resultado esperado.

No entanto, recentemente, o subcampo da ciência da computação, conhecido como aprendizado das máquinas (machine learning), ganhou especial atenção e importância. Enquanto a ciência da computação é tradicionalmente determinística, a machine learning, por outro lado, opera de forma probabilística e seus algoritmos, conhecidos como learners, são autoprogramáveis, isto é, “aprendem” por conta própria, sem a necessidade de programação prévia e explícita. Enquanto o input consiste nos dados e no resultado esperado, o output é o algoritmo que mescla ambos³.

Apesar de existir há décadas, a machine learning ganhou enorme relevância na última década em razão da explosão na disponibilidade de dados⁴, que servem como combustível para a aprendizagem de máquinas.

Não é exagero dizer que, embora muitas vezes não nos demos conta, os learners ditam o ritmo da sociedade moderna. Atividades como ofertas de cartão de crédito, cálculos do valor de seguros, recomendação de filmes e notícias são todas conduzidas por algoritmos alimentados pelos dados que produzimos.

É importante perceber que as decisões tomadas pelas máquinas que interpretam o volume massivo de dados produzidos pela sociedade não se fundam em leis da natureza ou referências objetivas claras (clear benchmarks). Como destaca Cathy O’Neil, algoritmos nada mais são do que opiniões codificadas e é um truque de marketing fazer com que eles pareçam puramente matemáticos⁵.

Não devemos, portanto, naturalizar tais decisões. É preciso, ao revés, adotar uma postura crítica com relação aos critérios utilizados para a tomada de decisões e questionar a forma como os algoritmos operam.

Um primeiro problema se refere aos dados utilizados para informar as decisões. Dados são uma representação do passado que, de alguma forma, foi digitalizado. Em nossa era, essa quantidade de dados cresce exponencialmente⁶. Com uma boa munição de dados, os learners repetem as práticas que já adotamos, automatizando o status quo⁷.

A pretendida cientificidade da decisão tomada por algoritmos é, por isso, em boa medida falsa. Decisões algorítmicas, por serem informadas por dados, refletem a sociedade que os produziu. Sem controle da qualidade desses dados, estamos sujeitos a codificar nossos preconceitos e vieses⁸. A inteligência artificial criada por machine learning não deixa de ser, por isso, uma extensão da cultura e do senso comum⁹.

A título de exemplificação, imagine um algoritmo hipotético utilizado por uma empresa de recrutamento para selecionar candidatos a cargos executivos. Na sociedade em que vivemos, grande parte dessas posições de alto escalão ainda são ocupadas por homens brancos. Um algoritmo que fosse buscar possíveis CEOs a partir de uma base de dados existente possivelmente “aprenderia” fatores de sucesso questionáveis a partir dos valores constitucionalmente consagrados, ao mesmo tempo em que a sua utilização transmitiria a ideia de uma avaliação científica, técnica, neutra, matemática.

Essa situação reflete a chamada lavagem de dados (data laundering), mecanismo por meio do qual tecnólogos e cientistas da computação “escondem”, voluntária ou involuntariamente, falhas ou preconceitos em algoritmos para que eles pareçam objetivos e meritocráticos, seja através de propriedade intelectual ou de sigilo comercial¹⁰.

Ainda que os dados utilizados para informar a decisão sejam completamente fidedignos, a operação de machine learning não deixa de ser problemática, eis que, como não conseguimos entender exatamente o quê e como o sistema aprendeu, seu funcionamento é, em boa medida, uma caixa preta.

Nesse contexto, a sociedade moderna já se depara com constrangedoras situações que parecem ter sido retiradas de roteiros de ficção científica. A chamada inteligência híbrida (human plus machine) é a prática pela qual humanos e algoritmos trabalham juntos para tomar decisões “melhores” ¹¹. Contudo, se em âmbito privado, como no caso do algoritmo de recrutamento, o resultado pode ser problemático, a situação se torna ainda mais crítica quando a human plus machine é aplicada indiscriminadamente pela Justiça Criminal.

Em alguns Estados americanos, algoritmos são utilizados por juízes para determinar o grau de periculosidade dos réus, o que é determinante na opção entre conceder-lhes liberdade provisória ou determinar a sua prisão preventiva. No Estado de Winsconsin, um homem foi sentenciado a seis anos de prisão com fundamento inclusive em uma análise de risco levada a efeito por um sistema de inteligência artificial. O sistema operacional completamente secreto não possibilitou que a defesa do réu examinasse os cálculos envolvidos nessa análise de risco. Nenhuma avaliação independente da eficácia do sistema foi apresentada. Com base em que elementos o magistrado avaliou a confiabilidade do sistema? Ainda que a lógica do algoritmo fosse aberta, o magistrado médio não é programador, logo não teria sequer como avaliar a presença de erros ou vieses no sistema¹². É impossível não lembrar de Minority Report (2002).

Além disso, um estudo realizado pela organização americana Pro Publica, verificou que os algoritmos utilizados para prever reincidência de réus criminais estava enviesado contra afro-americanos¹³.

Outra situação real que ilustra bem a polêmica dos learners é o caso do chatbot Tay, lançado pela Microsoft para conversar – e “aprender” – com jovens humanos na rede social Twitter. Em menos de 24 horas, Tay se tornou racista, antissemita e misógina¹⁴, tendo que ser desativada às pressas pela empresa.

Até que se note que há uma falha ou viés, algoritmos que funcionem errado podem gerar muitas consequências perniciosas. Como vírus, eles têm a capacidade de espalhar seus vieses preconceituosos em larga escala¹⁵, criando, de forma não intencional, situações discriminatórias com efeitos deletérios.

Por essa razão, nos parece que ao menos os algoritmos utilizados em decisões públicas precisam ser auditados (algorithmic auditing). Essa discussão é recente e demanda aprofundamento mas, à primeira vista, parece necessário que a integridade dos dados que alimentam os algoritmos e que os seus efeitos de longo prazo (sobretudo seu impacto social) sejam examinados.

Além dessa exigência de transparência, é preciso que se crie uma política de accountability dos algoritmos, de forma a outorgar a alguém a responsabilidade pelas decisões por eles tomadas e, assim, levar a sério o dever de supervisioná-los de perto.

Essa reflexão se torna ainda mais relevante à medida que os algoritmos passam a ser progressivamente utilizados para decidir questões subjetivas. A tensão que a inteligência artificial e as decisões algorítmicas trazem para o sistema é tanta que os tecnólogos não têm capacidade de responder sozinhos a ela. É necessária uma construção de inteligência coletiva e interdisciplinar sobre o assunto.

Diante de tal cenário, aqueles que integram o campo das ciências humanas e sociais precisam resgatar o papel central que devem desempenhar no tocante às questões morais e éticas suscitadas pelas decisões computacionais. Caso contrário, regrediremos para uma sociedade marcada pelo preconceito social e dividida, como no clássico britânico de Jane Austen. Só que, no nosso caso, quem ditará as regras serão as máquinas e não a aristocracia.

——————————–

Isabela Ferrari – Juíza Federal, Mestre e Doutoranda em Direito Público (UERJ), Visiting Researcher (Harvard Law School 2016/2017), Membro do Board da The Future Society/Brasil, Membro do Comitê de Direito Administrativo e Ambiental da Escola da Magistratura Federal da 2ª Região (EMARF), professora de Direito Administrativo do Curso Ênfase
Daniel Becker – Sócio do Lima ≡ Feigelson Advogados, Pós-graduando em Direito Público pela FGV Direito Rio, Graduado em Direito pela Universidade Federal do Rio de Janeiro (UFRJ), Diretor de Novas Tecnologias do Centro Brasileiro de Mediação e Arbitragem (CBMA), Membro da Silicon Valley Arbitration and Mediation Center (SVAMC) e Co-fundador do portal LEX MACHINÆ.