Discriminação algorítmica

Ultimamente muito se tem falado sobre a discriminação algorítmica. Mas isso realmente existe? Em caso afirmativo, como ocorre? Em que medida os riscos da utilização de sistemas algorítmicos podem comprometer os benefícios deles esperados? O que deve ser feito para que a utilização de sistemas algorítmicos seja conciliada com a proteção de direitos fundamentais e dos dados pessoais, tal como preconizado pela Constituição e pela Lei Geral de Proteção de Dados (LGPD)?

Para situar melhor a discussão, é importante, em primeiro lugar, entender (i) o que são os algoritmos, (ii) porque eles têm sido tão utilizados e (iii) quais as suas repercussões em nossas vidas no âmbito individual e coletivo.

Nesse sentido, algoritmos são fórmulas ou receitas para execução de tarefas, soluções de problemas, realizações de julgamentos e tomadas de decisões. Como tal, existem há muito tempo, sendo comum a referência ao algoritmo de Euclides, o famoso matemático grego, como uma das primeiras – senão a primeira – iniciativas nesse sentido. Só mais recentemente, no século XX, é que os algoritmos passaram a ser vistos no âmbito da ciência da computação como sequências finitas de ações executáveis para a solução de um problema específico.

A controvérsia mais atual, na qual se insere a discussão da discriminação algorítmica, diz respeito à utilização de algoritmos cada vez mais complexos e sofisticados para a solução de problemas que não são objetivos e técnicos. Alimentados por bases de dados cada vez maiores, no atual contexto do big data, os algoritmos têm sido utilizados para decisões e tarefas que envolvem análises qualitativas e subjetivas, comumente marcadas por alta carga valorativa, tal como acontece nos julgamentos para classificação, ranqueamento e criação de perfis das pessoas.

Mais do que isso, os algoritmos têm sido vistos como chaves para se compreender o passado, se diagnosticar o presente e se antever o futuro, por meio de prognósticos e análises preditivas a respeito das pessoas, tanto individual como coletivamente.

É por essa razão que os dados do passado e do presente são cada vez mais esquadrinhados por sistemas algorítmicos que pretendem avaliar as pessoas a partir de critérios objetivos ou determinadas métricas, com distintos graus de abrangência: a avaliação dos usuários em um determinado aplicativo, a avaliação das pessoas para mapear a possibilidade e as condições de acesso a determinado serviço - como é o caso do credit scoring - e até mesmo tentativas holísticas de se classificar as pessoas no seu todo, como ocorre com o conceito de social scoring que vem sendo utilizado pelo governo chinês para avaliar a qualidade dos seus cidadãos.

Como se observa, os sistemas algorítmicos têm sido peça fundamental para manter uma engrenagem que tem por finalidade fazer julgamentos e predições sobre as pessoas no tocante às suas mais diversas características: seus méritos, seus perfis, suas preferências, suas inclinações, propensões e probabilidades nas mais variadas searas – desde a propensão ao consumo de determinado produto até a propensão a delinquir ou a reincidir na prática de um crime -, suas capacidades e aptidões – no campo físico, intelectual, emocional, profissional, econômico, etc -, e suas fraquezas e vulnerabilidades.

Obviamente que tais julgamentos não são inocentes, uma vez que são implementados com escopos muito definidos. No âmbito do mercado, tais diagnósticos permitem aos agentes econômicos diversas possibilidades de ação, inclusive no que diz respeito a diferenciar consumidores, seja para cobrar distintos preços - conforme determinados critérios ou a propensão de cada um para adquirir um produto ou serviço ou mesmo explorando suas vulnerabilidades - seja para negar acesso a determinados serviços ou condições específicas.

Ocorre que a questão não se restringe ao mercado, embora este aspecto, por si só, já seja bastante preocupante. Envolve igualmente importantes dimensões da autonomia privada dos cidadãos, na medida em que hoje há sistemas algorítmicos que decidem quem ingressará em universidades ou terá acesso a empregos, cargos e oportunidades profissionais, dentre inúmeras outras situações nas quais as expectativas de vida das pessoas passam a depender de tais julgamentos.

Em alguns casos, é a própria vida humana que estará no objeto da decisão algorítmica, tal como ocorre com os carros autônomos que, em situações extremas, poderão ter que decidir que vidas devem ser poupadas ou priorizadas diante da iminência de um acidente.

Da mesma maneira, o problema adentra também na seara da autonomia pública e da democracia, quando o Estado também pode se servir de sistemas algorítmicos para, por exemplo, classificar cidadãos de acordo com suas convicções políticas e o seu grau de apoio ou não a determinado governo, o que pode ser utilizado para toda sorte de discriminações e perseguições.

Na verdade, ao se tratar da questão democrática, realça-se também um tema importante, que diz respeito à utilização de sistemas algorítmicos para fins políticos, a fim de explorar o conhecimento que têm das pessoas, inclusive no que diz respeito às suas fragilidades, para manipulá-las com objetivo de alterar o resultado de processos eleitorais.

Esse ponto mostra que a discussão sobre os algoritmos deve partir da premissa de que o problema, na atualidade, não é reflexo apenas de uma economia movida a dados, mas sim de uma sociedade e de uma política que também passaram a ser movidas a dados, de forma que o futuro das pessoas e das próprias democracias podem estar atrelados a julgamentos algorítmicos.

Todas essas reflexões, ao mesmo tempo em que nos mostram a crescente importância dos julgamentos algorítmicos na atualidade, nos levam também a uma primeira indagação: diante do manancial do big data, é possível utilizar algoritmos para todo e qualquer tipo de julgamento? Basta que um agente econômico ou o Estado queiram julgar seus consumidores ou cidadãos para que possam fazê-lo? Ou há limites para tais julgamentos, como é o caso do princípio da finalidade previsto pela LGPD?

Nos tempos atuais, já nos acostumamos de tal maneira a tais julgamentos algorítmicos que nem sempre refletimos sobre questões que deveriam ser básicas: uma plataforma tem o direito de julgar o consumidor e lhe atribuir uma nota? O Estado tem o direito de julgar seus cidadãos com base em suas preferências políticas ou qualquer outro dado sensível? Com base em que critérios agentes econômicos podem criar perfis de consumidores? É possível fazer julgamentos abrangentes sobre os cidadãos, de forma similar a um modelo de social scoring?

De forma geral, temos visto um grande avanço na utilização de sistemas algorítmicos para os mais diversos fins, mas sem as devidas considerações éticas e jurídicas que deveriam orientar a sua adoção. O atual cenário mostra que, antes mesmo de falarmos de discriminação algorítmica - que normalmente nos remonta à discussão sobre falhas de julgamento -, temos que discutir sobre a própria validade de diversos julgamentos algorítmicos em si, independentemente do acerto ou não dos seus resultados.

Em outras palavras, a questão a ser respondida é: pode-se utilizar o big data para submeter seres humanos a qualquer tipo de julgamento? Quais são os critérios éticos e jurídicos para delimitarmos os julgamentos que são legítimos daqueles que não são?

Se existem muitos assuntos em relação aos quais os julgamentos algorítmicos são importantes e necessários, na medida em que podem auxiliar a contornar várias das deficiências dos julgamentos humanos, também existem outros assuntos ou propósitos em relação aos quais eles ou não deveriam ser admitidos ou apenas poderiam sê-lo em circunstâncias excepcionais e com uma série de salvaguardas para os interessados, como se continuará a explorar no próximo artigo da série.