Discriminação algorítmica

No primeiro artigo da série, mostrei que uma das consequências mais palpáveis do capitalismo movido a dados é a progressiva estruturação de uma sociedade baseada em classificações e julgamentos algorítmicos. A partir do fenômeno que alguns estudiosos chamam de datificação, toda e qualquer experiência humana torna-se um dado a partir do qual se podem inferir aspectos importantes sobre as pessoas.

Mesmo experiências inocentes, como um passeio no parque, podem alimentar sistemas que tentarão classificar as pessoas e fazer predições sobre elas a partir dos dados assim gerados, interpretados isolada ou conjuntamente. O documento elaborado pela Apple A Day in the Life of Your Data: A Father-Daughter Day at the Playground[1] ajuda a entender a dimensão da datificação com base em um despretensioso dia de lazer entre pai e filha.

Nesse sentido, fatos que podem parecer irrelevantes para o cidadão comum, tais como geolocalização, buscas na internet, tempo gasto em redes sociais, "curtidas" sobre determinadas questões, músicas e locais de sua preferência, dentre outros, são capturados e depois convertidos em novos dados, a partir dos quais os algoritmos farão os seus julgamentos.

Caminhamos, portanto, para uma sociedade da classificação, como diria Stefano Rodotá[2], ou para um cenário em que os perfis se transformam em verdadeiras representações virtuais, corpos digitais ou mesmo sombras das pessoas, como diz Danilo Doneda[3].

Como bem sintetiza John Cheney-Lippold[4], os algoritmos hoje agregam e controlam nossas identidades datificadas (datafied selves) e nossos “futuros algorítmicos”, pois o processo de classificação em si já é uma importante demarcação de poder, assim como a organização do conhecimento e da vida molda as condições e as possibilidades daqueles que serão classificados. Afinal, são as categorias para as quais nossas vidas datificadas serão convertidas que passarão a definir não apenas quem somos, mas também quem seremos, na medida em que os dados, ao mesmo tempo em que nos representam, também nos regulam[5].

É por essa razão que, tal como se adiantou no primeiro artigo da série, é fundamental saber que dados podem ser coletados e que finalidades podem justificar os julgamentos algorítmicos. Entretanto, ainda que ultrapassada a questão da legitimidade do tratamento de dados, resta também saber em que medida é conveniente e adequado deixar que algoritmos possam fazer julgamentos valorativos complexos sobre as pessoas, ainda mais sem qualquer controle ou supervisão humana.

Sobre a questão, é importante lembrar que um aspecto importante das decisões algorítmicas é pretender superar, por meio de critérios objetivos e da linguagem matemática, várias das deficiências e problemas dos julgamentos humanos, os quais são conhecidamente repletos de falhas e vieses. Aliás, Kahneman[6], um dos expoentes da economia comportamental, diante do mapeamento dos vieses e das limitações da racionalidade das pessoas, já havia antecipado como os algoritmos podem ser uma resposta adequada para contornar vários dos problemas dos julgamentos humanos:

“Diversos estudos têm mostrado que os tomadores de decisão humanos são inferiores a uma fórmula de previsão mesmo quando informados sobre a pontuação sugerida pela fórmula! Eles acham que são capazes de levar a melhor sobre a fórmula porque contam com informação adicional sobre o caso, mas na maior parte dos casos estão errados. Segundo Meehl, há poucas circunstâncias sob as quais é boa ideia substituir uma fórmula por um julgamento.

(...)

Outro motivo para a inferioridade do julgamento dos especialistas é que humanos são incorrigivelmente inconsistentes em fazer julgamentos sumários de informação complexa. Quando alguém lhes pede para avaliar a mesma informação duas vezes, eles frequentemente dão respostas diferentes.”

Embora não defenda que os julgamentos algorítmicos devam substituir por completo os julgamentos humanos, a compreensão de Kahneman é bastante otimista em relação aos primeiros, razão pela qual aponta as vantagens de deixar decisões finais para fórmulas[7] e da utilidade de algoritmos mesmo sem qualquer pesquisa estatística prévia[8].

Kahneman chega a sustentar que haveria uma dificuldade moral para a compreensão do problema[9]:

“A história de uma criança morrendo porque um algoritmo cometeu um erro é mais pungente do que a história da mesma tragédia ocorrendo como resultado de um erro humano, e a diferença na intensidade emocional é prontamente traduzida em uma preferência moral.”

Entretanto, a conclusão final de Kahneman[10] é a de que “[f]elizmente, a hostilidade a algoritmos provavelmente irá abrandar à medida que seu papel na vida cotidiana continuar a se expandir.”

Verdade seja dita que, apesar de toda a sua empolgação com os algoritmos, Kahneman não propõe uma total substituição dos julgamentos humanos pelos julgamentos algorítmicos. Em vários momentos, sugere uma combinação entre os dois tipos de decisão, chegando a afirmar que mesmo o julgamento intuitivo não deve ser desprezado[11]:

“Uma lição mais geral que aprendi com esse episódio foi de não confiar simplesmente no julgamento intuitivo – seja o seu, seja o de outros – mas também de não desprezá-lo.”

Esse ponto é de fundamental importância para a compreensão da controvérsia. Afinal, acreditar na importância de decisões algorítmicas não implica aceitar que estas sejam completas ou infalíveis ou que que possam substituir perfeitamente os julgamentos humanos.

Tal aspecto é especialmente relevante quando estamos utilizando algoritmos para julgar, classificar, ranquear seres humanos e predizer seus comportamentos futuros, suas habilidades e perspectivas. Nesse sentido, há boas razões para sustentar que, quanto mais complexo for o julgamento algorítmico e quanto mais intenso for o seu impacto na vida das pessoas, maior o cuidado que deve ser adotado em relação a ele e maiores as dificuldades para que se possa entendê-lo como a palavra única ou final.

Com efeito, apesar de todas as vantagens das fórmulas, estas também padecem de várias limitações, especialmente em razão das dificuldades naturais para se converter aspectos complexos da natureza humana para critérios objetivos e para a linguagem matemática.

Como aponta Julie Cohen[12], o problema dos algoritmos é se basear em modelos tidos como verdadeiros em todos os casos e para todos os propósitos, privilegiando sistematicamente um tipo de informação - estática e quantificável - e um tipo de conhecimento - mais "racionalizante" e "objetificante" - ao custo de outras formas de conhecimento que são também importantes para os assuntos humanos. E a consequência disso é uma perda - não um ganho - de liberdade, já que tais práticas procuram moldar e predizer o comportamento dos indivíduos de acordo com trajetórias de oportunidades e desejos que são determinadas externamente.

Daí a advertência de John Cheney-Lipold de que os algoritmos, ao traduzirem conceitos como gênero, raça, classe e mesmo cidadania para formas típicas quantitativas e mensuráveis, reconfiguram nossas concepções de controle e poder[13], criando uma espécie de soft biopolitics ou de um “controle sem controle”[14].

O que autor procura ressaltar é que traduzir aspectos complexos, multifacetados, sofisticados e as vezes até erráticos da experiência humana para critérios objetivos e quantitativos ou fórmulas matemáticas não só não é um processo trivial como é também um exercício de poder, especialmente se tais fórmulas não puderem ser submetidas ao controle social ou ao controle por parte daqueles que serão por elas afetados.

De toda sorte, antes de entrarmos nas discussões sobre a opacidade e ausência de transparência dos algoritmos, é necessário explorar melhor a premissa de que todas as experiências humanas podem ser convertidas em métricas ou representações matemáticas - o fenômeno que alguns estudiosos chamam de “matematização” do mundo -, como se abordará melhor no próximo artigo da série.

[1] https://www.apple.com/privacy/docs/A_Day_in_the_Life_of_Your_Data.pdf

[2] RODOTÁ, Stefano. A vida na sociedade da vigilância. A privacidade hoje. Tradução de Danilo Doneda e Laura Cabral Doneda. Rio: Renovar, 2008, pp. 111-139.

[3] DONEDA, Danilo. Da privacidade à proteção de dados pessoais. Rio: Renovar, 2006, pp. 174-175.

[4] CHENEY-LIPPOLD, John. We are data. Algorithms and the making of our digital selves. New York: New York University Press, 2017, pp. xiii e 7.

[5] Idem, pp. 14-19.

[6] KAHNEMAN, Daniel. Rápido e Devagar. Duas Formas de Pensar. Rio: Objetiva, 2012, p. 280.

[7] Op.cit., p. 281.

[8] Op.cit., p. 282.

[9] Op.cit., p. 285.

[10] Op.cit., p. 285.

[11] Op.cit., p. 289.

[12] COHEN, Julie E. Examined lives: informational privacy and the subject as object. Stanford Law Review, v. 52, 2000, pp. 1373-1438, p. 1376.

[13] Op.cit., p. 33.

[14] Op.cit., p. 35.