Discriminação algorítmica: como lidar com as incertezas?

Além de todos os aspectos já mencionados nos artigos anteriores, há um ponto fundamental a mostrar a importância das análises qualitativas para complementar julgamentos baseados em métricas ou números, tais como os algorítmicos: a necessidade de incorporarmos no processo decisório as incertezas absolutas ou, como diriam John Kay e Mervin King[1], as incertezas radicais.

Como já se teve oportunidade de apontar ao longo da série, o livro de Kay e King Radical Uncertainty. Decision-making beyond the numbers representa uma crítica contundente à ideia de que podemos resolver problemas complexos apenas por meio de raciocínios matemáticos, estatísticos e probabilísticos.

Sob vários aspectos, a obra pode ser vista como um contraponto muito interessante ao livro Noise[2], que foi explorado no artigo anterior. Em primeiro lugar, porque Kay e King[3] refutam a simplificação das regras e dos julgamentos algorítmicos e propugnam por uma complementação entre estes e os julgamentos humanos:

"We have no need to fear computers; we should use them. To do that requires judgment. Good judgment cannot be summarised in twelve rules for live, seven habits of effective people, or even twenty-one lessons for the twenty-first century."

"Human intelligence and artificial intelligence are different, and the latter enhances rather than replaces the former."

Em segundo lugar, porque Kay e King[4] são muito claros no sentido de que vários aspectos fundamentais para a experiência humana – como valores e intenções – não são de fácil conversão para a linguagem matemática, assim como padrões passados são normalmente insuficientes para a compreensão do futuro, considerando a centralidade dos eventos únicos na história:

"From this perspective two distinctions are important. First, the emphasis on values, intentions and violations invokes concepts which are more difficult, though not necessarily impossible, to express in mathematical language. Second, and more importantly, history is primarily concerned with unique events.”

Em terceiro lugar, porque os autores não apenas enaltecem a importância das narrativas, como mostram que elas são o coração do processo decisório[5]:

"We need a story. Narratives are the means by which humans – as judges, jurors or people conducting the ordinary businesses of life – order our thoughts and make sense of the evidence given to us."

"Narrative reasoning is therefore at the heart of legal decision-making."

Obviamente que, em um contexto de desinformação e negacionismo, os autores fazem questão de salientar que não é qualquer narrativa que pode ser considerada válida para o debate, mas apenas aquelas que atendam a requisitos de credibilidade, consistência e coerência.

Desde que respeitados os devidos cuidados, as narrativas são fundamentais para o processo decisório, inclusive para efeito de auxiliarem a compreensão das análises estatísticas e das análises probabilísticas naquilo em que elas apresentam claras limitações para lidar com os eventos únicos:[6]

"Statistical reasoning has its place only when integrated into an overall narrative or best explanation."

"In that process of rational deliberation, statistical reasoning can assist, but never replace, narrative reasoning. We develop narratives and use them to convince others of our point of view. A world of radical uncertainty is one governed not by statistical distributions but by unique events and individuals. Justice requires a process of legal reasoning which respects that uniqueness."

"In a world in which to list all possible outcomes and their probabilities would be impossible, narratives are an essential part of how we reason."

De forma muito semelhante à adotada por Cukier, Mayer-Shönberger e Véricourt[7], em obra que também já foi amplamente examinada ao longo da série, Kay e King ressaltam a importância do pluralismo e do embate entre diferentes narrativas para se entender os problemas em seus respectivos contextos, valorizando o ecletismo e o pragmatismo[8]:

"The selection of relevant narratives is problem - and context - especific, so that the choice of fictions, numbers and models requires the exercise of judgment in relation to both problem and context. The narratives we seek to construct are neither true nor false, but helpful or unhelpful. This exercise of judgment in the selection of narratives is ecletic and pragmatic."

Não é sem razão que Kay e King[9] também vão ao encontro de Cukier, Mayer-Shönberger e Véricourt[10] no que diz respeito à importância dos julgamentos para a capacidade humana de emoldurar (framing):

“But even to frame a problem requires skill and judgment.” “Framing begins by identifying critical factors and assembling relevant data. It envolves applying experience of how these factors have interacted in the past, and making an assessment of how they might interact in the future.”

“The role of the economist, like that of other social scientists, is to frame the economic and social issues that political and business leaders face when confronted by radical uncertainty.”

Em razão de todas essas premissas, Kay e King[11] concluem que as narrativas são o mais importante mecanismo de que dispomos para organizar nosso conhecimento imperfeito, o que já afastaria a possibilidade de delegarmos todas as decisões importantes sobre os seres humanos e a sociedade para computadores, pelo simples fato de que eles não sabem fazer narrativas:

"Narratives reasoning is the most powerful mechanism available for organising our imperfect knowledge. Understanding the complex world is a matter of constructing the best explanation - a narrative account - from a myriad of little details and the knowledge of context derived from personal experience and the experience of others."

"Computers don't do narratives."

"Computers don’t do empathy."

Outra importante conclusão de Kay e King[12]  é a da importância do caráter colaborativo do processo decisório e do pluralismo metodológico para as decisões complexas em um cenário de incertezas radicais:

"Decision-making under radical uncertainty requires a multiplicity of skills, and rarely will all these skills be found in a single individual. Successful leaders have benefited from advisers who could assist in problem framing."

"Successful decision-making under uncertainty is a collaborative process."

"(...) where we are constantly confronted with unique situations, we need a pluralism of approaches and models."

Neste ponto, a advertência dos autores reforça uma preocupação geral apontada na presente série: a de que julgamentos algorítmicos ou estejam cristalizando – de forma intencional ou não, de forma crítica ou não – a visão dos seus programadores – normalmente homens brancos imersos em determinada cultura – ou, nas hipóteses de machine learning e outras modalidades de inteligência artificial, estejam reproduzindo correlações indevidas ou padrões passados, ainda que injustos e discriminatórios, sem a necessária abertura para soluções futuras que procurem corrigir discriminações existentes.

Vale ressaltar que, assim como diversos outros autores já explorados ao longo da série, Kay e King reconhecem a importância das métricas e dos julgamentos algorítmicos. Apenas insistem no fato de que é necessário complementar tais análises com as análises qualitativas que apenas os seres humanos podem fazer, introduzindo o problema das incertezas radicais no processo decisório.

Ora, a questão das incertezas radicais muda completamente o cenário de decisão, pois só faz sentido confiar incondicionalmente em julgamentos algorítmicos se entendemos que o mundo é previsível e controlável, de forma que os padrões passados são indicativos adequados para prognoses e projeções futuras.

Entretanto, diante das incertezas radicais, como apontam Kay e King, somente o raciocínio humano pode tentar encontrar explicações, respostas e cenários futuros, bem como tentar corrigir distorções do passado e do presente.

Trata-se de mais uma questão que enfatiza a importância de análises que apenas os seres humanos podem fazer, tais como a de causalidades, contrafactuais e constrições, tão bem retratadas pela obra de Cukier, Mayer-Shönberger e Véricourt[13] que já foi examinada em outras oportunidades.

Todas essas razões reforçam a necessidade de controle e de supervisão humana dos julgamentos algorítmicos, bem como de se encontrar caminhos alternativos para conciliar as vantagens destes com as vantagens dos julgamentos humanos, tentando reduzir os riscos de ambos e buscando julgamentos que equilibrem o objetivo de acurácia com o objetivo de resultados adequados e não discriminatórios.

[1] KAY, John; KING, Mervin. Radical Uncertainty. Decision-making beyond the numbers. New York: W.W.Norton & Company, 2020.

[2] KAHNEMAN, Daniel; SIBONY, Olivier; SUNSTEIN, Cass. Noise. A Flaw in Human Judgment. Little Brown Spark, 2021.

[3] Op.cit., p. 176.

[4] Op.cit., p. 188.

[5] Op.cit., p. 211.

[6] Op.cit., p. 212, p. 214 e p. 230.

[7] CUKIER, Kenneth; MAYER-SCHÖNBERGER, Viktor; VÉRICOURT, Francis de. Framers. Human Advantage in an Age of Turmoil. New York: Penguin Randon House LLC, 2021.

[8] Op.cit., p. 397.

[9] Op.cit., p. 398.

[10] Op.cit.

[11] Op.cit., pp. 410-411.

[12] Op.cit., p. 411 e p. 412.

[13] Op.cit.