Opinião e Análise

Ana Frazão

Um dos grandes desafios decorrentes da crescente utilização de algoritmos e inteligência artificial para importantes decisões sobre problemas humanos e sociais é o da explicabilidade de tais decisões, especialmente quando são totalmente automatizadas.
Não é sem razão que o <a href="http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm">art. 20, da LGPD</a>, expressamente prevê que “o titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade".
<a href="https://www.jota.info/produtos/poder?utm_source=Banner%20site&amp;utm_medium=Artigos&amp;utm_campaign=CTA_Poder_materias"><img class="size-medium wp-image-292717 aligncenter" src="https://www.jota.info/wp-content/uploads/2021/01/jota-pro-poder.jpg" alt="" width="688" height="688" /></a>
Com efeito, corolário lógico do direito de revisão de decisões automatizadas é o direito à explicação, até porque o titular de dados não tem como contestar algo que ele não conhece ou não entende. Daí porque a compreensão das decisões algorítmicas é pressuposto do exercício de diversos direitos previstos pela LGPD, dentre os quais o da autodeterminação, o da transparência, o da não discriminação abusiva ou ilegal. Ademais, a explicabilidade de decisões algorítmicas é fundamental para assegurar o próprio devido processo legal<a href="#_ftn1" name="_ftnref1">[1]</a>.
Não obstante, assegurar efetividade ao direito à explicação envolve vários desafios. O primeiro deles é de natureza jurídica: o segredo de negócios que normalmente envolve os algoritmos, problema sobre o qual já tive oportunidade de me pronunciar anteriormente, mostrando algumas alternativas para a superação do impasse<a href="#_ftn2" name="_ftnref2">[2]</a>.
O segundo desafio, de mais difícil solução, é o técnico, considerando que tais decisões costumam ter alto nível de complexidade, em muitas hipóteses consistindo de centenas ou milhares de passos que são incompreensíveis para o homem comum e, não raramente, até mesmo para os programadores.
Diante de bases de dados cada vez maiores e das inúmeras correlações, inferências ou cálculos probabilísticos que podem ser feitos a partir delas, é difícil – quando não impossível – estabelecer, com um mínimo de precisão ou inteligibilidade, as conexões pelas quais, a partir de determinados inputs, o sistema algorítmico chegou a determinados outputs. O problema torna-se ainda mais grave em algumas situações, tais como as das correlações esdrúxulas ou espúrias ou dos resultados não intencionais.
É inequívoco, portanto, que a transparência não é capaz de, por si só, assegurar explicabilidade às decisões algorítmicas, razão pela qual resolver o problema do segredo de negócios não é suficiente para que os resultados algorítmicos possam ser efetivamente compreendidos.
Da mesma maneira, o mero controle dos inputs não parece ser suficiente para assegurar nem decisões não discriminatórias nem decisões minimamente suscetíveis de explicação. Vale citar, nesse sentido, o instigante artigo The Input Fallacy, de Talia Gillis<a href="#_ftn3" name="_ftnref3">[3]</a>, no qual a autora, ao tratar do problema das discriminações no mercado de crédito, sustenta que precisamos parar de tentar encontrar conexões causais entre os inputs e os outputs de decisões algorítmicas, porque isso é impossível.
A partir de uma considerável base de dados, Talia Gillis procura demonstrar as razões pelas quais o controle de inputs falha no endereçamento das preocupações com práticas discriminatórias, razão pela qual é uma grande falácia – the input fallacy – acreditar que tal abordagem pode resolver o problema. Daí a sua proposta de que a análise de resultados – os outputs – é o único meio possível para avaliar se há ou não discriminações ou disparidades inaceitáveis.
Um dos pontos importantes sustentados por Talia Gillis é o fato de que não podemos pretender encontrar explicações satisfatórias nos julgamentos algorítmicos, uma vez que eles não permitem a avaliação de causalidades, sendo que o próprio objetivo de acurácia pode ocorrer à custa das crescentes deficiências de interpretabilidade:
“However, machine learning is a world of correlation and not causation.”<a href="#_ftn4" name="_ftnref4">[4]</a>
"In the algorithmic world, we can no longer determine a priori how inputs relate to outputs.”<a href="#_ftn5" name="_ftnref5">[5]</a>
“The increase in prediction accuracy comes at a price of lower interpretability. Because machine learning algorithms are not set up to optimize prediction accuracy and not to produce a meaningful model of how inputs relate to outcomes, the algorithm outputs are not always easy to interpret.” <a href="#_ftn6" name="_ftnref6">[6]</a>
“(…) we must recognize that in the machine learning context, we cannot identify causal relationships.”<a href="#_ftn7" name="_ftnref7">[7]</a>
Sob essa perspectiva, o pensamento de Talia Gillis é bastante convergente com o de diversos outros autores que vêm demonstrando as sérias limitações dos julgamentos algorítmicos, especialmente quando realizados para a solução de importantes e complexas questões humanas e sociais.
Um argumento reiteradamente explorado por esta literatura é o fato de que, em alguma medida, algoritmos são e sempre serão black boxes, no sentido de que, ao se basearem normalmente em linguagem matemática que privilegia padrões e correlações – mas não causalidades, não podem levar a explicações racionais, inteligíveis e convincentes.
No excelente livro "Framers", Cukier e os coautores<a href="#_ftn8" name="_ftnref8">[8]</a> vão até além, não somente mostrando as deficiências dos julgamentos algorítmicos, como também advertindo para o fato de que o que entendemos por explicação apenas pode decorrer de tipos de raciocínio que somente os seres humanos podem fazer. De fato, somente o raciocínio humano é capaz de adotar diferentes framings para um mesmo problema e levar em consideração as questões essenciais para a compreensão do mundo: causalidades, contrafactuais e constrições.
No mesmo sentido, a obra de Kay e King – "Radical Uncertainty"<a href="#_ftn9" name="_ftnref9">[9]</a> – aponta a imprescindibilidade das narrativas para a compreensão dos fenômenos humanos e sociais, diante das limitações das inferências estatísticas e dos cálculos probabilísticos, especialmente quando estamos diante das incertezas.
O que esses autores têm demonstrado é que, em se tratando de questões humanas e sociais, metodologias quantitativas e matemáticas – incluindo as que são normalmente usadas pelos algoritmos – necessitam ser complementadas por narrativas e outras metodologias qualitativas para que se possa construir uma decisão correta e que atenda minimamente aos pressupostos da explicabilidade.
Consequentemente, algoritmos não podem ser a única ou a última palavra em assuntos humanos ou sociais. E tal conclusão decorre não apenas porque algoritmos são secretos ou difíceis de explicar, mas porque são incapazes de oferecer explicações, pelo menos no nível adequado. De acordo com essa perspectiva, todas as tentativas de encontrar explicações convincentes em algoritmos tenderão a ser mal sucedidas.
Diante de tais considerações, é bem questionável se o direito à explicação de decisões algorítmicas é efetivamente viável, ainda mais em se tratando de decisões complexas e exclusivamente automatizadas. Com efeito, em casos assim, é possível sustentar que, exatamente por serem totalmente automatizadas, falta-lhes o requisito da explicabilidade.
Logo, tudo leva a crer que provavelmente não podemos depositar tanta confiança no direito à explicação. É fundamental reconhecer que, precisamente porque a linguagem algorítmica não costuma ser suscetível de explicação, pelo menos com o nível adequado de racionalidade e inteligibilidade, é necessário que os julgamentos algorítmicos sejam devidamente complementados pelos seres humanos.
Porém, é importante entender que a ação humana, nesse processo, deve ocorrer não apenas para entender os algoritmos – tarefa que já se viu ser provavelmente impossível –, mas sobretudo para complementá-los por meio de processos decisórios mais ricos, que possam contar com metodologias qualitativas e com os devidos juízos de causalidade, contrafactuais e constrições que apenas os seres humanos podem construir.
Consequentemente, para que as decisões algorítmicas sejam efetivamente suscetíveis de explicação e inteligibilidade, será necessária a participação humana direta e ativa no processo decisório, a fim de complementar os julgamentos algorítmicos e compensá-los em todas as suas deficiências e reducionismos.
É por essa razão que a interação entre homens e máquinas é tão importante. Contudo, apenas será adequada para enfrentar os atuais desafios se os participantes puderem entender as limitações dos sistemas algorítmicos – tanto as gerais, como as específicas, que possam decorrer de determinados modelos ou técnicas – e estiverem dispostos efetivamente a contribuir proativamente para a superação de todas essas dificuldades, inclusive no que diz respeito ao oferecimento de uma explicação adequada para a decisão.
Tal abordagem envolve, portanto, uma grande mudança em como vemos os algoritmos. Para muitos cientistas de dados, um bom algoritmo é exatamente aquele que pode ser executado até por um idiota, o que mostra que, em muitos casos, sistemas algorítmicos são programados para não serem desafiados nem modificados por seres humanos.
De forma contrária, essa nova perspectiva requer uma atitude muito diferente por parte dos “executores”, que precisam estar atentos para o fato de que nem mesmo poderão ser meros executores, devendo interferir e participar dos processos decisórios por diversas razões, inclusive a de assegurar a explicabilidade.
Mais do que isso, essa perspectiva pode levar à conclusão de que decisões totalmente automatizadas, exatamente porque não seriam capazes de levar a qualquer explicação adequada, deveriam ser banidas quando utilizadas para fazer julgamentos importantes sobre seres humanos dos quais dependem aspectos importantes de suas vidas, como acesso a determinados bens, serviços, oportunidades ou mesmo direitos.
Em outras palavras, na medida em que o direito previsto no art. 20, da LGPD, pode se mostrar inexequível ou de difícil exequibilidade – ainda mais se o direito à revisão continuar sem a necessária participação humana, como sugere a modificação da qual resultou a atual redação do dispositivo – é fundamental pensarmos em como avançar, de forma mais realista e compatível com a realidade do mundo algorítmico, no propósito de assegurar os direitos básicos dos titulares de dados.
Embora estejamos diante de questão nova e complexa, em relação a qual há dificuldades naturais para se chegar a conclusões muito assertivas, fato é que há fundadas razões para imaginar que pode ser uma tarefa impossível continuar tentando encontrar explicações consistentes nas decisões algorítmicas. Parece que estamos buscando algo que os algoritmos – especialmente os mais complexos – simplesmente não são capazes de oferecer.
Diante de todos os riscos envolvidos, talvez fosse mais prudente reconhecer que simplesmente não podemos delegar ou terceirizar para sistemas algorítmicos complexas decisões sobre seres humanos que trarão graves impactos para suas vidas.
Consequentemente, é urgente que possamos pensar além do direito à explicação, buscando refletir não só sobre meios para aprimorar e complementar decisões algorítmicas, ressignificando a relação entre homens e máquinas, como também sobre hipóteses nas quais as decisões totalmente automatizadas deveriam ser até mesmo banidas, pelo menos até que houvesse maiores evidências de que elas, para além da acurácia, podem efetivamente oferecer resultados compatíveis com os direitos dos titulares de dados e especialmente com o princípio da transparência e da não discriminação.
<hr />
<a href="#_ftnref1" name="_ftn1">[1]</a> FRAZÃO, Ana. Devido processo digital. Em que medida o devido legal se aplica aos julgamentos online e às relações privadas na internet? Jota. <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/devido-processo-digital-20102021">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/devido-processo-digital-20102021</a>
<a href="#_ftnref2" name="_ftn2">[2]</a> FRAZÃO, Ana. Transparência de algoritmos x segredo de empresa. As controvérsias a respeito das decisões judiciais trabalhistas que determinam a realização de perícia no algoritmo da Uber. Jota. <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/transparencia-de-algoritmos-x-segredo-de-empresa-09062021">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/transparencia-de-algoritmos-x-segredo-de-empresa-09062021</a>
<a href="#_ftnref3" name="_ftn3">[3]</a> GILLIS, Talia B., The Input Fallacy (February 16, 2021). Minnesota Law Review, forthcoming 2022, Available at SSRN: <a href="https://ssrn.com/abstract=3571266">https://ssrn.com/abstract=3571266</a> or <a href="https://dx.doi.org/10.2139/ssrn.3571266">http://dx.doi.org/10.2139/ssrn.3571266</a>
<a href="#_ftnref4" name="_ftn4">[4]</a> Op.cit., p. 12.
<a href="#_ftnref5" name="_ftn5">[5]</a> Op.cit., p. 13.
<a href="#_ftnref6" name="_ftn6">[6]</a> Op.cit., p. 34.
<a href="#_ftnref7" name="_ftn7">[7]</a> Op.cit., p. 66.
<a href="#_ftnref8" name="_ftn8">[8]</a> CUKIER, Kenneth et al. Framers. Human advantage in an age of technology and turmoil. Dutton, 2021.
<a href="#_ftnref9" name="_ftn9">[9]</a>KAY, John; KING, Mervin. Radical Uncertainty. Decision-making beyond the numbers. New York: W.W.Norton &amp; Company, 2020.

proteção de dados; dados

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Devemos refletir também sobre hipóteses nas quais as decisões totalmente automatizadas deveriam ser até mesmo banidas

Decisões algorítmicas e direito à explicação

Devemos refletir também sobre hipóteses nas quais as decisões algorítmicas totalmente automatizadas deveriam ser até mesmo banidas