Recentemente, em artigo publicado aqui no JOTA, chamamos a atenção para a crise da automação das decisões, que é agravada quando algoritmos não auditados são utilizados pelo Poder Público para decidir aspectos fundamentais da vida de cidadãos, como empregabilidade e até mesmo a liberdade¹.

Graças à Lei de Moore², as máquinas estão alcançando feitos notabilíssimos, mas também os limites práticos da sua inteligência baseada em dados³. Enquanto milhares de dados dizem pouco e bilhões de dados dizem muito⁴, trilhões de dados não são muito diferentes desses últimos⁵. A participação da inteligência humana passa a ser, então, fundamental para sanear o processo e o produto do aprendizado de máquinas.

A contextualização das informações mineradas e extraídas de uma grande quantidade de dados é feita naturalmente por seres humanos, mas dificilmente por máquinas⁶. Isso pode acabar causando distorções que podem gerar consequências desumanas, afinal, máquinas não são dotadas de senso comum. Como exemplo, é interessante analisar uma cena do filme “Starman – O homem das estrelas”, um clássico dos anos 80, no qual um alienígena ingênuo, cuja falta de compreensão do planeta Terra seria semelhante a de uma inteligência artificial, tenta entender os humanos que estão ao seu redor. Ao dirigir um veículo ao lado de uma humana, ele causa um acidente num cruzamento e, ao ser indagado veementemente por sua amiga após quase tê-los matado, ele diz calmamente que seguiu as regras de trânsito que aprendeu observando os humanos: “vermelho parar, verde seguir, amarelo pisar no acelerador”.⁷ Como já tivemos oportunidade de afirmar aqui, não há nada de científico no resultado do aprendizado de máquinas, ele nada mais é do que um espectro da sociedade.

O ritmo da cidade de Nova York já é, em grande parte, ditado por algoritmos de machine learning. Eles determinam qual escola uma criança deve frequentar, se uma pessoa receberá crédito de um banco (credit score), quais produtos são anunciados para o consumidor, se alguém é apto a preencher uma vaga de emprego, quem tem maiores chances de cometer um crime e se um réu deverá ficar preso preventivamente ou não⁸.

Em 2016, a associação sem fins lucrativos ProPublica conduziu uma investigação por meio da qual verificou que os algoritmos utilizados pela Justiça Criminal Americana para prever reincidência de réus estavam enviesados contra afro-americanos, o que, por óbvio, maculava a confiabilidade do resultado da previsão. Na previsão de quem reincidiria, o algoritmo cometeu sérios erros com réus negros e brancos em aproximadamente a mesma taxa – entretanto, de forma inversamente proporcional. A fórmula matemática tendia a atribuir falsamente a réus negros uma maior taxa de reincidência. Os réus brancos, por sua vez, foram reputados como de baixo risco com uma frequência muito maior do que os réus negros⁹. A ProPublica executou um teste estatístico que isolou o efeito racial do histórico criminal e de reincidência, bem como da idade e do gênero dos réus. Os réus negros ainda tinham, respectivamente, 77% e 45% mais chances de serem apontados como possíveis agentes de crimes violentos e de cometerem crimes de natureza qualquer¹⁰.

Inspirado pela investigação, James Vacca, veterano membro do Conselho da Cidade de Nova York, decidiu agir. Em agosto de 2017, ele apresentou um projeto de lei, registrado sob o número 1696-2017, visando dotar de transparência as decisões automatizadas de agências e órgãos que lidam com a sociedade¹¹.

O projeto, inicialmente, tinha como objetivo incluir um item no artigo 23-502 do Capítulo 5 do Código Administrativo da metrópole. De forma semelhante à Lei de Acesso à Informação brasileira, a referida seção do Código Administrativa nova-iorquino tem como objetivo permitir que os cidadãos acessem os conjuntos de dados coletados e utilizados pelas agências e órgãos da cidade¹². O projeto de lei proposto por James Vacca consistia na obrigação por parte de agências que prestem serviços, policiamento ou estabeleçam penalidade, de disponibilizar os código-fonte dos algoritmos tomadores de decisões em seus sítios eletrônico, bem como de permitir a realização de testes pelos usuários¹³.

Como contraponto à iniciativa legislativa, em audiência pública realizada em outubro, Taline Sanassarian, representante da Tech:NYC, um grupo comercial de empresas de tecnologia que conta com membros como Facebook, Google, eBay e Airbnb, afirmou que a proposta faria com que as empresas que desenvolvem esses algoritmos se recusassem a trabalhar com a cidade de Nova York. Ela acrescentou, ainda, que não apenas o código-fonte seria desvalorizado, mas também, por conta da abertura dos códigos ao público, a privacidade dos nova-iorquinos e a segurança cibernética da administração da cidade seriam ameaçada¹⁴. Em resposta, Noel Hidalgo, diretor executivo da organização social de tecnologia BetaNYC, afirmou que, pelo dever de transparência, direitos autorais e segredos comerciais não devem impedir o estabelecimento de uma administração pública equitativa e responsável¹⁵.

A iniciativa arrojada proposta por James Vacca foi lapidada. O que restou dela, registrado sob o número 1696-A, deu um passo atrás, estabelecendo tão somente uma força-tarefa que estudará como os agentes públicos da cidade de Nova York utilizam algoritmos para tomar decisões que afetam a vida dos nova-iorquinos e se há algum tipo de discriminação de idade, raça, religião, gênero, orientação sexual ou status de cidadania a fim de permitir que o processo decisório via algoritmo seja transparente e compreensível para os cidadãos. Em dezembro de 2017, a proposta foi aprovada pelo Conselho da Cidade de Nova York, e aguarda a sanção do prefeito Bill de Blasio.

Como demonstra o exemplo nova-iorquino, a despeito das visões contrapostas acerca da abertura do código-fonte, em momento algum se pretende eliminar a utilização da tecnologia da informação para auxílio no processo decisório. Afinal, a tomada de decisões por algoritmos traz inúmeras vantagens. O Departamento de Bombeiros da própria cidade Nova York (FDNY) usa uma ferramenta de dados chamada FireCast 2.0, que indica quais centenas entre os milhares de edifícios da cidade apresentam maior risco de incêndio, o que é extremamente útil para segurança dos cidadãos e eficiente para a atividade do corpo de bombeiros nova-iorquino¹⁶. De forma semelhante, a polícia da cidade de Los Angeles (LAPD) utiliza algoritmos para prever e evitar crimes com base na análise de milhões de dados relacionados a crimes pretéritos¹⁷.

Algoritmos têm, ainda, o potencial de eliminar os vieses humanas, que são reais e afetam todos, inclusive agentes públicos – nesse caso, gerando consequências negativas ainda mais preocupantes. Alguns casos na história nos lembram tristemente disso. O americano Byron De La Beckwith Jr., membro do grupo Ku Klux Klan e conhecido pelo seu ódio por negros, judeus e católicos romanos, foi condenado no ano de 1994 por assassinar o ativista de direitos da comunidade afro-americana Medgar Evers em 1963. Contudo, à época, em julgamento ocorrido em 1964, Byron foi absolvido por um júri composto integralmente por homens brancos, embora houvesse evidências físicas de sua autoria do crime¹⁸. Outra situação que chama a atenção é um polêmico estudo empírico que analisou decisões de juízes israelenses que presidiram audiências de liberdade condicional, apontando que os julgadores proferiram decisões mais brandas no início do dia e imediatamente após uma interrupção programada nos procedimentos, como, por exemplo, o almoço¹⁹.

Infelizmente, a história da justiça apresenta casos muito preocupantes em que decisões foram proferidas com base na cor, gênero, orientação sexual, religião e outros fatores das partes que não deveriam importar para um julgamento objetivo. O uso de algoritmos, desde que adequadamente construídos, pode permitir que, pela primeira vez, a humanidade consiga garantir, de forma objetiva, a aplicação transparente da lei de forma não enviesada, isto é, sem que haja sucumbência à preconceitos ou fadiga²⁰.

No entanto, embora seja benéfico eliminar os inúmeras vieses, inerentes à natureza humana, dos agentes públicos, também é preciso controlar a tecnologia de forma que a mesma seja segura e opere no melhor interesse da sociedade. A tensão que a inteligência artificial e as decisões algorítmicas trazem para o sistema é tanta que tecnólogos e juristas sozinhos não têm capacidade de responder sozinhos a ela. É necessária uma construção de inteligência coletiva e interdisciplinar sobre o assunto.

A falta de entendimento e interesse por parte das autoridades reguladoras já deixou a inteligência artificialmente preconceituosa largar na frente²¹. Por isso, nesse momento, ações como essa da cidade de Nova York, em um esforço conjunto das autoridades e da sociedade civil, são extremamente relevantes. Algoritmos não são inerentemente ruins. Eles têm um potencial enorme de beneficiar a sociedade em que vivemos, mas sem transparência e prestação de contas a fim de eliminar sua falhas, os algoritmos podem fazer mais mal do que bem para nós.²² Manipulação, censura, discriminação social, violação de privacidade e abuso do poder de mercados são apenas algumas das consequências que podem ser causadas por algoritmos opacos e sem regulação²³.

Essas falhas evidentes, que resultam em assimetria de informação e sérias externalidades, atraem a necessidade de intensa atividade regulatória para impor ao ente regulado que programa algoritmos que o faça de forma responsável e em prol de um sociedade mais justa e equânime – e não o oposto²⁴.

--------------------------------------------

1 FERRARI, Isabela; BECKER, Daniel;. Algoritmo e preconceito. JOTA. Disponível em: https://www.jota.info/artigos/algoritmo-e-preconceito-12122017 – Acesso em 28 de dez. 2017.

2 BECKER, Daniel; FERRARI, Isabela. A prática jurídica em tempos exponenciais. JOTA. Disponível em: https://jota.info/artigos/a-pratica-juridica-em-tempos-exponenciais-04102017 – Acesso em 28 de dez. 2017.

3 KASPAROV, Garry. Deep thinking: where machine intelligence ends and human creativity begins. Public Affairs: Nova Iorque, 2017, p. 247.

4 DOMINGOS, Pedro. The master algorithm: how the quest for the ultimate machine learning will remake our world. Basic Books: Nova Iorque, 2015, p. 1.

5 KASPAROV, Garry. Op. cit., p. 247.

6 Idem, ibidem, p. 76.

7 Idem, ibidem, p. 100-101.

8 O’NEIL, Cathy. How algorithms rule our working lives. The Guardian. Disponível em:

https://www.theguardian.com/science/2016/sep/01/how-algorithms-rule-our-working-lives - Acesso em 02 de jan. 2018.

9 ANGWIN, Julia et al. Machine Bias. Pro Publica. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing - Acesso em 02 de jan. 2018.

10 ANGWIN, Julia et al. How we analyzed the COMPAS recidivism algorithm. Pro Publica. Disponível em: https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm - Acesso em 02 de jan. 2018.

11 KIRCHNER, Lauren. New York City moves to create accountability for algorithms. Arstechnica. Disponível em: https://arstechnica.com/tech-policy/2017/12/new-york-city-moves-to-create-accountability-for-algorithms/ - Acesso em 04 de jan. 2018.

12 LAWSERVER. N.Y. New York City Administrative Code 23-501 – Definitions. LawServer. Disponível em:

https://www.lawserver.com/law/state/new-york/ny-laws/ny_new_york_city_administrative_code_23-501 - Acesso em 04 de jan. 2018.

13 THE NEW YORK CITY COUNCIL. Int 1696-2017. Legislative Research Center. Disponível em: http://legistar.council.nyc.gov/LegislationDetail.aspx?ID=3137815&GUID=437A6A6D-62E1-47E2-9C42-461253F9C6D0 - Acesso em 04 de jan. 2018.

14 KIRCHNER, Lauren. New York City moves to create accountability for algorithms. Arstechnica. Disponível em: https://arstechnica.com/tech-policy/2017/12/new-york-city-moves-to-create-accountability-for-algorithms/ - Acesso em 04 de jan. 2018.

15 MCKENZIE, Jessica. Civic Hall. Hearing on algorithmic transparency reveals rift in NYC tech community. Disponível em: https://civichall.org/civicist/hearing-algorithmic-transparency-reveals-rift-nyc-tech-community/ - Acesso em 04 de jan. 2018.

16 RIELAND, Randy. How data and a good algorithm can help predict where fires will start. Smithsonian Maganize. Disponível em: https://www.smithsonianmag.com/innovation/how-data-and-good-algorithm-can-help-predict-where-fires-will-start-180954436/ - Acesso em 02 de jan. 2018.

17 JOUVENAL, Justin. Police are using software to predict crime. Is it a ‘holy grail’ or biased against minorities? Washington Post. Disponível em: https://www.washingtonpost.com/local/public-safety/police-are-using-software-to-predict-crime-is-it-a-holy-grail-or-biased-against-minorities/2016/11/17/525a6649-0472-440a-aae1-b283aa8e5de8_story.html?utm_term=.260673f1df08 - Acesso em 04 de jan. 2018.

18 STOUT, David. Byron De La Beckwith dies; killer of Medgar Evers was 80. The New York Times. Disponível em: http://www.nytimes.com/2001/01/23/us/byron-de-la-beckwith-dies-killer-of-medgar-evers-was-80.html - - Acesso em 02 de jan. 2018.

19 BRYANT, Ben. Judges are more lenient after taking a break, study finds. The Guardian. Disponível em: https://www.theguardian.com/law/2011/apr/11/judges-lenient-break - Acesso em 02 de jan. 2018.

20 TEGMARK, Max. Life 3.0: being human in the age of artificial intelligence. Alfred A. Knopf: Nova York, 2017, p. 105.

21 KNIGHT, Will. Intelligent machines: biased algorithms are everywhere, and no one seems to care. Tecnology Review. Disponível em: https://www.technologyreview.com/s/608248/biased-algorithms-are-everywhere-and-no-one-seems-to-care/ - Acesso em 25 de out. 2017.

22 RICHARDSON, Rashida. New York City takes on algorithmic discrimination. American Civil Liberties Union. Disponível em: https://www.aclu.org/blog/privacy-technology/surveillance-technologies/new-york-city-takes-algorithmic-discrimination - Acesso em: 04 de jan. 2018.

23 DONEDA, Danilo; ALMEIDA, Virgílio. O que é a governança de algoritmos? Politics. Disponível em: https://www.politics.org.br/edicoes/o-que-%C3%A9-governan%C3%A7a-de-algoritmos - Acesso em: 04 de jan. 2018.

24 KRYSTOSEK, Rebecca J. The algorithm made me do it and other bad excuses. Minesota Law Review. Disponível em: http://www.minnesotalawreview.org/2017/05/the-algorithm-made-me-do-it-and-other-bad-excuses/ - Acesso em: 04 de jan. 2018.

Start spreading the news: NYC regulará seus algoritmos

É preciso controlar a tecnologia de forma que a mesma seja segura e opere no melhor interesse da sociedade