Alexandre R. Silva

Felipe Oriá

Rafael Garofano

Thiago Ferrarezi

A interação entre direito e <a href="https://www.jota.info/tudo-sobre/tecnologia">tecnologia</a> traz um conjunto bastante significativo de novos conceitos, problemas, desafios e soluções. Não se conhece ainda os limites do potencial transformador das tecnologias emergentes aplicadas ao exercício das funções administrativas do Estado. Alguns riscos decorrentes, no entanto, já são conhecidos e começam a ser regulados.
Algoritmos de aprendizagem automática têm se tornado importantes aliados para uma série de tarefas desempenhadas por autoridades públicas, nas mais diversas áreas, especialmente na gestão da segurança pública e na justiça criminal. Apesar dos potenciais benefícios, as aplicações de IA[1] geram novos riscos e problemas concretos com os quais o setor público (notadamente a regulação) deve ser capaz de lidar.
Os riscos associados estão ligados às falhas intencionais ou não intencionais dos sistemas de IA, ou seja, a manipulação humana ou à incapacidade do sistema de “raciocinar” adequadamente. A primeira situação pode ocorrer quando o sistema é projetado para discriminar, perseguir ou beneficiar alguém. A segunda, quando erros levam a resultados problemáticos. Em qualquer caso, o funcionamento inadequado pode resultar em violação aos direitos fundamentais, como liberdade, privacidade, igualdade, dignidade ou acesso à justiça.
Assim como os humanos, os sistemas de IA também são falíveis. Até porque qualquer IA hoje existente ainda depende em alguma medida dos humanos. A racionalidade algorítmica é dependente das informações que lhe dão base, assim como da qualidade do treinamento e exatidão dessas informações em relação ao seu correspondente no mundo real. As máquinas podem falhar independentemente da ação ou intervenção humana, uma vez que desenvolvem novas habilidades de maneira autônoma, o que torna ainda mais complexa a avaliação dos riscos e o modo de controlá-los.
Alguns destaques são geralmente feitos nessa temática. Uma primeira dificuldade é garantir transparência ao funcionamento dos algoritmos. Outro problema é risco de “raciocínio” discriminatório que pode decorrer do uso da IA no exercício de funções administrativas, como na garantia de direitos e serviços públicos, acesso a determinados benefícios sociais, ou mesmo no exercício de atividades de típica autoridade estatal, como na investigação e repressão de infrações penais.
Como se isso não bastasse há, ainda, os problemas relacionados à responsabilidade por ações decorrentes do uso de IA e à eventual necessidade de revisão humana dos atos e decisões automatizadas.
A adoção de sistemas inteligentes pela Administração pública está sujeita a erros de máquina, enviesamento de decisões, falhas nas bases de dados, qualidade dos dados ou dados inexatos que podem gerar exclusão de pessoas com relação aos benefícios relacionados a determinadas políticas públicas. A programação e funcionamento de algoritmos pode provocar segregação e discriminação em razão das características pessoais (gênero, cor, raça, religião, convicções políticas etc).
A tomada de decisão algorítmica é, muitas vezes, tendenciosa. Os algoritmos aumentam o potencial de discriminação em decisões automatizadas, pois os sistemas constroem diferentes tipos, perfis ou categorias de pessoas. Não sem razão, há um certo consenso em torno da ideia de que a IA deveria ser mais transparente e responsável[2].
Embora se reconheça a dificuldade em eliminar o viés dos conjuntos de dados de treinamento, as tentativas vão no sentido de desenvolver ferramentas para identificá-los e eliminá-los. O caminho seria auditar a IA para combater a discriminação e promover a justiça, o que reclamaria a criação ou reforma de leis e regulamentos, o aprimoramento da regulação e, ainda, exigiria que os próprios sistemas fossem desenhados de modo a permitir essa auditoria.
Os riscos evidentes dos sistemas de IA têm levado países e organizações a desenvolverem estratégias de regulação e supervisão ética da IA. São estratégias que procuram conciliar o desenvolvimento do mercado e da tecnologia com modelos de gestão e regulação adaptados a ela, a partir de preceitos ético-legais pré-estabelecidos e positivados no ordenamento jurídico, especialmente porque a IA interfere diretamente nos processos decisórios.
Um documento relevante nesse sentido é a Recomendação do Conselho da OCDE sobre Inteligência Artificial, de 2019[3]. Além de outros princípios, ela estabelece que a IA deve ser aplicada com foco nos valores humanistas e na equidade, o que abarca os direitos humanos, os valores democráticos, as liberdades, a dignidade da pessoa humana e a autonomia dos indivíduos, bem como a proteção a seus dados pessoais e à privacidade, dentre outros direitos fundamentais. Inclui ainda a proteção às garantias processuais nas decisões automatizadas que tenham se utilizado de sistemas de IA.
No Brasil, a proposta mais avançada é o <a href="https://www25.senado.leg.br/web/atividade/materias/-/materia/157233">PL 2338</a>, de 2023, apresentado pelo presidente do Senado, Rodrigo Pacheco (PSD-MG). O texto estabelece normas gerais para o desenvolvimento responsável e seguro dos sistemas de tecnologia, com o objetivo de proteger direitos fundamentais, em ao menos cinco pilares: princípios; direitos dos afetados; classificação de riscos; obrigações e requisitos de governança; e supervisão e responsabilização.
Há previsão, inclusive, da necessidade de informação prévia sobre interações com sistemas de IA e de explicação sobre decisões ou recomendações tomadas por eles, com o direito de contestá-las e solicitar intervenção humana. O texto também proíbe a discriminação ou o uso de sistemas de IA que busquem induzir atitudes perigosas ou prejudiciais à saúde ou à segurança; impede a avaliação, classificação ou ranqueamento das pessoas com base em seus comportamentos; e ainda exige avaliação de impacto algorítmico e outras medidas de governança quando o sistema de IA é considerado de alto risco.
O objetivo é garantir que as tecnologias de inteligência artificial sejam utilizadas como meio de reforçar o respeito aos direitos e garantias fundamentais, nunca o contrário. Enquanto as decisões algorítmicas representarem riscos aos direitos humanos e à dignidade humana, elas devem ser objeto de regulação pelo direito, com vistas a impedir a interferência abusiva do Estado ou do poder econômico, representada pela mera reprodução algorítmica das assimetrias informacionais.
O desafio por aqui não é pouco. Na administração pública, especialmente, é preciso controlar aplicações de IA, em proveito público, sem inviabilizá-las ou desestimulá-las. Para assegurar transparência e rastreabilidade de todo o processo de tomada de decisão – ferramentas essenciais para o exercício do controle –, os algoritmos precisam ser armazenados e executados em ambiente seguro com o escopo de ser garantida a integridade e intangibilidade do sistema.
Além disso, os sistemas devem ser projetados para assegurar a conformidade com os direitos. É necessário estabelecer parâmetros para sua aplicabilidade por ocasião da programação algorítmica, por exemplo no que diz respeito à discriminação entre grupos e indivíduos.
A exigência de certificados que assegurem a confiabilidade dos dados utilizados e a integridade dos modelos da aprendizagem de máquina é outro instrumento importante para a supervisão algorítmica. O objetivo, neste caso, seria o de evitar a exposição aos riscos de violações, deturpações e desvios ou vieses discriminatórios dos algoritmos.
O controle, ademais, não pode se valer apenas dos métodos e ferramentas do passado. A IA deve também ser uma aliada do controlador, inclusive para viabilizar o controle de conformidade das próprias aplicações de IA pelo setor público. Não se trata de saber qual “inteligência” prevalecerá – entre a humana e a computacional –, mas sim de conjugar esforços e instrumentos para garantir o mesmo nível ou níveis mais elevados de transparência e accountability sobre as atividades da Administração Pública.
*
Este artigo faz parte de uma série do Instituto Mirã publicados em conjunto com o <a href="https://www.xn--mir-ola.com/relat%C3%B3rioiabrasil">relatório “IA no Brasil: Desafios e Oportunidades”</a>.
<hr />
[1] A característica principal da IA é a capacidade de aprendizagem do sistema envolvendo algoritmos (machine learning e deep learning). A IA opera geralmente a partir de uma fase inicial de treino com supervisão humana, após isso, opera em função da captação de grande volume de dados e informações disponíveis (big data) à qual se alia a capacidade de tomar decisões (para o desempenho de alguma funcionalidade), utilizando a combinação algorítmica dos referidos dados, sem que haja nova intervenção humana no processo.
[2] WACHTER, p.ex., destaca casos em que algoritmos opacos se tornaram racistas e sexistas e sustenta que as pessoas deveriam ter assegurado um direito a “inferências razoáveis”. Cf. WACHTER, Sandra; MITTELSTADT, Brent. A right to reasonable inferences: re-thinking data protection law in the age of big data and AI. In Columbia Business Law Review – Vol. 2019 – Issue 2. Disponível em: https://ssrn.com/abstract=3248829. Acesso em 22/02/2022.
[3] OECD/LEGAL-0449 - Recommendation of the Council on Artificial Intelligence. Disponível em:<a href="https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449"> https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449</a>. Acesso em: 22/05/2022.

Inteligência artificial

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Por um melhor entendimento dos limites do potencial da inteligência artificial nas funções administrativas do Estado

Impactos da IA na Administração Pública

É necessário um melhor entendimento dos limites do potencial transformador da IA nas funções administrativas do Estado