Opinião e Análise

Tatiana Coutinho

Ana Paula Ávila

Se existe algum consenso em temas de <a href="https://www.jota.info/tudo-sobre/inteligencia-artificial">inteligência artificial</a> (IA), este se encontra na recorrente afirmação de que os sistemas de IA devem operar sob o princípio fundamental de não prejudicar ou impactar adversamente os indivíduos. De fato, o antigo princípio atribuído a Hipócrates de “primum non nocere” (primeiro, não prejudicar) subjaz ao conceito contemporâneo da “não maleficência” disseminado pela bioética e teve sua importância renovada na revolução tecnológica que estamos presenciando com a IA.
A diretriz de não maleficência da IA compreende o dever de salvaguardar a honra e a integridade psicológica e física das pessoas. Torna-se crucial que tanto os sistemas de IA quanto seus ambientes operacionais sejam confiáveis, protegidos, robustos e comprometidos com o benefício coletivo, sem perder de vista a proteção de comunidades em situação de vulnerabilidade. Essencial também será evitar cenários nos quais a IA possa intensificar efeitos negativos associados ao desequilíbrio de poder ou acesso a informações, especialmente em relações assimétricas, tais como aquelas que se estabelecem entre empregadores e empregados, empresas e consumidores, governos e cidadãos.
A não maleficência e a salvaguarda das pessoas dependerão, em larga medida, da qualidade dos dados alimentados nos sistemas de IA. Dados de alta qualidade são fundamentais para a prevenção de vieses algorítmicos e, por extensão, para a proteção da dignidade e integridade das pessoas. Quando os dados que alimentam a IA são imprecisos, incompletos ou preconceituosos, os algoritmos podem perpetuar ou até intensificar injustiças e disparidades sociais.
A qualidade dos dados também funciona como um princípio fundamental de IA. Esta diretriz influencia a maneira como os sistemas de inteligência artificial são projetados, desenvolvidos e implementados, pois a qualidade dos dados será crítica para a eficácia e justiça dos sistemas de IA. De fato, para criar sistemas de inteligência artificial justos, imparciais e eficientes, os dados utilizados devem ser acurados, completos, representativos e sempre atualizados. A coleta e o processamento dos dados devem ser executados com métodos que minimizem vieses e erros, refletindo a diversidade e a complexidade do ambiente em que serão aplicados.
Ainda conforme a diretriz de qualidade, é essencial que os dados sejam coletados e tratados com rigor e transparência. Isso garante que a IA funcione para o bem comum e respeite a equidade, evitando refletir assimetrias de poder ou de informação que exacerbem disparidades já existentes e que devem ser combatidas. A má qualidade dos dados faz crescer o risco de que grupos minoritários sejam desproporcionalmente afetados por vieses e discriminações algorítmicas. Aqui temos o ponto mais sensível em discussão, referente à necessária prevenção dos vieses discriminatórios.
Ao tratarmos de sistemas de IA, podemos identificar vieses – mecanismos cerebrais que tomam decisões por meio de associações automáticas, baseadas em suposições, julgamentos e preconceitos em relação a pessoas ou grupos, fundamentadas em experiências passadas e herança ancestral, resultando nos chamados vieses inconscientes que podem refletir as visões e crenças dos desenvolvedores, construtores e engenheiros do algoritmo (que ainda são predominantemente homens e brancos) e podem transparecer no algoritmo (O’NEIL, 2020), incorrendo no fenômeno denominado discriminação algorítmica. O segundo tipo refere-se ao viés de big data, isto é, o viés nos próprios dados que podem não ser representativos.
Importante esclarecer que os vieses podem estar presentes em todas as etapas de desenvolvimento de um sistema de IA, e dependendo da etapa, podem ser classificamos como: 
<ul>
<li>viés histórico: Questões estruturais fundamentais impregnadas no tecido social, que podem afetar a primeira etapa do processo de geração de dados mesmo com uma boa amostragem estatística;</li>
<li>viés de representação: Pode ocorrer durante a coleta de dados, quando a amostra coletada não representa a população a ser modelada. Isso resulta em dados de treinamento não representativos e um modelo que erra mais ao tentar prever rótulos para grupos sub-representados;</li>
<li>vieses de avaliação: Podem surgir ao avaliar o desempenho, uma vez que ele aprende com os dados de treinamento, mas sua qualidade é avaliada usando dados de teste. A classificação de métricas de avaliação de desempenho, como a acurácia geral, pode ocultar disparidades entre diferentes subgrupos e ocultar a presença de vieses; e </li>
</ul>
<ul>
<li>viés de interpretação humana: Podem ser inseridos na etapa de pós-processamento, durante a integração dos sistemas. A saída – por exemplo a identificação de um suspeito nos sistemas de reconhecimento facial – deve ser sempre interpretada por seres humanos de forma a evitar consequências injustas.</li>
</ul>
Para melhor ilustrar o ponto, citamos como exemplo o treinamento de um IA de classificação de imagens que não receba representatividade suficiente, em que o algoritmo consegue reconhecer maçãs vermelhas, mas não consegue identificar maçãs verdes como maçãs, pois não recebeu input suficiente desta amostragem de maçãs. Exemplos de viés de big data que revelam algum tipo de discriminação já são de todos conhecidos, como o famoso caso do app de fotos que identificava pessoas negras como gorilas, do app de banco que utilizava um recurso de biometria facial que falhava no reconhecimento do rosto de pessoas negras, ou da ferramenta de recrutamento que excluía o currículo de candidatas mulheres de processos seletivos para determinadas vagas.
Afora isso, conjuntos de dados também podem direcionar decisões desproporcionalmente a grupos minoritários, como aconteceu com o Compass nos EUA, em que pessoas negras e oriundas de bairros pobres que concentram minorias eram consideradas mais propensas a reincidência e por isso tinham negado o direito de responder o processo penal em liberdade.
O que isso significa, na prática, é que conjuntos de dados tendenciosos, combinados com algoritmos que propagam vieses existentes, podem resultar em “falsos positivos”. Alguns algoritmos de polícia preditiva (por ex., o PredPol, dos Estados Unidos) tinham mais probabilidade de direcionar a repressão a comunidades de baixa renda e negras em comparação com comunidades brancas e ricas com taxas semelhantes de crimes relacionados a drogas nos EUA (STORBECK, 2022). Isso sem falar nas situações em que dados falsos, incompletos, incorretos e fora de padrão (“dirty data”) são imputados propositadamente em sistemas para manipular as decisões por eles produzidas (RICHARDSON, SCHULTZ, CRAWFORD, 2019).
É inegável que a problemática dos vieses gira em torno do risco que associações automatizadas trazem para a perpetração de processos discriminatórios que impactam nas desigualdades entre as pessoas, de forma que a qualidade dos dados não pode ser relegada a um segundo plano, pois será essencial para a prevenção de danos e para a proteção da dignidade e integridade das pessoas, especialmente de grupos vulneráveis. Nesse contexto, a não maleficência e a garantia da qualidade dos dados emergem como princípios éticos e verdadeiras condições para o desenvolvimento de uma inteligência artificial responsável, possibilitando que decisões automatizadas sejam baseadas em informações fidedignas, contribuindo para resultados justos e para a manutenção da confiança pública nessas tecnologias.
<hr />
O’NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e ameaça a democracia. Santo André: Editora Rua do Sabão, 2020.
RICHARDSON, Rashida; SCHULTZ, Jason M.; CRAWFORD, Kate. Dirty Data, Bad Predictions: how civil rights violations impact police data, predictive policing systems, and justice. NYU Law Review, n. 94(192-233), 2019.
RUBACK, Lívia; AVILA, Sandra; CANTERO, Lucia. Vieses no Aprendizado de Máquina e suas Implicações Sociais: Um Estudo de Caso no Reconhecimento Facial. In: WORKSHOP SOBRE AS IMPLICAÇÕES DA COMPUTAÇÃO NA SOCIEDADE (WICS), 2. , 2021, Evento Online. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2021 . p. 90-101.
STORBECK, Majsa. EUCPN - Artificial Intelligence and Predictive Policing: risks and challenges. Brussels: EUCPN, 2022.
SILVA, Tarcizio. Racismo algorítmico: entre a (des)inteligência artificial e a epistemologia da ignorância. Revista Select, nov. 2020. Disponível em: https://select.art.br/racismo-algoritmico/. Acesso em: 10 abr. 2023.

inteligência artificial – dados e emergência climática

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

As condições para o desenvolvimento de uma inteligência artificial responsável

O princípio da prevenção de danos e a indissociável qualidade dos dados

As condições para o desenvolvimento de uma inteligência artificial responsável