Opinião e Análise

Caio Vieira Machado

Lucas Monteiro Paes

Enquanto o Exame Nacional do Ensino Médio (Enem) deste ano propunha uma redação voltada para a valorização de comunidades e povos tradicionais no Brasil, o Ministério da Educação investe em uma tecnologia que pode aprofundar mais do que nunca as desigualdades sociais. A chave do sucesso — ou da tragédia — está nas discussões sobre justiça e inteligência artificial.  
Neste ano, foi anunciada uma grande mudança no formato do Enem para acompanhar o Novo Ensino Médio. A partir de 2024, a prova contará com questões discursivas, ou seja, candidatos precisarão também escrever a sua resposta por extenso e não mais apenas escolher uma resposta correta dentre alguns itens. Com isso, surge um grande problema: como corrigir as milhões de respostas submetidas pelos alunos? Ao invés de contratar milhares de corretores, o <a href="https://www.jota.info/tudo-sobre/mec">MEC</a> visa uma solução automatizada: algoritmos para processar toda a correção através de computadores, viabilizando uma correção rápida e mais barata.  
Para clareza: algoritmos são a peça elementar de qualquer programas e computador; eles são pequenas sequências de comandos (pense numa receita de bolo), que executam tarefas. Essas "receitas" podem ficar incrivelmente complexas, e são elas que permitem programas que são chamados de Inteligência Artificial, que nós usamos rotineiramente. Eles estão por trás do reconhecimento facial que destrava um celular, são o tempero mágico que faz com que o motor de busca da Google encontre os resultados que nós queremos. É nessa complexidade dos algoritmos que também surge maior margem de erros com potencial grave de dano.  
No caso do Enem, o que se pretende é um conjunto de algoritmos que vão conseguir executar uma série de tarefas, desde a leitura do texto escrito à mão pelos milhões de alunos, cada um com a sua letra, até a interpretação daquele conteúdo conferindo com um gabarito. Especialistas consultados pelo Conselho Nacional de Educação (CNE) sugeriram correções utilizando um sistema de Inteligência Artificial, assim podem garantir a divulgação dos resultados em um prazo “razoável”. Entretanto, estes algoritmos já foram utilizados em outros países, e sua implementação foi, no mínimo, polêmica. 
Em 2020, o Reino Unido lançou um projeto muito parecido, que ficou conhecido como "O Fiasco do Ensino Médio", em uma tradução livre. Lá o governo corrigiu as provas nacionais usando algoritmos e o resultado foi que cerca de 40% dos alunos receberam notas piores do que eles antecipavam. Esse problema se deu por conta de um fenômeno, conhecido como viés algorítimico (comumente tratado pelo termo em inglês, algorithmic bias).  
O viés algorítmico é caracterizado pela produção de erros sistemáticos que produzem resultados injustos. Esses erros, quando ocorrem em serviços usados em larga escala, podem acarretar na discriminação de parcelas importantes da população, o que muitas vezes leva a uma desvantagem indevida a grupos sub-representados da população. Por exemplo, em 2014, a gigante americana Amazon desenvolveu um algoritmo para automatizar o processo de avaliação de currículos das milhares de pessoas que se candidatam às suas vagas anualmente. Ainda que feito por um computador, foi descoberto que este algoritmo tomava decisões com base em gênero. Homens tinham uma maior chance de ser contratados do que mulheres. O modelo tinha um viés algorítmico contra mulheres.  
Algo que preocupa muito nesse processo é que essa discriminação feita pela máquina pode surgir sem que ninguém tenha intencionalmente programado para favorecer homens. Isso ocorre porque alguns algoritmos são criados para se adaptar e ficam cada vez melhores nas tarefas quanto mais vezes eles repetem o processo. Nesse caso, a inteligência artificial é "treinada" usando bases de dados. Por exemplo, para se operar o reconhecimento facial, o algoritmo é treinado usando bases de dados com milhões de fotos de rostos de pessoas, para que o algoritmo fique cada vez mais preciso em reconhecer o que é um rosto humano. O erro pode surgir, por exemplo, se a base de dados tiver apenas homens ou apenas pessoas brancas. É por isso que é razoavelmente comum ver na mídia casos que o reconhecimento facial não reconhece o rosto de uma pessoa negra.  
Esse processo de "aprendizado de máquina" dá margem para que a máquina aprenda a discriminar mesmo sem ordem humana. Mesmo que não sejam utilizadas a raça, o gênero, ou a localidade, estes sistemas podem descobrir estas informações de forma indireta e utilizá-las como critério para sua tomada de decisão. Por exemplo, apenas utilizando imagens de raio-x, um algoritmo de inteligência artificial foi capaz de identificar a raça (branco, negro, ou asiático) de pacientes. Outro exemplo é o algoritmo de análise de currículo mencionado acima, que não utilizava informações de gênero, mas mesmo assim discriminava as mulheres. Ou seja, Inteligência Artificial pode discriminar por acidente, portanto é necessário uma equipe para garantir que esta discriminação não ocorra.   
Inteligência artificial ao ser utilizada por empresas de forma pouco cautelosa, pode causar consequências desastrosas para a sua performance a longo prazo. No exemplo da Amazon, a contratação equivocada de um colaborador do sexo masculino pode ferir os próprios propósitos da companhia, que não tinha preferência entre homens e mulheres e acabou rejeitando candidatas qualificadas. Além disso, a empresa pode cometer um ato ilegal, discriminatório, por descuido na operação de um sistema automatizado. Na ocasião em que estes algoritmos são utilizados por governos, as consequências podem ser ainda piores e irreversíveis.  
Um algoritmo utilizado de forma sistemática sobre todo um território, e com o poder de tomar decisões potencialmente arbitrárias, é chamado por alguns acadêmicos de Leviatã Algorítmico. Basta pensar em todas as situações onde um algoritmo pode ser — ou já é — introduzido: na gestão do trânsito das grandes cidades, na alocação de ambulâncias para atender a emergências, ou mesmo na correção de provas de concursos.  
Este algoritmo tem quase os mesmos poderes que um ditador, pois a sua operação aloca benefícios e recursos na sociedade. Pense: como o Waze ou o Google Maps aloca o trânsito de carros pela cidade? Como você sabe se ele não está lhe jogando para uma via congestionada para que um usuário "prêmium" trafegue livremente em uma via desocupada? Quando esses algoritmos operam através de serviços conectados à infraestrutura os efeitos são particularmente perigosos e dizem respeito a um interesse coletivo. Se nós tivermos poucas visibilidade sobre como eles são formulados e implementados, suas decisões sobre toda a população podem ser tomadas de forma inquestionável, não interpretável, e potencialmente arbitrária.   
O algoritmo de correção das questões discursivas do Enem pode causar danos imensos se não for desenvolvido com grande cautela. Ele atribuirá notas para milhões de brasileiros, determinando o ingresso deles nas universidades e, como no caso do Reino Unido, pode errar em 40% da população ou, como na Amazon, pode favorecer injustamente algumas parcelas da sociedade. Efetivamente, ele será um Leviatã Algorítmico, reinando sobre a população brasileira, decidindo o futuro de milhões de jovens. Como podemos evitar que ele reproduza e aumente a desigualdade geográfica, de gênero, e racial no Brasil?  
Nesse cenário é imprescindível que o Inep aprenda com os erros cometidos internacionalmente e organize uma equipe com foco no desenvolvimento ético e justo do seu algoritmo de correção. Este algoritmo precisa ser auditável (cidadãos comuns podem testar a performance do corretor em diferentes grupos da sociedade com alta confiabilidade estatística), interpretável (o candidato tem acesso a uma explicação sobre a sua pontuação feita em cada questão discursiva), justo (o erro de correção deve ser independente de grupos sociais ao qual o candidato faz parte), e estável (respostas parecidas precisam receber notas parecidas).   
Com esses cuidados, conseguimos assegurar que o Leviatã estará a serviço da população brasileira, corrigindo provas de forma justa e transparente. Caso contrário, a valorização de comunidades e povos tradicionais estará apenas no papel e no tema da redação, enquanto no programa essas pessoas estarão fadadas à marginalização social. Controlar o algoritmo é uma questão de projeto de nação.

WhatsApp Image 2021-01-14 at 15.05.17

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Como a correção do Enem através de inteligência artificial pode gerar soluções ou catástrofes  

Programados para bombar no Enem

Como a correção do Exame Nacional do Ensino Médio (Enem) através de inteligência artificial pode gerar soluções ou catástrofes