Opinião e Análise

Experimente o JOTA PRO por 10 dias e decida com mais segurança.

Fernanda Rodrigues

Tarcízio Silva

As controvérsias, nos últimos anos, em torno dos consensos na medicina, epidemiologia e saúde coletiva lembraram ao público geral que erros e más decisões podem acontecer na área, das políticas públicas ao atendimento clínico.
Pesquisas multidisciplinares demonstram há muito que as tecnologias e dispositivos de <a href="https://www.jota.info/tudo-sobre/saude">saúde</a>, diagnóstico e cuidado também podem incorporar disparidades: medição de capacidade pulmonar através do espirômetro [1], avaliação para transplante de rim [2] e dispensa de anestesia [3] são alguns dos exemplos chocantes.
<h3><a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias">Assine a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas no seu email</a></h3>
A multiplicação de sistemas algorítmicos cria mais complexidade que, por vezes, pode acarretar primazia da velocidade às expensas do cuidado e da ciência. O uso de IA na medicina representa a implementação de decisões automatizadas em uma das áreas mais sensíveis para os indivíduos, cujos impactos podem ser sentidos na esfera de direitos mais fundamental de um ser humano, como é o caso do direito à vida e à saúde. E esses efeitos podem ser ainda mais danosos sobre grupos já vulnerabilizados.
Nos Estados Unidos, artigo publicado na prestigiosa <a href="https://www.science.org/">revista Science</a> apontou que um algoritmo utilizado para ajudar a identificar pacientes com necessidades médicas mais críticas, nos Estados Unidos, classificava em uma mesma faixa de risco pacientes negros que estavam significativamente mais doentes do que pacientes brancos [4].
Uma vez que era baseado no cálculo dos custos de saúde, o sistema reproduzia os efeitos do acesso desigual a cuidados de saúde entre esses dois grupos e também reproduzia decisões racistas de médicos que eventualmente optavam por dedicar menos recursos a pacientes negros. Em números, a correção desse problema poderia fazer com que a quantidade de pacientes negros que recebiam auxílio extra pularia de 17,7% para 46,5%, significando milhares de vidas que poderiam ter sido melhor atendidas pelo sistema de saúde, mas que foram prejudicadas pelo resultado enviesado do sistema algorítmico.
A bibliografia científica e o histórico de casos provam que somente retirar a variável de raça do funcionamento de um sistema pode não ser suficiente para evitar vieses discriminatórios. Em algumas situações, o efeito pode ser justamente o contrário, na medida em que é a adoção de critérios aparentemente neutros que pode gerar o problema do qual se quer fugir. Mas a solução também não é o uso das categorias raciais de forma explícita como variável dependente, pois já foi provado que as crenças sobre diferenças raciais foram operacionalizadas para a produção das disparidades.
Aqui temos uma solução que nada tem de disruptiva para o controle social de uma tecnologia vista como inovadora. A compreensão sistêmica das disparidades, como as abordagens que observam as camadas institucionais e estruturais do racismo, é necessária também na saúde.
Inúmeros fatores sociais influenciam condições e acesso a cuidados médicos, a exemplo da média de renda da população negra [5], que pode impossibilitar o investimento em procedimentos mais caros; a discriminação racial que pode ocorrer em atendimento médico [6]; e a dificuldade de meios de acesso a postos de saúde por populações que vivem em locais marginalizados [7]. Estes e outros dados podem impactar de forma direta no desenvolvimento e adoção de sistemas racialmente enviesados.
Em corajoso texto, a cientista da computação brasileira Sandra Ávila contou como se deu conta que colaborou, quando jovem, na produção de dados para um projeto eugênico de aprendizado de máquina para dermatologia [8]. Os dados sobre peles negras, além de esparsos, tinham sub-conjuntos parcialmente excluídos das bases de dados do treinamento – fotografias de partes do corpo com índices diferentes de melanina, como unha, palmas da mão e pés por serem “confusos”. Na prática, isso diminuía a possibilidade de identificar a maior incidência de câncer de pele em populações negras nessas partes do corpo.
Lacunas similares foram encontradas em outros contextos em torno do mundo. Pesquisadores descobriram que poucos conjuntos de dados, dentre aqueles gratuitos que poderiam ser utilizados para o treinamento de IAs para identificação de câncer de pele, possuíam informações sobre etnia ou tipo de pele [9]. De acordo com o estudo, havia uma significativa sub-representação de imagens de lesões em pele mais escura, o que poderia levar a uma menor eficiência para identificação da doença nesses casos. Ávila reforçou que apenas a abordagem multidisciplinar a empoderou para tratar e agir sobre o problema – tanto na computação quanto na dermatologia teve dificuldade pela força das crenças sobre objetividade nos campos.
A falta de controle sobre como essas tecnologias são criadas, testadas e implementadas adiciona uma camada de opacidade para a fiscalização e supervisão sobre o seu funcionamento. Atualmente, a corrida por inovação motiva o setor privado a rejeitar parâmetros que obriguem tanto as empresas desenvolvedoras como as empresas contratantes de tecnologia a realizarem avaliações de risco e de impacto algorítmico, de forma que frequentemente eles podem ser disponibilizados no mercado sem qualquer fiscalização prévia ou posterior séria e adequada, sob o pretexto de maior “eficiência” e “efetividade” para a saúde.
Bases de dados de treinamento mais inclusivas e representativas são apenas uma dos caminhos para a solução desse problema. Em se tratando de uma área tão sensível, é necessário que a adoção de sistemas de inteligência artificial  observe uma avaliação preliminar de risco rigorosa, a fim de identificar em qual nível se encontra.
Em caso de riscos altos, a elaboração de uma avaliação de impacto algorítmico é essencial para compreender todos os possíveis efeitos, positivos e negativos, da implementação dessa tecnologia em determinado contexto. Investigando a sua interação com a população potencialmente afetada, o ambiente em que atuará e as características do modelo, por exemplo, é possível ter uma visão mais holística sobre seu funcionamento e possíveis consequências. Isso contribui diretamente para adoção de medidas que venham a prevenir a ocorrência de danos, no lugar de somente remediá-los.
Nesse sentido, é necessário que a avaliação de impacto parta de alguns pontos tidos como pressupostos diante da realidade do país, como a) compreensão dos sistemas algorítmicos dentro das estruturas de relações sociais; b) reconhecimento do caráter estrutural do racismo e seus impactos; c) centralização dos compromissos do Estado brasileiro contra racismo e outras formas de discriminação; d) reconhecimento dos impactos do colonialismo e colonialidade digital.
A atual minuta do <a href="https://www25.senado.leg.br/web/atividade/materias/-/materia/157233">PL 2338</a> em discussão na Comissão Temporária de IA no Senado prevê a gradação de riscos e um rol de áreas consideradas de alto risco, como saúde e segurança pública. A previsão de itens dos relatórios de impacto algorítmico inclui elementos já idealmente incorporados em qualquer entidade desenvolvedora responsável, como: registro de riscos conhecidos e previsíveis associados ao sistema de inteligência artificial; número de pessoas potencialmente impactadas; gravidades das consequências e esforço necessário para mitigação; e informações sobre a lógica de funcionamento do sistema e histórico de testes e avaliação de medidas de mitigação de impactos a direitos.
Ainda tímido em mecanismos de participação social [10], a atual versão do PL 2338 prevê também que a autoridade competente poderá estabelecer critérios para a participação dos diferentes segmentos sociais afetados, conforme risco e porte econômico da organização. A defesa e aprofundamento dessa possibilidade no desenho brasileiro de regulação de IA pode estabelecer parâmetros mínimos para que a inovação tecnológica não se torne sinônimo de erosão de direitos.
<hr />
[1] BRAUN, Lundy. Breathing race into the machine: The surprising career of the spirometer from plantation to genetics. U of Minnesota Press, 2014.
[2] ARRIOLA, Kimberly Jacob. Race, racism, and access to renal transplantation among African Americans. Journal of health care for the poor and underserved, v. 28, n. 1, p. 30-45, 2017.
[3] GOES, Emanuelle. Racismo científico, definindo humanidade de negras e negros. Geledès-Instituto da Mulher Negra. São Paulo, 2016.
[4] OBERMEYER, Ziad; POWERS, Brian; VIGELI, Christine; MULLAINATHAN, Sendhil. Dissecting racial bias in an algorithm used to manage the health of populations. Science, v. 366, n. 6464, out. 2019, pp. 447-453.
[5] FREIRE, Tâmara. IBGE: renda média de trabalhador branco é 75,7% maior que de pretos. Agência Brasil, 11 nov. 2022. Disponível em: <a style="font-size: 0.9375em;" href="about:blank">https://agenciabrasil.ebc.com.br/radioagencia-nacional/geral/audio/2022-11/ibge-renda-media-de-trabalhador-branco-e-757-maior-que-de-pretos</a>. Acesso em: 3 set. 2024.
[6] MOREIRA, Marília. “Sua raça é resistente à dor”: mulheres relatam racismo em atendimentos médicos. AzMina, 24 fev. 2021. Disponível em: <a style="font-size: 0.9375em;" href="about:blank">https://azmina.com.br/reportagens/sua-raca-e-resistente-a-dor-mulheres-relatam-racismo-em-atendimentos-medicos/</a>. Acesso em: 3 set. 2024.
[7] LUCENA, Vinícius. Sete em cada dez moradores de favelas não têm acesso adequado à saúde, aponta pesquisa. Folha de Pernambuco, 10 maio 2023. Disponível em: <a style="font-size: 0.9375em;" href="about:blank">https://www.folhape.com.br/noticias/sete-em-cada-dez-moradores-de-favelas-nao-tem-acesso-adequado-a-saude/269899/</a>. Acesso em: 3 set. 2024.
[8] ÁVILA, Sandra; MARINI, Marisol. “O Dia em que Descobri que Colaborava para um Projeto Eugênico”: Sobre Imponderáveis na Pesquisa Colaborativa. Platypus: The CASTAC Blog, 26 Set. 2023.
[9] DAVIS, Nicola. AI skin cancer diagnoses risk being less accurate for dark skin - study. The Guardian, 9 nov. 2021.
[10] ABONG; AÇÃO EDUCATIVA; IBASE. A Importância da Participação Social na Regulação da Inteligência Artificial no Brasil. 7 ago. 2024. Disponível em: <a style="font-size: 0.9375em;" href="about:blank">https://acaoeducativa.org.br/wp-content/uploads/2024/08/A-importancia-da-Participacao-Social-na-Regulacao-da-Inteligencia-Artificial-no-Brasil.pdf</a>. Acesso em: 3 set. 2024.

algoritmos

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Algoritmos na saúde podem replicar desigualdades; PL 2338 prevê avaliação para mitigar riscos

Participação de grupos afetados é fundamental em relatórios de impacto algorítmico

Algoritmos na saúde podem replicar desigualdades; PL 2338 prevê avaliação para mitigar riscos