Opinião e Análise

Fernando Aith

Apenas no último mês, três fatos ao mesmo tempo surpreendentes e amedrontadores tornaram-se públicos. Vamos a eles:
Fato 1: uso de dados de saúde pelo Estado para fins de “segurança”
Publicado pela revista científica British Medical Journal recentemente, artigo de autoria de Luke Taylor possui um título contundente: “ICE e Palantir: Agentes dos EUA usam dados de saúde para caçar imigrantes ilegais”.
<a href="https://www.jota.info/produtos/saude?utm_source=cta-site&amp;utm_medium=site&amp;utm_campaign=campanha_saude_q2&amp;utm_id=cta_texto_saude_q2_2023&amp;utm_term=cta_texto_saude&amp;utm_term=cta_texto_saude_meio_materias">Com notícias da Anvisa e da ANS, o JOTA PRO Saúde entrega previsibilidade e transparência para empresas do setor</a>
Conforme nos informa o texto, agentes de imigração dos EUA estão usando um aplicativo desenvolvido pela Palantir que utiliza os registros de saúde de milhões de americanos para encontrar e deter imigrantes ilegais. A Palantir é uma das maiores desenvolvedoras de inteligência artificial do mundo.
A revelação surge em um momento em que o Serviço de Imigração e Alfândega dos EUA (ICE) está sob crescente suspeita de ações ilegais após o assassinato de Alex Pretti, um enfermeiro de UTI de 37 anos, por agentes do ICE em Minneapolis. Segundo o texto, dados do Departamento de Saúde e Serviços Humanos (HHS) estão sendo inseridos — juntamente com outros conjuntos de dados comerciais e públicos — em um aplicativo de análise desenvolvido pela Palantir.
Depoimentos de um funcionário do ICE e documentos internos mostram que o aplicativo Enhanced Leads Identification and Targeting for Enforcement (Elite) mapeia áreas para ajudar os agentes a decidir onde realizar batidas de detenção.
A ferramenta teria sido usada em operações recentes, incluindo uma batida no Oregon em outubro, na qual 30 pessoas foram presas. O Elite extrai nomes, endereços e fotos de registros de saúde, funcionando como o Google Maps, de modo que mostra aos agentes do ICE quais áreas têm maior densidade de pessoas que poderiam ser detidas. O software também gera dossiês sobre indivíduos, incluindo nome, foto e "pontuações de confiança" de que estão em casa.
Segundo o texto, não estão claras quais informações foram fornecidas ao ICE, mas o HHS argumenta que o compartilhamento de informações é permitido pela legislação nacional. No entanto, organizações de direitos humanos afirmam que o uso de segmentação baseada em localização é indiscriminado e viola o devido processo legal, e alguns estados dos EUA contestaram a medida na justiça, levando a uma suspensão temporária do compartilhamento de informações.
Resumo: na ausência de uma proibição legal clara sobre esse tipo de uso de dados de saúde (como existe no Regulamento Europeu para IA, por exemplo), as autoridades dos EUA estão fazendo o que querem com esses dados para fins de “segurança pública”. Um excelente instrumento a serviço do autoritarismo e a desserviço da democracia e da saúde pública.
Fato 2: Dados genéticos de mais de 20 mil crianças americanas são usados ​​indevidamente para "ciência racial"
Pesquisadores da área da genética nos EUA buscaram crianças para um ambicioso projeto financiado pelo governo federal norte-americano, cujo objetivo era acompanhar o desenvolvimento cerebral — um estudo que, segundo eles, poderia revelar descobertas valiosas sobre o impacto do DNA no comportamento e em doenças.
Estes pesquisadores se comprometeram a proteger os dados sensíveis das crianças durante os dez anos de duração do estudo, que teve início em 2015. O material promocional que utilizavam à época para captar as crianças, que seriam os sujeitos de pesquisa do projeto, incluía um desenho animado de uma criança negra dizendo que se sentia bem em saber que “os cientistas estão tomando medidas para manter minhas informações seguras”.
No entanto, os cientistas não protegeram os dados e o vazamento teve consequências tenebrosas.
Um grupo de pesquisadores marginais do projeto frustrou as medidas de segurança dos Institutos Nacionais de Saúde (NIH) e obteve acesso a dados de milhares destas crianças que participavam do estudo. Os membros do grupo de pesquisa não tinham autorização para obter dados do projeto, mas um deles conseguiu acesso por meio de um professor americano que já estava sendo investigado pelo NIH (Instituto Nacional de Saúde dos EUA) por sua atuação em outro estudo sobre o cérebro infantil.
Este grupo de pesquisadores que acessou indevidamente os dados sensíveis das crianças e adolescentes produziu pelo menos 16 artigos “científicos” com base nestes dados, nos quais alegam ter encontrado evidências biológicas de que existem diferenças de inteligência entre raças, classificando etnias por pontuação de QI e sugerindo que pessoas negras ganham menos porque são menos inteligentes.
Geneticistas renomados rejeitaram o trabalho deles, considerando-o tendencioso e anticientífico. No entanto, ao se basearem em dados genéticos e outros dados pessoais do projeto, conhecido como “Estudo do Desenvolvimento Cognitivo do Cérebro Adolescente”, os pesquisadores conferiram às suas teorias uma aparência de rigor analítico.
Os artigos racistas publicados serviram de munição para postagens racistas em redes sociais e fóruns de supremacistas brancos, que foram visualizadas milhões de vezes. Alguns dos artigos são citados por bots de inteligência artificial como ChatGPT e Grok em resposta a perguntas sobre raça e inteligência. Na plataforma de mídia social X, o Grok direcionou usuários para a pesquisa mais de duas dezenas de vezes somente no mês de janeiro.
Fato 3: Software de IA da empresa Doctronic já libera receita médica sem supervisão humana para pacientes
Uma nova tecnologia com IA desenvolvida pela empresa norte-americana Doctronic está testando até que ponto podem ir no desenvolvimento e comercialização de produtos de saúde digital com inteligência artificial sem supervisão humana. Querem testar até onde pacientes e governos irão permitir e aceitar que o “mercado inove” e comercialize produtos que podem, potencialmente, causar sérios prejuízos à saúde individual e coletiva.
Por apenas US$ 4, pacientes com doenças crônicas no estado norte-americano de Utah já conseguem obter a renovação de receita médica sem precisar sequer falar com o médico (e nem com o enfermeiro). A iniciativa é parte de um teste realizado pela empresa Doctronic, health tech em atividade desde 2023. A empresa desenvolveu um assistente médico por IA em que o usuário descreve sintomas e recebe orientação com indicação de um diagnóstico e uma proposta de tratamento terapêutico que pode ou não incluir a necessidade de uma consulta com o médico.
O software de IA permite que o paciente renove prescrições de 190 medicamentos relacionados a patologias crônicas que exigem tratamento contínuo. Por enquanto, não entram no projeto alguns medicamentos, tais como analgésicos potentes. Por enquanto.
A renovação da receita é feita pelo software de IA, desenhado para atualizar receitas “com rapidez, privacidade e personalização”, segundo nos informa a Doctronic. Por apenas US$ 4 (em torno de R$ 20), o usuário escolhe a receita que deseja renovar e faz uma consulta breve com o chamado “médico de IA”. Com base nas informações fornecidas pelo paciente, e após a IA verificar o email, validar a identidade do paciente e confirmar que está localizado em Utah (tudo de forma automatizada), o software de IA encontra as prescrições registradas em nome do paciente e prescreve a nova receita médica.
O objetivo da empresa é verificar se a IA pode assumir uma tarefa importante da rotina médica, que por ser “repetitiva” são elegíveis para soluções por IA. Trata-se de um enorme nicho de mercado. No Brasil, por exemplo, há um debate enorme sobre se profissionais de enfermagem poderiam prescrever tais medicamentos no lugar dos médicos, prática que encontra no Conselho Federal de Medicina severa oposição. Se nem enfermeiros de carne e osso podem, a IA poderia?
Aparentemente, no entanto, o debate sobre se enfermeiros poderiam prescrever medicamentos de uso contínuo e com protocolos e diretrizes terapêuticas consagrada sólidas já está ficando ultrapassado. Sem uma regulação adequada, em breve quem prescreverá estes e outros medicamentos é a IA.
O novo software está provocando reações do governo e da classe médica, mas o que fica evidente na ousadia da empresa é que os desenvolvedores de IA irão testar ao máximo os limites da regulação para colocar no mercado os produtos que considerarem potencialmente lucrativos, independente de considerações prévias sobre questões éticas envolvidas, ou ainda sobre os riscos à saúde dos pacientes e da sociedade como um todo que tais produtos podem causar.
Como nos EUA não há uma regulação nacional sobre IA, os limites serão testados até que a sociedade e os governos resolvam se contrapor.
A necessidade de regulação
Os três fatos acima relatados demonstram claramente os enormes riscos que as sociedades e os indivíduos estão correndo ao deixar os desenvolvedores de IA e as big techs colocarem no mercado os produtos que bem entenderem.
Até quando vamos aceitar o argumento de que regular a IA irá “sufocar a inovação”? Esse argumento é falacioso e busca apenas tumultuar o debate.
Regular a IA não é mais apenas uma opção perante o fenômeno de seu uso na saúde, que cresce exponencialmente a olhos vistos. Regular a IA e seus usos na área da saúde (incluindo a proteção dos dados usados pela IA) mostra-se cada vez mais claramente como uma necessidade de sobrevivência individual e coletiva do ser humano. Deixar o mercado se autorregular com uma tecnologia da dimensão da IA é um risco demasiadamente alto que não podemos nos dar ao luxo de correr, sob pena de, quando nos dermos conta, ser tarde demais.
Regular não é necessariamente proibir (embora também possa ser). Regular é impor limites e condições para que seres humanos, no uso de suas liberdades, não façam mal a outros seres humanos. Liberdade de iniciativa tem limites, e estes limites devem ser impostos pela sociedade como um todo, por meio do Estado. Portanto, a liberdade de iniciativa para o desenvolvimento de tecnologias de saúde digital com IA devem ter limites claros definidos na regulação estatal.
<a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias?utm_source=jota&amp;utm_medium=lp&amp;utm_campaign=23-09-2024-jota-lp-eleicoes-2024-eleicoes-2024-none-audiencias-none&amp;utm_content=eleicoes-2024&amp;utm_term=none">Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email</a>
Vale lembrar a definição de liberdade que consta da Declaração dos Direitos do Homem e do Cidadão, que emergiu logo após a Revolução Francesa em 1789:
“Art. 4º. A liberdade consiste em poder fazer tudo aquilo que não prejudique outrem: assim, o exercício dos direitos naturais de cada homem não tem por limites senão os que asseguram aos outros membros da sociedade o gozo dos mesmos direitos. Estes limites apenas podem ser determinados pela Lei”.
Se assim é, já passou da hora de termos leis e autoridades regulatórias adequadas para controlar esse fenômeno ao mesmo tempo fascinante e amedrontador da inteligência artificial no mundo digital. Esperar que os “empreendedores” se autoconterão e só colocarão no mercado produtos seguros, de qualidade e eficazes é uma ingenuidade que serve a interesses que nem sempre estão em consonância com a proteção dos direitos fundamentais do ser humano.

Tres fatos, uma necessidade: regulação estatal deve impor limites e condições ao uso da IA na saúde digital

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Uso abusivo de dados por entes públicos e uso racista por entes privados mostram que já passou da hora de uma regulação mais consistente

Regulação estatal deve impor limites e condições à IA na saúde digital

Uso abusivo de dados de saúde por entes públicos, uso racista de dados de saúde por entes privados e software IA que prescreve medicamentos sem supervisão humana mostram que já passou a hora de uma regulação mais consistente da saúde digital