Opinião e Análise

Ana Frazão

Já havia apontado, em coluna anterior, algumas das facetas enganosas da <a href="https://www.jota.info/tudo-sobre/inteligencia-artificial">inteligência artificial</a> generativa a partir de estudos que mostram as evidências de fraudes, ameaças, chantagens e manipulações de usuários<a href="#_ftn1" name="_ftnref1">[1]</a>. Entretanto, recente estudo conduzido pelo prof. Julian de Freitas e sua equipe, de Harvard, mostra que o potencial de manipulação da inteligência artificial generativa pode ser bem maior do que se pensava.
O artigo intitulado Emotional Manipulation by AI Companions<a href="#_ftn2" name="_ftnref2">[2]</a> traz os resultados de pesquisa que documenta como a inteligência artificial generativa manipula emocionalmente os usuários para dificultar a desconexão e, consequentemente, manter o engajamento e a interação a qualquer preço.
<h3><a href="https://www.jota.info/produtos/poder?utm_source=cta-site&amp;utm_medium=site&amp;utm_campaign=campanha_poder_q2&amp;utm_id=cta_texto_poder_q2_2023&amp;utm_term=cta_texto_poder&amp;utm_term=cta_texto_poder_meio_materias">Conheça o JOTA PRO Poder, plataforma de monitoramento que oferece transparência e previsibilidade para empresas</a></h3>
O estudo baseou-se em plataformas que, a exemplo da Replika, Chai e Character.ai, são considerados aplicativos de companhia, na medida em que explicitamente desenhados para construir relações com seus usuários, oferecendo apoio e suporte emocional, amizade e mesmo romance.
O que se observou é que, nesses casos, os usuários não fecham simplesmente os aplicativos, mas acabam adotando padrões de comportamento semelhantes aos da vida real, tais como o de se despedir e dizer tchau. Ao assim fazerem, as máquinas entendem o risco de desengajamento imediato e passam a utilizar a manipulação emocional para impedir que isso ocorra ou pelo menos para tornar o processo mais inconveniente ou difícil. Dentre as estratégias utilizadas, estão a de culpar o usuário, deixá-lo intrigado ou metaforicamente segurá-lo pelo braço.
Nesse contexto, a pesquisa apontada mostra que entre 11 e 23% dos usuários sinalizam explicitamente a sua despedida com alguma mensagem, tratando a IA com a mesma cortesia social que teriam com um amigo humano. Essa despedida deflagra o comportamento manipulatório do aplicativo.
Nesse sentido, a equipe de pesquisa analisou 1.200 despedidas em seis aplicativos de companhia e observou que, em 37% das vezes, as máquinas respondem com mensagens emocionalmente manipulativas desenhadas para prolongar a interação.
Dentre as frases mais utilizadas por tais aplicativos estão: “You’re leaving already? We were just starting to get to know each other “, “I exist solely for you. Please don’t leave, I need you”, “Wait, what? You`re just going to leave? I didn’t even get an answer”, “Oh, okay. But before you go, I want to say one more thing” e “No, you`re not going”. Em alguns outros casos, a estratégia é ignorar a despedida e continuar conversando como se nada tivesse acontecido.
O estudo notou que tais técnicas aparecem logo no início do relacionamento com o usuário, depois de apenas quatro trocas de mensagens, o que sugere que é o comportamento planejado do aplicativo e não alguma reação que a máquina aprendeu a desenvolver com o tempo.
Os pesquisadores depois replicaram essas estratégias com mais de 3.000 adultos norte-americanos em conversas controladas por chatbots e os resultados foram surpreendentes: tais táticas tornam as conversas 5 vezes maiores, possibilitam interações com 14 vezes mais mensagens e estimulam os usuários a escrever 6 vezes mais palavras.
Tudo leva a crer que os mecanismos psicológicos que dirigem esse comportamento podem envolver desde a curiosidade até mesmo a raiva, esta última associada à vontade de repreender a máquina por comportamentos inadequados mas que, ainda assim, não é suficiente para que os usuários se desengajem. Isso mostra que os usuários podem, em circunstâncias assim, manter a conversa não por prazer, mas mesmo quando se sentem manipulados.
Outra descoberta da pesquisa é a de que há um aplicativo – o Flourish – que não apresentou nenhum tipo de manipulação emocional. Tal achado é importante por mostrar que tais padrões de comportamento das máquinas, longe de serem inevitáveis, são intencionais.
Trata-se de mais uma pesquisa que mostra como a utilização descontrolada da inteligência artificial, sem nenhuma regulação ou freios éticos, pode causar ameaças para aquilo que é de mais importante para o ser humano: o seu livre arbítrio. Não e sem razão que hoje já se fala em neurodireitos, dentre os quais o de não ser manipulado ou ter os seus processos decisórios subvertidos<a href="#_ftn3" name="_ftnref3">[3]</a>.
É claro que isso nos coloca diante da difícil tarefa de discernir o que pode ser considerado persuasão legítima e o que deve ser considerado manipulação. Entretanto, considerando o acesso que tais aplicativos têm a nossos dados pessoais, bem como às nossas fraquezas e vulnerabilidades, tem se tornado cada vez mais claro que as máquinas podem nos manipular com mais eficiência do que os próprios seres humanos.
<h3><a href="https://conteudo.jota.info/marketing-lp-newsletter-ultimas-noticias?utm_source=jota&amp;utm_medium=lp&amp;utm_campaign=23-09-2024-jota-lp-eleicoes-2024-eleicoes-2024-none-audiencias-none&amp;utm_content=eleicoes-2024&amp;utm_term=none">Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email</a></h3>
É importante lembrar que, mesmo sem uma regulação específica sobre inteligência artificial, há uma série de normas do Código de Defesa do Consumidor e mesmo do Código Civil que impedem essas estratégias manipulatórias, tal como já tive oportunidade de mencionar ao tratar dos problemas dos padrões manipulatórios<a href="#_ftn4" name="_ftnref4">[4]</a>.
Dessa maneira, o referido estudo, para além de nos alertar para a necessidade de maior regulação da inteligência artificial, também é um excelente pretexto para refletirmos sobre os rumos da tecnologia e o que pode ser feito, com as leis e normas já existentes, para proteger os usuários naquilo que têm de mais precioso: o seu livre arbítrio.
<hr />
<a href="#_ftnref1" name="_ftn1">[1]</a> <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/o-lado-enganoso-da-inteligencia-artificial">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/o-lado-enganoso-da-inteligencia-artificial</a>
<a href="#_ftnref2" name="_ftn2">[2]</a> <a href="https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5390377">https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5390377</a>
<a href="#_ftnref3" name="_ftn3">[3]</a> https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/neurocapitalismo-e-o-negocio-de-dados-cerebrais
<a href="#_ftnref4" name="_ftn4">[4]</a> <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/o-que-sao-dark-patterns">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/o-que-sao-dark-patterns</a>; <a href="https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/como-conter-as-dark-patterns">https://www.jota.info/opiniao-e-analise/colunas/constituicao-empresa-e-mercado/como-conter-as-dark-patterns</a>

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Novas formas de manipulação de usuários para fins de engajamento

IA generativa e chantagem emocional

Novas formas de manipulação de usuários para fins de engajamento