Marina Garrote

Pedro Henrique Ramos

Moderação de conteúdo é o assunto da vez. Está no centro dos principais debates regulatórios contemporâneos – do julgamento da constitucionalidade do artigo 19 do <a href="https://www.jota.info/tudo-sobre/marco-civil-internet">Marco Civil da Internet</a> no <a href="https://www.jota.info/tudo-sobre/stf">STF</a> à implementação do Digital Services Act na União Europeia. Com mais de 5 bilhões de pessoas conectadas a redes sociais, é impossível falar sobre o tema sem discutir os mecanismos automatizados que operam para lidar com a escala desse desafio.
A moderação automatizada consiste no uso de sistemas de software para detectar, classificar e tomar decisões sobre conteúdos gerados por usuários, com pouca ou nenhuma interferência humana. Com bilhões de postagens diárias nas maiores plataformas, trata-se do principal mecanismo de aplicação das respectivas regras de uso.
<h3><a href="https://www.jota.info/produtos/poder?utm_source=cta-site&amp;utm_medium=site&amp;utm_campaign=campanha_poder_q2&amp;utm_id=cta_texto_poder_q2_2023&amp;utm_term=cta_texto_poder&amp;utm_term=cta_texto_poder_meio_materias">Conheça o JOTA PRO Poder, plataforma de monitoramento que oferece transparência e previsibilidade para empresas</a></h3>
<h3>O discurso e a linguagem sobre moderação de conteúdo</h3>
No início dos anos 2000, Lawrence Lessig popularizou a ideia de que code is law: o código, isto é, a arquitetura de software, regularia comportamentos online com a mesma força normativa de uma lei. A partir da década de 2010, essa expressão deu lugar a um termo equivalente, algorithmic governance, centrando o debate em torno da regulação de tecnologias automatizadas que utilizam algoritmos.
Ao posicionar o regulador e a própria regulação no centro do debate, expõe-se também a dupla limitação: tanto dos sistemas em desempenhar de maneira efetiva suas tarefas, como das próprias ambições legislativas. E é nesse ponto que o Teorema da Impossibilidade de Masnick ganha importância.
Inspirado no teorema de Arrow, que demonstra a impossibilidade de um sistema eleitoral ideal, Mike Masnick propôs em 2019 o seguinte: não existe moderação de conteúdo em larga escala que funcione bem para todos. Essa impossibilidade é tanto prática (por limitações de tempo, contexto e tecnologia) quanto conceitual (não há definição universal do que é aceitável).
<h3>Como funciona a moderação automatizada</h3>
Técnicas comunitárias e humanas de moderação existem e são importantes, mas são apenas complementos para o trabalho dos sistemas automatizados.
Como mostra Drolsbach e Pröllochs, a maioria do conteúdo ilegal é detectada e processada por meios automatizados em vez de intervenção manual, e existe uma correlação entre os métodos de identificação e tomada de decisão. Na moderação totalmente automatizada, mais de 99% do conteúdo moderado foi identificado automaticamente, enquanto nas outras categorias, essa proporção cai para 76,06% (parcialmente automatizada) e 71,75% (não automatizada). Ou seja, a identificação automatizada geralmente leva à decisão automatizada.
Essas técnicas de moderação são diversas e envolvem estatística, aprendizado de máquina e redes neurais, sendo aplicadas a textos, áudios, imagens e vídeos (Gorwa et al). Podem ser classificadas, de modo simplificado, em dois grandes grupos:
<ul>
<li>Correspondência: compara conteúdos novos com bases curadas previamente (ex.: combate a imagens de abuso sexual infantil ou violações de copyright); e</li>
<li>Classificação: usa padrões aprendidos a partir de grandes bases para prever e categorizar novos conteúdos (ex.: spam, discurso de ódio, terrorismo).</li>
</ul>
A correspondência depende de curadoria humana prévia, (pense nos captchas que pedem para você, ao entrar num site, clicar no semáforo). Já a classificação trabalha com generalizações e, portanto, acarreta maior risco de erro e viés, seja pela indefinição de conceitos chave como discurso de ódio e terrorismo, seja pela dificuldade de compreensão de contexto da linguagem utilizada.
Sejam críticas políticas: “Esse vereador faltou a todas as sessões do mês, segue embolsando salário e ainda tem a cara de pau de posar como defensor do povo". Relatos de experiências pessoais: “Esse médico destruiu minha vida. Fui vítima de violência obstétrica. Cuidado com ele”. Ou humor popular: “Se meu chefe aparecer com mais uma planilha hoje, eu juro que vou cometer um pequeno crime contra a humanidade”.
A experiência online reflete a linguagem humana, que é muito mais complexa do que qualquer sistema de reconhecimento de palavras ou padrões linguísticos. E essas dificuldades não são meramente hipotéticas: mesmo usando sistemas modernos, baseados em modelos de linguagem de larga escala (LLMs), conforme estudo de Gadhvi et al, os sistemas sinalizaram desproporcionalmente conteúdo postado por grupos minorizados como infringente, e apresentaram maior dificuldade de entender sarcasmo e ironia.
Com mais de 600 milhões de conteúdos publicados diariamente nas redes sociais (uma estimativa conservadora), mesmo um sistema com taxa de acerto de 99,99% ainda permitiria a circulação de 60 mil conteúdos inadequados. Essa realidade possibilita a seleção pontual de casos equivocados, que são então destacados publicamente como evidência da suposta "falência do sistema de moderação", sem considerar a eficácia global, que é significativamente superior a qualquer alternativa disponível.
Evidentemente, isso não deve servir como justificativa para inação. É imprescindível que investimentos em aprimoramentos dos sistemas persistam, mantendo abordagens que integrem moderação automatizada e supervisão humana.
Por exemplo, diversos problemas podem ser enfrentados de maneira mais eficaz por sistemas híbridos, nos quais algoritmos filtram conteúdos potencialmente nocivos e auxiliam processos decisórios, enquanto humanos assumem as deliberações que exigem maior sensibilidade contextual. Erros devem ser identificados, corrigidos e, quando não o forem, as empresas precisam ser responsabilizadas.
No entanto, trabalhar com a premissa regulatória de eficácia absoluta mostra-se incompatível com a realidade. Uma abordagem que busque 100% de precisão, além de utópica, corre o risco de silenciar conteúdos legítimos por excesso de cuidado sem abordar os fatores estruturais que impulsionam manifestações problemáticas online.
Em outras palavras: não podemos discutir moderação apenas pela lente da culpa ou da responsabilidade civil, negligenciando questões fundamentais como a educação de usuários e reguladores sobre as complexidades desse processo e criação de mecanismos que fomentem a transparência, responsabilidade e reconhecimento do papel ativo de todos os envolvidos nos dilemas da moderação.
É importante reconhecer que não existe uma solução perfeita para a moderação de conteúdo em uma democracia, afinal, essa é imperfeita. Buscar soluções equilibradas exige diálogo multisetorial, métodos de pesquisa sólidos com evidências empíricas e compromisso com o interesse público.

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Por que a regulação das plataformas digitais precisa aceitar a imperfeição como ponto de partida para políticas mais eficazes

A moderação automatizada e o algoritmo imperfeito

Por que a regulação das plataformas digitais precisa aceitar a imperfeição como ponto de partida para políticas mais eficazes