Felipe Fioratti Coffone

São inegáveis os benefícios do treino para os seres humanos. Seja o treino intelectual, seja o treino físico, treinar é essencial para o ser humano. Só para o ser humano?
Não.
As <a href="https://www.jota.info/tudo-sobre/inteligencia-artificial?non-beta=1">inteligências artificiais</a> generativas (IAG) estão se tornando parte integral de diversas rotinas empresariais e pessoais. Dados apontam um crescimento de 270% de projetos de IA nos últimos quatro anos<a href="#_ftn1" name="_ftnref1">[1]</a>. No entanto, para que essas IAs forneçam respostas precisas e sem delírios, elas precisam de um treinamento rigoroso e uma base de conhecimento bem definida.
As IAs são treinadas com vastos volumes de dados, permitindo-lhes aprender padrões, linguagem e contextos diversos. A eficácia de uma IA generativa depende de um processo contínuo de testes e refinamentos, baseados em um playbook específico de implantação.
Ouso a dizer que esta é a parte mais difícil da jornada de adoção de IA nos processos. Não é à toa que estima-se que mais de 80% dos projetos fracassam<a href="#_ftn2" name="_ftnref2">[2]</a>.
Mas os benefícios são incríveis e por isso não podemos desanimar ou até mesmo desistir. Claro, é preciso mais cuidado e menos frenesi com relação a esta incrível ferramenta com um foco profundo nos testes.
<h3>Formas de testar e ensinar uma IA generativa</h3>
<ol>
<li>Playbook de treinamento específico: implementar um playbook detalhado que descreve os procedimentos de treinamento, incluindo a seleção de dados, as etapas de pré-processamento e as metodologias de treinamento. Esse playbook deve ser atualizado regularmente com as melhores práticas. Desafie seu playbook! Ele é mesmo completo? Ou existem lacunas que podem gerar delírios/invencionices?</li>
<li>Testes de consistência linguística: avaliar se a IA mantém um nível constante de coesão e coerência em suas respostas. Perguntas repetitivas com variações sutis são uma maneira eficaz de verificar essa consistência.</li>
<li>Verificação de fatos com ferramentas de IA: utilizar ferramentas de verificação de fatos, incluindo outras IAs, para testar a precisão das respostas. Isso ajuda a evitar a disseminação de informações incorretas e aumenta a confiabilidade das respostas geradas.</li>
<li>Feedback de usuários: coletar e analisar feedback de usuários reais pode fornecer insights valiosos sobre o desempenho da IA em contextos do mundo real. Este feedback deve ser incorporado no processo de refinamento contínuo.</li>
<li>Testes de cenários e contextos diversos: colocar a IA em diferentes cenários e contextos para garantir que ela pode lidar com uma ampla variedade de situações e fornecer respostas adequadas. Isso inclui simulações de conversa prolongada para avaliar a capacidade da IA de manter diálogos relevantes ao longo do tempo.</li>
</ol>
<h3>Exemplos de falhas devidas a testes inadequados</h3>
Em 2015, uma equipe do Google desenvolveu um sistema de IA projetado para detectar retinopatia diabética a partir de imagens da retina. O sistema teve um desempenho excepcionalmente bom nos dados de treinamento, mas sua precisão caiu significativamente quando testado em pacientes reais com a doença. Isto provavelmente se deveu ao fato de os dados de treinamento não conterem uma gama suficientemente diversificada de imagens da retina.
Como diria Waldir Pereira, jogo é jogo, treino é treino.
Os modelos de IA treinados em conjuntos de dados que não são representativos do mundo real podem tornar-se excessivamente ajustados. O modelo tem um bom desempenho nos dados de treinamento, mas não consegue generalizar para novas situações<a href="#_ftn3" name="_ftnref3">[3]</a>.
<h3>Exemplo no mundo jurídico</h3>
O “caso falso” de IA generativa mais conhecido é o caso Mata vs. Avianca, de 2023, nos EUA, no qual os advogados apresentaram um documento contendo extratos falsos e citações de casos a um tribunal de Nova York. O resumo foi pesquisado usando ChatGPT<a href="#_ftn4" name="_ftnref4">[4]</a>.
E se este caso fosse na sua empresa? Ou até mesmo em uma discussão com os advogados terceiros contratados?
<h3>Mensagem final</h3>
A integração de inteligência artificial generativa em rotinas diárias pode revolucionar a forma como trabalhamos e interagimos com a tecnologia. No entanto, é crucial lembrar que essa tecnologia não é algo plug and play. Ela exige um desenvolvimento meticuloso, testes rigorosos e melhorias contínuas.
Assim como não pegamos uma ferramenta complexa da gôndola do supermercado e esperamos que ela funcione perfeitamente sem configuração, a IA precisa de um cuidado especializado e de um playbook específico para atingir seu potencial máximo. Com uma abordagem estratégica e consciente, podemos desbloquear as possibilidades ilimitadas que a IA tem a oferecer, promovendo um futuro mais inteligente e eficiente.
Se ainda o leitor não está completamente convencido, trago o meu último e derradeiro exemplo. Este artigo foi escrito com o auxílio de uma IA generativa. Por mais de 10 vezes o modelo alucinou, trouxe fontes e menções que não existiam ou não eram claras. Por isso, o autor, ser humano, ainda é a peça central nesta nova simbiose entre homem e máquina.
Sem o devido treino e supervisão, estamos fadados a um modelo inverídico e cheio de defeitos.
<hr />
<a href="#_ftnref1" name="_ftn1">[1]</a> Neurons Lab. Managed Capacity Model. Disponível em: &lt;<a href="https://neurons-lab.com/article/managed-capacity-model/#:~:text=Still%2C%20there%20is%20a%20lack,obscure%20R%26D%20project%20management%20processes%5C%3E">https://neurons-lab.com/article/managed-capacity-model/#:~:text=Still%2C%20there%20is%20a%20lack,obscure%20R%26D%20project%20management%20processes\&gt;</a>. Acesso em: 30 jun. 2024.
<a href="#_ftnref2" name="_ftn2">[2]</a> HARVARD BUSINESS REVIEW. Keep Your AI Projects on Track. Disponível em: <a href="https://hbr.org/2023/11/keep-your-ai-projects-on-track">https://hbr.org/2023/11/keep-your-ai-projects-on-track</a>. Acesso em: 30 jun. 2024.
<a href="#_ftnref3" name="_ftn3">[3]</a> PICKL. 13 Biggest AI Failures: A Look at the Pitfalls of Artificial Intelligence. Disponível em: <a href="https://www.pickl.ai/blog/13-biggest-ai-failures-a-look-at-the-pitfalls-of-artificial-intelligence/">https://www.pickl.ai/blog/13-biggest-ai-failures-a-look-at-the-pitfalls-of-artificial-intelligence/</a>. Acesso em: 30 jun. 2024.
<a href="#_ftnref4" name="_ftn4">[4]</a> THE CONVERSATION. AI is creating fake legal cases and making its way into real courtrooms, with disastrous results. Disponível em: <a href="https://theconversation.com/ai-is-creating-fake-legal-cases-and-making-its-way-into-real-courtrooms-with-disastrous-results-225080">https://theconversation.com/ai-is-creating-fake-legal-cases-and-making-its-way-into-real-courtrooms-with-disastrous-results-225080</a>. Acesso em: 30 jun. 2024.

ChatGPT, inteligência artificial

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Nós, humanos, ainda somos uma peça central nesta nova simbiose entre homem e máquina

A importância de um treino, seja para humanos, seja para IA generativa

Nós, humanos, ainda somos uma peça central nesta nova simbiose entre homem e máquina com a inteligência artificial generativa