Prevenção do Colapso em Modelos de IA: A Chave está nos Dados Humanos

O Desafio do Colapso dos Modelos de IA

A evolução dos sistemas de inteligência artificial (IA) está em constante crescimento, mas surge uma preocupação crescente: a possibilidade de que modelos de linguagem de grande porte (LLMs) fiquem sem dados gerados por humanos para aprender. Quando isso acontecer, os cientistas alertam que esses modelos podem depender excessivamente de informações geradas por IA, resultando em um fenômeno conhecido como colapso do modelo.

O colapso do modelo refere-se à situação onde os LLMs começam a produzir respostas desencontradas e imprecisas, levando à disseminação de informações errôneas e uma experiência de usuário desprestigiada. Yasser Roudi, professor da King's College London, ressalta que se os modelos de IA fossem utilizados em ambientes críticos, como hospitais, as consequências poderiam ser devastadoras.

Encontrando uma Solução: O Papel dos Dados Humanos

Recentemente, Roudi e sua equipe descobriram que ao adicionar um único ponto de dados gerado por humanos aos dados de treinamento de uma IA, mesmo que os demais dados sejam gerados por IA, é possível evitar o colapso. Esta pesquisa foi publicada na Physical Review Letters e envolve colaboração entre instituições renomadas.

Embora o colapso do modelo ainda não tenha sido observado em sistemas de IA atualmente ativos, muitos usuários de tecnologias como ChatGPT ou Gemini já chegaram a experimentar erros e alucinações. A introdução de dados humanos pode ser o caminho para contornar essa potencial ameaça emergente.

Compreendendo o Colapso dos Modelos

O colapso dos modelos pode ser dividido em duas fases: a primeira envolve a perda de capacidade em entregar informações menos comuns, resultando em respostas homogêneas e desinteressantes; a segunda fase culmina em produções de informações que não fazem sentido algum. Este processo ocorre principalmente quando LLMs são treinados em dados gerados por outros LLMs, o que tende a ‘suprimir’ as singularidades.

A complexidade dos LLMs dificulta a identificação precisa das causas de alucinações e do colapso do modelo. Os pesquisadores, utilizando modelos menores da chamada família exponencial, têm sido capazes de responder questões sobre como mitigar esses efeitos negativos.

Aplicação Prática e Futuras Investigações

Os pesquisadores descobriram que a decisão de introduzir um único dado humano em um conjunto maior de dados sintéticos possibilita evitar o colapso. Roudi menciona que, em um classificador de imagens, por exemplo, um dado real classificado corretamente por um humano pode servir como um ponto de verdade que ajuda a preservar a integridade do modelo.

O próximo passo na pesquisa é aplicar essa abordagem a modelos maiores e mais complexos, a fim de avaliar a eficácia desse princípio em escalas mais amplas. Essa metodologia pode ser crucial para evitar cenários catastróficos do colapso do modelo, especialmente em sistemas de IA que utilizamos no cotidiano.

Roudi conclui que essa pesquisa é um passo inicial para estabelecer normas que previnam o colapso no futuro, e enfatiza que engenheiros de IA podem utilizar essas descobertas para desenvolver modelos que não apresentem risco de colapso.