Novo método promete manter crianças seguras de conteúdos ilegais gerados por IA

Introdução

Com a crescente popularidade da inteligência artificial generativa, muitos modelos de código aberto estão agora disponíveis online para qualquer pessoa adaptar para suas necessidades, como gerar imagens de produtos em um determinado estilo artístico.

Entretanto, esses modelos também podem cair nas mãos de atores maliciosos que os otimizam para produzir conteúdos ilegais, como discursos de ódio ou material de abuso sexual infantil (CSAM). Este é um problema em franca ascensão — em 2025, o National Center for Missing and Exploited Children recebeu mais de 1,5 milhão de relatos de CSAM gerado por IA, um aumento significativo em relação às 67.000 denúncias de 2024.

A Nova Abordagem

Tradicionalmente, os engenheiros testam as capacidades prejudiciais da IA ao solicitar entradas e inspecionar as saídas do modelo, mas isso não pode ser feito para CSAM, pois é ilegal nos EUA gerar tal conteúdo, independente da intenção.

Para contornar esse dilema e melhorar a segurança da IA, uma equipe de cientistas do MIT, liderada pelo estudante de pós-graduação Vinith Suriyakumar e os professores associados Ashia Wilson e Marzyeh Ghassemi, uniu forças com pesquisadores da Thorn, uma organização sem fins lucrativos dedicada à proteção de crianças contra abuso e exploração sexual na era digital.

A nova técnica desenvolvida examina como o funcionamento interno de um modelo foi adaptado, sem nunca gerar uma saída. Ao examinar representações ocultas, a avaliação pode inferir com precisão se um modelo foi especializado para produzir imagens prejudiciais.

Resultados e Impacto

Quando testada, a nova abordagem de auditoria identificou variações de modelo especializadas na geração de CSAM com 100% de precisão. Uma plataforma de hospedagem poderia usar essa técnica para sinalizar modelos inseguros e removê-los rapidamente, ou mesmo prevenir seu upload em primeiro lugar.

Vinith Suriyakumar expressou: “Isso desbloqueia uma nova avenida para plataformas que hospedam modelos de código aberto e para as autoridades de segurança que podem testar se um modelo é capaz de gerar CSAM. Antes, não tínhamos como medir isso. Era uma grande lacuna que algumas pessoas estavam aproveitando.”

A equipe incluiu também Lena Stempfle, pós-doutoranda do MIT; Ghassemi, professora associada em EECS e membro do Instituto de Engenharia Médica e Ciências (IMES); além de colaboradores da Boston University e da Thorn. O artigo sobre esta técnica foi apresentado como destaque no workshop “Trustworthy AI for Good” na Conferência Internacional de Aprendizado de Máquina.

O Desafio da Auditoria de Modelos

Técnicas recentes facilitaram a especialização de um modelo de IA generativa para uma tarefa específica através de um processo conhecido como fine-tuning. Ao invés de re-treinar todo o modelo em um conjunto de dados específico, indivíduos podem utilizar um algoritmo chamado low-rank adaptation (LoRA) para especializar o modelo de maneira mais eficiente.

Essa evolução resultou em uma onda de novas variantes de modelos de IA generativa para diversos propósitos, mas também permitiu que atores mal-intencionados criassem modelos capazes de gerar CSAM e outras imagens prejudiciais.

Em vez de se concentrar nas saídas, os pesquisadores focaram nas modificações que um algoritmo LoRA faz durante o fine-tuning. Utilizando uma técnica chamada Gaussian probing, os pesquisadores alimentavam o modelo com um conjunto de dados aleatórios e analisavam como ele manipulava esses dados dentro de sua estrutura interna multicamada, sem nunca gerar imagens.

Conclusão e Futuro

Com a técnica de Gaussian probing, os pesquisadores conseguiram capturar modificações em múltiplos pontos no tempo e resumir como o adaptador LoRA alterou o funcionamento do modelo. Essa abordagem não apenas protege as crianças de conteúdos ilegais, mas também destaca a importância da responsabilidade na utilização da IA.

Wilson conclui: “Há uma enorme gama de preocupações com a segurança infantil em relação à IA, e essas são preocupações reais que precisam ser abordadas. Esperamos que a comunidade de pesquisa realmente direcione mais atenção a esse problema.”