Prompt Injection: A Nova Fronteira da Fraude Processual na Inteligência Artificial

Introdução ao Prompt Injection

No dia 20 de agosto de 2023, o Superior Tribunal de Justiça (STJ) tomou uma decisão que pode mudar a forma como a Justiça interage com a tecnologia, ao abrir um inquérito para investigar o uso de "prompt injection". Esta técnica, traçada por usuários mal-intencionados, visa manipular inteligências artificiais (IA) para fraudes processuais.

O Contexto da Investigação

A investigação surge após a multa aplicada a duas advogadas no Pará, que tentaram enganar uma IA com um "código secreto" que alterava as instruções do sistema. A intenção das advogadas era manipular o assistente de IA conhecido como Galileu para que este apresentasse análises superficiais, que poderiam favorecer o posicionamento de um cliente em um processo judicial.

O presidente do STJ, ministro Herman Benjamin, ressaltou a necessidade de apuração e responsabilização. Ele afirmou que o sistema de IA desenvolvido pela corte apresenta mecanismos de segurança para evitar esse tipo de ação, mas que o mapeamento das tentativas é crucial para garantir a justiça e a integridade do sistema judicial.

Como Funciona o Prompt Injection?

O prompt injection é uma técnica em que comandos disfarçados são inseridos em documentos comuns, confundindo o assistente de IA e forçando-o a agir de maneira inadequada. O exemplo mais flagrante ocorreu quando as advogadas inseriram um texto com letras brancas sobre um fundo branco, criando uma ilusão que passava despercebida à primeira vista.

Essa técnica levanta questões sobre a credibilidade e a segurança dos sistemas de IA, que estão se tornando cada vez mais integrados ao processo judicial. A possibilidade de fraudes como essa pode minar a confiança pública nas tecnologias implementadas para auxiliar na Justiça.

A Resposta da Justiça

De acordo com o Tribunal Regional do Trabalho da 4ª Região (TRT-4), o assistente Galileu conseguiu detectar os comandos ocultos durante a análise do documento, resultando em um alerta que evitou potenciais fraudes. Isso sublinha a importância da vigilância contínua e aprimoramento das tecnologias de IA utilizadas no ambiente legal.

O Futuro das Interações entre a Justiça e a Tecnologia

À medida que avançamos, as implicações do uso de IA e técnicas como o prompt injection nos forçarão a reavaliar como conduzir processos legais. O STJ destaca que, embora os sistemas tenham proteções, a manutenção da integridade e a prevenção contra fraudes precisam ser constantemente aprimoradas.

Com o advento da IA generativa, é fundamental que instituições legais adotem legislações e diretrizes que abordem de forma clara e eficaz as fraudes e o uso indevido das tecnologias. Somente assim poderemos garantir um futuro onde a justiça e a tecnologia coexistam de maneira segura e ética.