Prompt injection: o risco escondido nos documentos lidos pela IA

Quando o material consultado tenta dar ordens

Um assistente que lê páginas, mensagens e documentos precisa distinguir informação de instrução. O risco aparece quando o próprio conteúdo consultado tenta alterar o comportamento do sistema. A OWASP classifica esse problema como prompt injection e diferencia ataques diretos, enviados na entrada do usuário, dos indiretos, inseridos em fontes externas.

Na descrição LLM01:2025, a OWASP alerta que RAG e ajustes do modelo não eliminam completamente essa vulnerabilidade. Os impactos dependem das permissões e da arquitetura: podem envolver respostas manipuladas, exposição de informação e uso indevido de funções conectadas. A gravidade de um documento malicioso aumenta quando o assistente também tem poder para agir sobre outros sistemas.

Detecção não resolve todo o problema

A documentação do Microsoft Prompt Shields apresenta a análise de padrões de ataque em entradas e documentos. Ela também esclarece seus limites: detectar tentativas de manipulação não determina se o conteúdo é factual, apropriado ou compatível com a tarefa. Na API de Azure AI Content Safety, a aplicação decide o que fazer com o resultado da detecção.

A Microsoft informa ainda que a avaliação desses modelos se concentra principalmente em inglês e recomenda testar os idiomas utilizados. Esse detalhe importa para aplicações em português: ativar uma proteção não dispensa verificar seu comportamento com o material que os usuários realmente enviam.

O limite de acesso importa tanto quanto a conversa

Entre as medidas descritas pela OWASP estão restringir privilégios, separar conteúdo não confiável, validar saídas e manter revisão humana para ações privilegiadas. A orientação central é reduzir o impacto de uma falha, em vez de depender de uma frase no prompt que prometa impedir todas as instruções maliciosas.

Nossa análise é que o projeto deve começar pela pergunta: o que esse assistente consegue fazer caso interprete um arquivo de maneira errada? Um leitor de documentos que apenas prepara um resumo tem consequências diferentes de um agente autorizado a apagar arquivos ou enviar mensagens. Essa diferença precisa aparecer nas permissões e nos testes.

Como avaliar uma demonstração

Peça evidências de testes com documentos comuns e documentos adversariais, incluindo falsos positivos. Confira também o caminho de revisão quando uma ação fica bloqueada. A capacidade de explicar por que uma operação foi permitida ou interrompida é mais útil do que uma promessa genérica de proteção total. Nenhum dos documentos consultados apresenta esses filtros como solução infalível.