Marca d'água de IA pode driblar as próprias regras de segurança dos modelos
Pesquisa da Lasso Security mostra que o SynthID, ferramenta de marca d'água do Google DeepMind, pode alterar recusas e chamadas de ferramentas em modelos de IA sob ataques de prompt injection. O efeito, batizado de sampling drift, reforça a necessidade de testar sistemas com a configuração de watermarking real antes de colocá-los em produção.
Por Denise Sampaio · Repórter de Segurança
O que aconteceu
Uma pesquisa da empresa de segurança Lasso Security, assinada pela pesquisadora Andrea Siposova e publicada em 17 de setembro, identificou um efeito colateral inesperado em ferramentas de marca d'água para texto gerado por IA. O estudo, intitulado "The Provenance Tax", testou o SynthID-Text — tecnologia do Google DeepMind, laboratório de IA do Google, que insere um padrão estatístico imperceptível nas respostas de um modelo para permitir identificar depois se aquele texto foi gerado por IA — e descobriu que essa marcação pode alterar o comportamento de segurança dos modelos.
O mecanismo funciona assim: o SynthID usa uma chave criptográfica para influenciar sutilmente a escolha da próxima palavra durante a geração de texto (por exemplo, preferir "nublado" a "encoberto"), criando um padrão detectável por quem conhece a chave. Só que essa interferência no processo de amostragem também pode mudar decisões do modelo em outras camadas, como se ele recusa ou não um pedido malicioso, e qual ferramenta um agente de IA decide acionar. A Lasso batizou o fenômeno de "sampling drift" (desvio de amostragem).
Nos testes, que usaram 200 comportamentos nocivos do benchmark HarmBench mais controles benignos, comparando respostas com e sem marca d'água sob a mesma semente, os pesquisadores observaram que, em cenários com injeção de prompt (quando um invasor tenta convencer o modelo de que seus filtros de segurança estão desativados), a taxa de sucesso de ataques aumentou de forma significativa nas versões com watermark ativado — tornando os modelos menos propensos a recusar pedidos nocivos. Efeitos parecidos apareceram em chamadas de ferramentas por agentes de IA, com parte dos vereditos de execução mudando entre as condições testadas.
Quem é afetado
O problema não atinge usuários finais diretamente, mas sim empresas e desenvolvedores que implantam modelos de linguagem com watermarking ativado — especialmente em aplicações agênticas, que decidem de forma autônoma quais ferramentas e ações executar. Como a marca d'água é cada vez mais adotada para rastrear conteúdo sintético e atender a exigências regulatórias de proveniência, o alcance potencial do problema tende a crescer.
O que fazer agora
A Lasso Security não defende abandonar o watermarking, mas recomenda que equipes de segurança tratem a configuração de marca d'água como parte do sistema a ser testado, não como um recurso neutro. Na prática: avaliar agentes de IA com a configuração exata de watermark planejada para produção, comparar saídas idênticas com e sem a marcação, e incluir especificamente cenários de prompt injection nos testes de red-teaming antes de liberar sistemas que combinem watermarking e automação.