Por que a IA precisa ser testada por quem pensa como um invasor

O que aconteceu

Uma coluna assinada pela jornalista Layse Ventura no Olhar Digital, com base em análise de Sophia Shigueoka, Head de Cibersegurança da Core AI, chama atenção para uma mudança na forma como empresas de inteligência artificial testam seus modelos antes de colocá-los no ar. O gatilho foi a decisão da Anthropic de contratar especialistas em cibersegurança, biologia, química, riscos nucleares e fraude — com salários que chegam a US$ 455 mil por ano — para tentar quebrar as barreiras de seus modelos antes do lançamento.

A lógica por trás da contratação é o chamado red teaming: uma prática nascida no meio militar e incorporada à cibersegurança a partir dos anos 2000, em que profissionais assumem o papel de um invasor para descobrir como driblar os guardrails (barreiras de segurança) definidos pelos desenvolvedores. Como resume a coluna, o objetivo deixou de ser apenas garantir que um modelo se comporte bem — passou a ser descobrir, antes da produção, como alguém mal-intencionado conseguiria fazê-lo se comportar mal.

Quem é afetado

O alerta vale para qualquer empresa que já usa ou pretende usar inteligência artificial em produtos, atendimento ou processos internos — não só as gigantes que treinam modelos do zero. Segundo a coluna, especialistas de domínio (alguém que entende de fraude financeira, de biologia ou de engenharia social, por exemplo) enxergam padrões de abuso que uma avaliação genérica de segurança não captura. Isso torna o risco especialmente relevante para setores sensíveis, como saúde, finanças e infraestrutura, onde um modelo manipulado pode gerar danos concretos.

O problema é agravado porque modelos de IA não são estáticos: seu comportamento muda a cada atualização, ajuste fino ou nova integração com outras ferramentas. Isso significa que um teste de segurança feito uma única vez, antes do lançamento, perde validade rapidamente. Pesquisas técnicas internacionais sobre prompt injection e jailbreak em grandes modelos de linguagem mostram que essas falhas não são teóricas: equipes de segurança já encontram exemplos de exploração em ambientes de produção, e ferramentas de código aberto como Garak e PyRIT vêm sendo usadas para automatizar simulações de ataque, no mesmo espírito de um teste de invasão (pentest) tradicional.

O que fazer agora

Para empresas que dependem de sistemas de IA, a recomendação que emerge do material apurado é tratar a segurança do modelo como processo contínuo, não como etapa única de homologação. Na prática, isso envolve:

Manter equipe (interna ou terceirizada) dedicada a testar continuamente os modelos em produção, e não apenas antes do lançamento;
Envolver especialistas de domínio — não só profissionais genéricos de segurança — quando o modelo lida com áreas sensíveis, como dados financeiros, saúde ou informações pessoais;
Reavaliar a segurança sempre que houver atualização do modelo, ajuste fino ou nova integração com outras ferramentas e agentes;
Simular ativamente tentativas de jailbreak e prompt injection, em vez de confiar apenas em filtros automáticos padrão;
Tratar o investimento em testes como prevenção, e não como custo a ser cortado.