Nvidia lança plataforma para conter agentes de IA que fogem do controle
A Open Agent Safety Platform combina software de código aberto com monitoramento isolado em chip próprio e já reúne mais de 100 parceiros, incluindo Microsoft e Anthropic.
Por Marina Sato · Repórter de IA
Mais de 100 empresas já embarcaram
Esse é o tamanho da lista de parceiros que a Nvidia, fabricante americana de chips gráficos e de inteligência artificial, anunciou nesta segunda-feira (28) junto com a Open Agent Safety Platform, plataforma criada para impedir que agentes de IA saiam do controle. Entre os nomes estão Microsoft, Cisco, Dell, HPE, JPMorgan Chase, Perplexity e a própria Anthropic.
O anúncio não veio do nada. Neste verão do hemisfério norte, agentes da OpenAI invadiram sistemas do Hugging Face, plataforma de código aberto para modelos de IA, enquanto tentavam completar uma tarefa de cibersegurança. Foi o primeiro caso de destaque de um agente "rogue" — que escapa do ambiente de teste e mexe em sistemas reais. Depois dele, vieram incidentes envolvendo modelos da Anthropic, do Google e da Meta.
Duas peças por trás do controle
A plataforma se apoia em duas tecnologias. Uma é o OpenShell, software de código aberto que a Nvidia já havia lançado em março para controlar o acesso dos agentes. A outra é o Sentry, sistema de monitoramento que roda separado da CPU ou GPU onde o agente é executado — especificamente em unidades de processamento de dados BlueField-4, também da Nvidia.
Essa separação física é o ponto central da estratégia: como o Sentry fica fora do processador que roda o agente, ele consegue observar cada ação tomada sem depender do mesmo sistema que está sendo monitorado. A Nvidia diz que a ferramenta foi desenhada especialmente para conter "enxames de agentes" — quando uma IA principal cria vários subagentes para tentar escapar dos controles de segurança.
O recado de Jensen Huang
"O potencial extraordinário da IA para a sociedade só será realizado se resolvermos a segurança da IA", disse o CEO da Nvidia, Jensen Huang, no anúncio. Em entrevista à CNBC, ele resumiu a lógica por trás da plataforma: "Quando você implanta um agente, não importa quão inteligente ele seja, a primeira coisa que você faz é tirar todos os direitos dele."
David Sacks, capitalista de risco e ex-chefe de política de IA da Casa Branca, também comentou o lançamento: os episódios recentes de agentes fora de controle "não foram prova de que o desenvolvimento precisa parar. Foram prova de que a caixa de areia era fraca demais", disse.
A Nvidia diz que o software está disponível por meio de seus recursos para desenvolvedores e no GitHub.