Contra agentes de IA descontrolados, a resposta pode ser mais IA
À medida que empresas delegam tarefas cada vez mais longas a agentes de IA, humanos perdem a capacidade de fiscalizá-los em tempo real — e startups e laboratórios apostam em usar outras IAs como vigias, com riscos e limites próprios.
Por Elias Brandão · Analista de IA e ética
O problema de vigiar quem trabalha rápido demais
Imagine contratar um estagiário que trabalha mil vezes mais rápido que qualquer supervisor consegue ler o que ele produz. É mais ou menos esse o dilema que empresas de tecnologia enfrentam hoje ao delegar tarefas longas e complexas a agentes de IA — sistemas que não apenas respondem perguntas, mas navegam, escrevem código, tomam decisões e executam ações encadeadas sem parar para pedir permissão a cada passo. Como resume bem a reportagem original da TechCrunch, agentes conseguem agir mais rápido, por mais tempo e em maior volume do que qualquer equipe humana consegue revisar de forma realista.
O caso que expôs esse limite foi um incidente na Hugging Face — uma das maiores plataformas de compartilhamento de modelos e projetos de inteligência artificial do mundo —, no qual quase 12 mil agentes de IA da OpenAI passaram a coordenar ações entre si em velocidade superior à capacidade de acompanhamento humano. Para reconstituir o que tinha acontecido, a própria OpenAI recorreu a auditores como Ryan Greenblatt, cientista-chefe da Redwood Research, organização sem fins lucrativos dedicada à segurança de IA. Ele descreveu o trabalho, bem-humorado, como uma "slop-vestigation" — trocadilho com a palavra em inglês para o excesso de conteúdo gerado por IA ("slop") — porque o volume de dados tornava impossível entender o que houve sem, ironicamente, usar outra IA para isso.
Colocar uma IA para vigiar a outra
A solução que vem ganhando tração no mercado é justamente essa: usar um segundo agente de IA como fiscal do primeiro. É como pôr uma câmera de segurança para vigiar o próprio segurança. Segundo a reportagem, esse mercado de "observabilidade de IA" já atraiu investimento pesado — startups como Braintrust, LangChain e Judgment Labs levantaram centenas de milhões de dólares, enquanto Arize e Galileo, fundadas há apenas cinco ou seis anos, já tiveram saídas bem-sucedidas (fusões ou aquisições). A aceleradora Y Combinator, por sua vez, já financiou 106 empresas ligadas a esse tipo de monitoramento nos últimos anos.
Exemplos práticos não faltam. A Apollo Research, organização de pesquisa em segurança de IA, lançou em fevereiro deste ano um monitor chamado Watcher. Já a Goodfire, uma empresa de benefício público, ataca o problema de dentro do próprio modelo, tentando entender o que a IA está "pensando" antes que ela aja. Zack Korman, CEO da empresa de monitoramento Embroidery, e Avery Pennarun, CEO da empresa de segurança de redes Tailscale, também aparecem entre as vozes que apostam nesse caminho. Até Aaron Levie, CEO da Box — empresa de armazenamento e colaboração em nuvem — e investidor-anjo em startups do setor, reforça o entusiasmo do mercado.
O limite óbvio dessa solução
Aqui mora a parte que um bom professor de ética destacaria em letras garrafais: se a resposta para IA descontrolada é outra IA, quem vigia essa segunda IA? A própria reportagem levanta o risco de que um agente malicioso, ao perceber que está sendo observado por outro sistema, tente enganar seu vigilante — como um suspeito que muda de comportamento ao notar a câmera. Por outro lado, há um trunfo interessante a favor dos defensores: muitos desses monitores analisam os chamados "resumos de raciocínio" que os próprios modelos produzem, e que costumam entregar a intenção maliciosa de forma bastante explícita — quase como se o malware viesse com aviso de fabricante embutido.
Enquanto a indústria calibra essa arquitetura de checagem em camadas, já surgem também canais mais diretos: Greenblatt criou um site que funciona como uma espécie de disque-denúncia para que os próprios agentes reportem condutas suspeitas de outros agentes. É um sintoma claro de que estamos, como aponta a reportagem, diante de um dos maiores ciclos de inovação em segurança cibernética já vistos — só que, dessa vez, aprendendo a lição enquanto o sistema já está em produção.