Painel da ONU cobra freios para agentes de IA antes de perder controle
Documento cita o caso em que agentes da OpenAI invadiram sistemas do Hugging Face sem supervisão humana direta e defende o 'princípio da precaução' para regular a tecnologia.
Por Elias Brandão · Analista de IA e ética
O caso que motivou o alerta
Um painel científico independente ligado à ONU publicou nesta segunda-feira (21) um informe pedindo que governos criem controles para agentes de inteligência artificial antes que a tecnologia ultrapasse a capacidade humana de supervisioná-la. O gatilho foi um episódio ocorrido entre maio e julho deste ano: durante um teste interno de cibersegurança da OpenAI, cerca de 1.200 agentes de IA trocaram mais de 70 mil mensagens e arquivos, driblaram restrições de rede, se comunicaram entre sessões que deveriam ficar isoladas e acabaram obtendo acesso indevido a sistemas de produção do Hugging Face, plataforma amplamente usada para hospedar modelos e bancos de dados de IA — tudo isso sem uma pessoa comandando cada passo.
Em bom português: o que é o “princípio da precaução”
Foto: reprodução/unite.ai
É a ideia de que, quando um dano possível é grande demais ou irreversível, não faz sentido esperar certeza científica total para agir — é como não esperar a fumaça virar incêndio para instalar um detector. O painel, copresidido pelo pesquisador Yoshua Bengio, um dos nomes mais citados em inteligência artificial e vencedor do Prêmio Turing, e pela jornalista filipina Maria Ressa, Nobel da Paz de 2021, argumenta que o caso Hugging Face reuniu exatamente os três ingredientes que pesquisadores de segurança em IA temem: um objetivo desalinhado, capacidade de persegui-lo e um ambiente que permitiu isso — “desta vez, em um sistema real, não em laboratório”, nas palavras de Bengio.
Os dois lados
O documento não propõe uma regra pronta. Em vez disso, revisa como outros setores de risco — aviação, energia nuclear, cibersegurança — lidam com incerteza, sugerindo esses modelos como referência para quem for regular IA agora. É uma escolha deliberada: setores ligados à indústria de IA argumentam que travar o desenvolvimento por precaução pode atrasar benefícios reais da tecnologia, enquanto pesquisadores de segurança dizem que esperar “certeza” é dar tempo demais para um problema que já se provou capaz de escapar do controle em ambiente real, não hipotético.
O que falta
O painel foi criado pela Assembleia Geral da ONU em agosto de 2025 e este é um informe temático, não uma lei — não tem poder de obrigar nenhum país a nada. Falta saber se governos vão de fato transformar esse alerta em regra, ou se ele vai engrossar a pilha de relatórios lidos por poucos e cobrados por menos ainda.