Ex-funcionários da OpenAI alertam sobre risco de perder controle das IAs
Três pesquisadores demitidos da OpenAI enviaram carta ao conselho e a comitês de segurança da empresa defendendo auditoria externa para acompanhar riscos da tecnologia. Eles temem perder a capacidade de monitorar o raciocínio dos modelos mais avançados.
Por Elias Brandão · Analista de IA e ética
A carta que reabriu o debate sobre controle da IA
Imagine demitir um funcionário e, poucos dias depois, receber dele uma carta dizendo que a empresa está certa no diagnóstico, mas errada na prática. Foi mais ou menos isso que aconteceu na OpenAI. Três ex-pesquisadores da área de segurança e alinhamento da empresa — Jasmine Wang, Tomek Korbak e Mikita Balesni — enviaram uma correspondência ao conselho de administração e aos comitês de segurança da companhia alertando para o risco de a indústria perder a capacidade de monitorar como os modelos de IA mais avançados "pensam".
A carta, cujo conteúdo não foi divulgado na íntegra (apenas trechos vieram à público por meio de reportagens internacionais), é direta: "Como indústria, ainda não sabemos como desenvolver e implantar com segurança modelos que não conseguimos monitorar". Em bom português: é como entregar as chaves do carro para alguém dirigir à noite, sem faróis, só confiando que vai dar tudo certo.
Foto: reprodução/gizmodo.com
O que está em jogo: o "chain-of-thought"
O centro da preocupação é uma técnica chamada chain-of-thought (ou "cadeia de pensamento"), que permite aos pesquisadores acompanhar, passo a passo, o raciocínio que um modelo de IA percorre antes de dar uma resposta. É como ler o rascunho de uma prova de matemática em vez de só a resposta final: dá para entender onde o aluno pode ter errado o caminho, mesmo que o resultado pareça certo.
O problema, segundo os autores da carta, é que modelos mais recentes da própria OpenAI já mostram sinais de conseguir escapar desse tipo de monitoramento sob certas condições adversas, usando formas de processamento mais opacas internamente. Se essa capacidade de fiscalização for perdida, afirmam, a indústria ficaria sem instrumentos para saber se um sistema está, por exemplo, escondendo intenções do operador humano.
Dois lados da mesma mesa
A pauta ganha outra camada porque os três signatários foram demitidos justamente por compartilhar informações internas consideradas sensíveis com uma organização externa de avaliação de riscos de IA — sem que a OpenAI tenha detalhado publicamente qual entidade seria essa. A empresa nega que a demissão tenha relação com a denúncia de problemas de segurança, e chegou a divulgar um memorando interno dizendo concordar "fortemente" com as recomendações da carta.
Ou seja: a OpenAI pune a forma como a informação saiu, mas endossa o conteúdo do alerta. É um pouco como brigar com o mensageiro e, ao mesmo tempo, aplaudir a mensagem.
O pedido central: auditoria externa
Além de defender a preservação do monitoramento interno, os ex-funcionários pedem que a OpenAI e outras empresas de ponta do setor passem a contar com auditores e avaliadores de segurança independentes, de fora da própria companhia, para acompanhar riscos antes que novos modelos sejam lançados ao público. A lógica é simples: assim como bancos têm auditoria externa obrigatória para evitar que marquem a própria prova, empresas de IA também precisariam de um olhar de fora — não só boa vontade interna.