OpenAI testa raciocínio em loop no Astra e assusta especialistas em segurança
Modelo Astra usaria a técnica "recurrent depth", que processa a mesma consulta várias vezes por dentro, deixando menos rastro legível do raciocínio. Para pesquisadores de segurança, isso pode cegar o principal instrumento de monitoramento de IA hoje.
Por Elias Brandão · Analista de IA e ética
O motor por baixo do capô
Imagine um aluno que, em vez de resolver a prova escrevendo cada passo no caderno, faz as contas de cabeça, repetindo o mesmo cálculo várias vezes até chegar na resposta — e só entrega o resultado final. É mais ou menos essa a mudança que a OpenAI estaria testando no seu próximo modelo, batizado de Astra, segundo reportagem do TechCrunch.
A técnica se chama "recurrent depth" (algo como "profundidade recorrente"), e também é chamada de "opaque recurrence" — recorrência opaca, em bom português. Na prática, o modelo passa a mesma consulta por dentro de si várias vezes, em loop, antes de dar a resposta. O problema é que esse caminho deixa poucos rastros legíveis, ao contrário do chamado "chain of thought" (cadeia de pensamento), que é quando o modelo escreve, passo a passo, como está raciocinando.
Por que isso preocupa quem cuida da segurança
Esse tal chain of thought é imperfeito, mas hoje é a principal janela que pesquisadores têm para enxergar se um modelo está tramando algo indevido ou fugindo de controles. Se o raciocínio passa a acontecer "por dentro", em camadas recorrentes, essa janela se estreita.
Buck Shlegeris, CEO da Redwood Research (organização dedicada a pesquisa de segurança em IA), foi direto: "Estou extremamente preocupado com as informações de que o Astra usa recorrência opaca." Já Ryan Greenblatt, cientista-chefe da mesma Redwood, teme o efeito cascata: "Minha maior preocupação é que uma progressão natural envolveria escalar esse raciocínio opaco." O comentarista Zvi Mowshowitz resumiu a apreensão geral: "A técnica é como brincar com fogo... um uso mais intenso provavelmente prejudicaria a capacidade de monitoramento."
O outro lado da história
A OpenAI rebate. Jakub Pachocki, cientista-chefe da empresa, afirmou que a companhia "trabalha para preservar e utilizar o monitoramento via chain of thought desde os primeiros modelos de raciocínio". Segundo a OpenAI, o uso da recorrência no Astra seria limitado, o raciocínio em texto continuaria legível, e há planos para sistemas de monitoramento mais robustos.
Vale um adendo de apuração: até o fechamento desta matéria, a própria OpenAI não confirmou publicamente o uso de recurrent depth no Astra — a informação partiu de uma fonte anônima citada pela revista The Information. Ou seja, estamos falando de uma técnica real, discutida em pesquisas acadêmicas sobre arquiteturas de transformers recorrentes, mas ainda não oficialmente cravada pela empresa como parte do próximo lançamento.
De todo modo, o debate escancara uma tensão que vai acompanhar a IA nos próximos anos: ganhar eficiência computacional pode custar a nossa capacidade de entender — e vigiar — o que a máquina está pensando.
Atualização (03/09, 00:47): A técnica por trás do raciocínio em loop do Astra tem nome: "recurrent depth" (ou "recorrência opaca"), um método também descrito como transformers em loop, que reaproveita informações em estados ocultos do modelo em vez de registrá-las como texto legível. Isso permite que o Astra processe uma mesma consulta várias vezes de forma recorrente, deixando rastros muito mais escassos do que a cadeia de pensamento (chain of thought) tradicional.
Buck Shlegeris, CEO da Redwood Research, avalia que o Astra "não é necessariamente muito menos monitorável" que modelos anteriores no estágio atual, mas alerta que, se a OpenAI ampliar o uso da recorrência, a empresa terá a opção de "destruir completamente a monitorabilidade" por chain-of-thought. Já Zvi Mowshowitz, defensor da segurança em IA, argumenta que pode ser necessária regulação para evitar uma "corrida para o fundo do poço" entre laboratórios dispostos a sacrificar transparência por desempenho.
Procurado, o cientista-chefe da OpenAI, Jakub Pachocki, reconheceu que o monitoramento por chain-of-thought é "frágil" e está "infelizmente tendendo numa direção negativa", mas afirmou que a profundidade computacional do Astra permanece próxima à do GPT-4 e que a empresa limitou o número de loops do modelo justamente para preservar a legibilidade do raciocínio.