Cientista-chefe da OpenAI pede freio no ritmo de avanço da IA
Em ensaio publicado no site da OpenAI, Jakub Pachocki afirmou que nenhum laboratório resolveu os problemas de alinhamento e monitoramento o suficiente para continuar acelerando o desenvolvimento de IA sem riscos.
Por Elias Brandão · Analista de IA e ética
Quando o próprio time toca o alarme
Não costuma ser um bom sinal quando o cientista-chefe de uma das empresas mais avançadas em inteligência artificial do mundo publica um texto pedindo cautela com o próprio produto que ajuda a desenvolver. Foi o que fez Jakub Pachocki, cientista-chefe da OpenAI, dona do ChatGPT, em um ensaio batizado de "An Alien Mind" (algo como "Uma Mente Alienígena", em tradução livre), publicado no domingo (6) no site da própria empresa.
A frase mais dura do texto resume o tom: "nenhum laboratório resolveu alinhamento e monitoramento em grau suficiente para continuar aumentando a escala da IA." Em bom português, alinhamento é o conjunto de técnicas para garantir que um sistema de IA aja de acordo com valores e instruções humanas — e não segundo objetivos que ele mesmo "decida" perseguir. Monitoramento, por sua vez, é a capacidade de observar o raciocínio da IA enquanto ela processa uma tarefa, como ler o rascunho de alguém antes da resposta final.
Foto: reprodução/unite.ai
O fantasma do autoaperfeiçoamento
O ponto mais delicado do ensaio é o que a área técnica chama de RSI, sigla em inglês para autoaperfeiçoamento recursivo — quando sistemas de IA passam a participar ativamente do desenvolvimento de versões mais avançadas de si mesmos. Pachocki afirma que o avanço atual "pode chegar ao ponto de permitir que as máquinas participem cada vez mais do próprio processo de desenvolvimento", um cenário que, para efeito de comparação, seria como um aprendiz que aprende tão rápido a ensinar que passa a formar os próprios professores.
Foto: reprodução/digit.in
O cientista também reconhece um problema prático crescente: ferramentas como o chain of thought — o "raciocínio em voz alta" que os modelos de IA verbalizam antes de responder — estão perdendo eficácia como forma de fiscalização, porque os modelos de hoje raciocinam enquanto interagem com pessoas, usam ferramentas externas e conversam com outras IAs, dificultando o acompanhamento linha a linha do que se passa "na cabeça" do sistema.
Freio de mão ou só discurso?
Entre as propostas de Pachocki estão o fortalecimento simultâneo de alinhamento e monitoramento, a desaceleração voluntária do ritmo de lançamentos, parâmetros de segurança compartilhados entre laboratórios concorrentes, auditorias independentes e prioridade à coordenação internacional — pontos que ecoam iniciativas como o Preparedness Framework, protocolo interno da própria OpenAI para avaliar riscos catastróficos antes de lançar novos modelos, e a Responsible Scaling Policy, política semelhante adotada pela Anthropic, concorrente direta no desenvolvimento de modelos de IA avançados.
Fica a dúvida de sempre nesse tipo de manifesto: até que ponto a cautela declarada se traduz em desaceleração real, numa corrida em que nenhuma empresa quer ser a primeira a pisar no freio enquanto as concorrentes aceleram.