GLM-5.3 da Z.ai supera Anthropic em 1 teste de segurança, mas perde em outros
A chinesa Z.ai diz que seu modelo GLM-5.3 marcou 84,5% no CyberGym, contra 83,8% do Mythos 5 da Anthropic. Em testes práticos de exploração, porém, o modelo americano ainda vence com folga.
Por Marina Sato · Repórter de IA
A Z.ai afirma que seu modelo GLM-5.3 superou o Mythos 5, da Anthropic, em um teste de identificação de vulnerabilidades. No CyberGym, o modelo chinês marcou 84,5%, contra 83,8% do concorrente americano. A diferença é pequena e os dados vêm da própria empresa.
Onde a vantagem some
Em testes que exigem execução prática de ataques, o quadro se inverte. No ExploitBench, o GLM-5.3 marcou 54,4% — mais que o dobro do desempenho da versão anterior, o GLM-5.2, que ficou em 24,4%. Ainda assim, ficou atrás do Mythos 5, que atingiu 78%.
Foto: reprodução/unite.ai
Em tarefas de desenvolvimento de ataques com tempo estendido, a distância também favorece a Anthropic. O GLM-5.3 completou 105 tarefas em 2 horas e 130 em 6 horas. O Mythos 5 chegou a 181 e 247, respectivamente.
Capacidade que cresceu além do esperado
Segundo a Z.ai, o treinamento do GLM-5.3 produziu uma capacidade de raciocínio para encadear exploits que a empresa não buscava deliberadamente. A companhia diz ter identificado milhares de vulnerabilidades em projetos de código aberto, número maior do que o observado em versões anteriores do modelo.
Lançamento em duas semanas, com restrições
A Z.ai planeja liberar o GLM-5.3 dentro de aproximadamente duas semanas a partir de 14 de agosto. Antes disso, promete completar avaliações de segurança e hardening do modelo.
Recursos considerados mais sensíveis, porém, não estarão abertos a todo mundo. Segundo a matéria do Olhar Digital, essas funções "deverão ficar inicialmente restritas a usuários verificados por meio de um programa de acesso confiável". A empresa também diz que vai aplicar filtros para pedidos perigosos e treinar o modelo para recusar solicitações maliciosas.
A Z.ai defende que "sistemas avançados de defesa digital não deveriam ficar concentrados entre poucos fornecedores de modelos fechados" — um recado direto a empresas como a Anthropic, que mantêm seus modelos mais avançados sob controle mais fechado.
O que ainda falta responder
Os números são da própria Z.ai e não passaram por verificação independente. Falta saber quem vai integrar o tal programa de acesso confiável, quais critérios definem um "usuário verificado" e se os resultados se sustentam quando testados por terceiros.