PrismML compacta modelo de 27 bilhões de parâmetros para caber em 5,9 GB
A startup ligada ao Caltech diz que o Bonsai 2 27B mantém 98% do desempenho do modelo original, mas roda direto em celulares e PCs, sem depender da nuvem.
Por Marina Sato · Repórter de IA
O número
5,9 GB. É o tamanho do Bonsai 2 27B, modelo de 27 bilhões de parâmetros que a PrismML, startup derivada da Caltech (instituto de tecnologia americano conhecido por pesquisa em ciências exatas), anunciou nesta quinta-feira (17). O modelo é uma versão comprimida do Qwen3.8 27B, da chinesa Alibaba, com redução de até 10 vezes no consumo de memória em relação ao original.
Como funciona a compressão
A técnica usa "pesos ternários": em vez dos 16 bits que um modelo de IA normalmente usa para armazenar cada parâmetro, o Bonsai 2 trabalha com apenas três valores possíveis por peso — mais um, menos um ou zero. Isso equivale a 1,58 bit por peso. Na prática, é isso que permite ao modelo caber em menos espaço e rodar localmente em celulares e computadores de ponta, sem precisar de conexão com servidores na nuvem.
O que a empresa promete
Segundo a PrismML, o Bonsai 2 27B mantém cerca de 98% da pontuação do modelo original em testes de desempenho — uma perda de só 2%. A geração anterior da família Bonsai, lançada em março, já reivindicava até 8 vezes mais velocidade e entre 75% e 80% menos consumo de energia rodando no mesmo hardware. Os modelos são abertos, sob licença Apache 2.0, e já somaram 11 milhões de downloads no Hugging Face, plataforma onde desenvolvedores publicam e baixam modelos de IA.
Quem está por trás
A PrismML nasceu como spin-off da Caltech, fundada por pesquisadores liderados por Babak Hassibi, professor especialista em compressão de dados. Levantou uma rodada seed com a Khosla Ventures, a Cerberus Capital e a própria Caltech como investidoras, e tem Ion Stoica, cofundador da Databricks, como conselheiro. Saiu do modo discreto em março deste ano.
O que falta responder
A empresa não confirmou o valor exato levantado até agora — fontes de março citam US$ 16,25 milhões, mas a rodada mencionada em setembro chega a US$ 22,25 milhões, sem explicação pública da diferença. Também não há confirmação oficial de rumores sobre conversas com a Apple para usar a tecnologia em iPhones, nem data para os próximos modelos, que a PrismML promete na casa das centenas de bilhões de parâmetros.