Startup leva IA de 1 bit para óculos inteligentes com chip Qualcomm
PrismML, do Caltech, mostrou modelo de linguagem compactado em 1 bit rodando 2x mais rápido e usando 4x menos memória em óculos com plataforma Snapdragon AR1 Gen 1.
Por Marina Sato · Repórter de IA
O anúncio
A PrismML, startup fundada por pesquisadores do Caltech, instituto de pesquisa americano de referência em ciência e engenharia, apresentou seu modelo de linguagem Bonsai rodando em óculos inteligentes equipados com a plataforma Snapdragon AR1 Gen 1, da Qualcomm. A demonstração aconteceu no Snapdragon Summit da Qualcomm, na quarta-feira (24). É uma prova de conceito em plataforma de referência — nenhum óculos de marca comercial com o software foi anunciado até agora.
A versão usada nos óculos combina um modelo de linguagem de 1,7 bilhão de parâmetros comprimido em 1 bit com um codificador de visão de 0,3 bilhão de parâmetros em 4 bits, somando cerca de 2 bilhões de parâmetros. A ideia é permitir que o usuário pergunte em tempo real sobre o que está vendo através dos óculos, sem depender da nuvem.
Os números
Em testes na plataforma Snapdragon AR1 Gen 1 com 4 GB de memória, o modelo da PrismML ocupou 0,43 GB de espaço para os pesos do LLM, contra 1,66 GB de um modelo comparável em 4 bits — quase quatro vezes menos memória. A velocidade de geração de texto também foi maior: 15,36 tokens por segundo, contra 7,44 tokens por segundo do modelo de referência, mais que o dobro.
A tese da empresa
A PrismML, liderada pelo professor do Caltech Babak Hassibi, levantou uma rodada seed de US$ 22,25 milhões com Khosla Ventures, Cerberus Capital e o próprio Caltech. A empresa defende que IA de peso aberto rodando localmente no dispositivo já comprado pelo usuário elimina custo de inferência em nuvem e aumenta a privacidade. Ion Stoica, cofundador da Databricks e conselheiro da startup, resumiu a tese: "Você vai ter inteligência na ponta dos dedos, e ela vai ser de graça, porque vai rodar no dispositivo que você já comprou. Também vai ser privada."
Fica em aberto quando — e se — a tecnologia vai aparecer em um óculos inteligente vendido ao consumidor final, já que o anúncio desta semana foi apenas uma demonstração técnica em parceria com a Qualcomm.