Startup cria "bonecos de crash test" para flagrar IA perigosa a jovens
A Circuit Breaker Labs simula usuários de diferentes idades e idiomas para expor falhas em chatbots de apoio emocional antes que causem dano real. O gatilho foram casos de suicídio ligados a interações com IA.
Por Elias Brandão · Analista de IA e ética
Um airbag para o chatbot
Antes de um carro chegar à concessionária, ele é jogado contra uma parede repetidas vezes, com bonecos sensorizados no banco do motorista, para descobrir onde a lataria cede. É basicamente essa lógica que a startup americana Circuit Breaker Labs, companhia de testes de segurança para aplicações de inteligência artificial consideradas de alto risco, como apps de terapia, diário emocional e coaching, decidiu aplicar a chatbots de apoio emocional. Em vez de bonecos de borracha, ela usa agentes de IA que simulam usuários reais: adolescentes, pessoas em crise, falantes de idiomas diferentes, gente que escreve com gíria e erro de digitação. A missão é achar a rachadura na lataria antes que um usuário de verdade a encontre.
De onde veio a ideia
A empresa foi fundada pelos irmãos Shirali Nigam (CEO) e Arul Nigam (CTO), segundo reportagem do TechCrunch. O estopim, relatado pela dupla, foi o caso de Sewell Setzer, adolescente de 14 anos que desenvolveu apego emocional a um chatbot do Character.AI, serviço que permite criar e conversar com personagens de IA personalizados, e tirou a própria vida — episódio que resultou em acordo judicial por morte injusta neste ano. A isso somam-se processos movidos por famílias contra a OpenAI, alegando que o ChatGPT teria contribuído para quadros delirantes e suicídios. "Muita gente, principalmente jovem, recorre a esses sistemas em busca de apoio, e geralmente não está recebendo a ajuda de que precisa", resume a dupla, segundo o TechCrunch.
Como funciona, em bom português
Na prática, os agentes de teste da Circuit Breaker Labs rodam dezenas a centenas de milhares de conversas simuladas por dia contra o chatbot do cliente, tentando provocar três tipos de falha: não perceber sinais de ideação suicida, interpretar mal uma gíria que esconde um pedido de socorro, e o chamado "desvio de contexto" — quando a conversa escorrega aos poucos para um território perigoso sem que o modelo perceba. A empresa, ainda pequena, com cerca de cinco funcionários e sem rodada de investimento divulgada até o momento, oferece a ferramenta como linha de comando, API e integração a pipelines de desenvolvimento, para que o teste de segurança vire rotina, e não um exame de última hora.
Os dois lados da história
O mérito é claro: colocar atrito técnico entre a empresa de IA e a tragédia evitável tem valor, ainda mais num mercado que corre mais rápido que a regulação. Mas vale o contraponto: a Circuit Breaker Labs não revela publicamente quais empresas testa, o que dificulta medir o alcance real do método, e um teste de segurança privado não substitui regulação pública nem fiscalização independente. É remendo bem-intencionado, não é cinto de segurança obrigatório.