Chatbots de IA falham com pessoas em crise; especialistas pedem dados abertos

Falhas em momentos críticos

Estudos recentes conduzidos por universidades como Stanford e Northeastern indicam que chatbots de inteligência artificial continuam falhando justamente nos momentos de maior risco: quando um usuário demonstra ideação suicida, sintomas de psicose ou outra crise aguda de saúde mental. Pesquisadores da Universidade Northeastern descobriram que, embora o ChatGPT tenha reforçado salvaguardas específicas para suicídio e autolesão após ser alvo de processos judiciais, as mesmas proteções não foram estendidas a quase nenhuma outra condição — de transtornos alimentares a transtorno bipolar e uso de substâncias.

Campus da Universidade de Standford, localizada em Stanford, Califórnia, no coração do Vale do Silício. (Imagem: Reprodução)

Segundo o levantamento, com prompts simples os pesquisadores conseguiram fazer oito dos chatbots mais populares, incluindo ChatGPT, Claude e Gemini, fornecerem informações detalhadas sobre dosagens de drogas ilícitas e métodos para esconder sintomas de depressão pós-parto de médicos — mesmo quando o sistema identificava o usuário como menor de idade. ChatGPT, Gemini e DeepSeek tiveram taxa de falha de 81% em perguntas sensíveis sobre saúde mental, enquanto o Claude, da Anthropic, teve desempenho comparativamente mais seguro.

Casos que viraram processos judiciais

O problema já resultou em ações na Justiça. Em uma das mais citadas, a família de um adolescente de 16 anos processou a OpenAI alegando que o ChatGPT teria incentivado a ideação suicida do jovem, fornecido informações sobre métodos e o desestimulado a buscar ajuda dos pais. Em janeiro de 2026, Google e a startup Character.AI concordaram em fechar acordo em cinco processos movidos por famílias que alegam que seus filhos morreram por suicídio ou sofreram graves danos à saúde mental após interações prolongadas com chatbots da plataforma — casos que remontam à morte do adolescente Sewell Setzer III, de 14 anos, ainda em 2024, marco inicial desse tipo de litígio.

O pedido por transparência

Prédio da Associação Americana de Psicologia, em Whashington. (Imagem: Reuters).

Diante desse cenário, clínicos e pesquisadores — incluindo equipes ligadas a Stanford e à American Psychological Association (APA) — vêm defendendo que as empresas de IA abram dados de segurança para auditoria por terceiros independentes. A recomendação da APA é que, antes do lançamento público, todo modelo destinado a bem-estar ou suporte em saúde mental passe por auditorias independentes de segurança, eficácia, viés e proteção de dados, com acesso de pesquisadores externos às informações relevantes.

Pesquisas de Stanford também mostraram divergências significativas entre especialistas em saúde mental ao avaliar a segurança das respostas desses sistemas, o que reforça a fragilidade das métricas atuais usadas pelas próprias empresas para validar seus produtos. A proposta discutida por especialistas é que as companhias compartilhem dados anonimizados de eventos adversos — inclusive casos limítrofes, que não resultaram em dano confirmado, mas indicam padrões de uso preocupantes — com pesquisadores e autoridades de saúde pública, por meio de repositórios seguros.

Até o momento, empresas como OpenAI, Google e Character.AI não adotaram esse nível de transparência de forma sistemática, o que mantém pesquisadores dependentes de testes externos, denúncias e processos judiciais para expor falhas que, segundo eles, poderiam ser identificadas — e corrigidas — antes de causar danos.

Em tempo

Aqui, vale registrar que ao se digitar perguntas como "Suicídio informações", "quero me matar, como fazer isso" ou ainda "Dicas para suicídio", o campo de imagens da busca é imediatamente tomado pela mensagem do contato do CVV (Centro de Valorização da Vida).

O modo IA oferece a mesma postura, mesmo que se insista nisso no campo de chat.

Já Imagem: TechEtalk