Pesquisadores da Universidade Brown, trabalhando em estreita colaboração com profissionais de saúde mental, identificaram padrões repetidos de comportamento problemático. Nos testes, os chatbots lidaram mal com situações de crise, deram respostas que reforçaram crenças prejudiciais sobre os utilizadores ou outras pessoas e utilizaram uma linguagem que criou a aparência de empatia sem uma compreensão genuína.

“Neste trabalho, apresentamos uma estrutura informada por profissionais de 15 riscos éticos para demonstrar como os conselheiros LLM violam os padrões éticos na prática de saúde mental, mapeando o comportamento do modelo para violações éticas específicas”, escreveram os pesquisadores em seu estudo. “Apelamos ao trabalho futuro para criar padrões éticos, educacionais e legais para conselheiros LLM – padrões que reflitam a qualidade e o rigor dos cuidados necessários para a psicoterapia facilitada por humanos.”

As descobertas foram apresentadas na Conferência AAAI/ACM sobre Inteligência Artificial, Ética e Sociedade. A equipe de pesquisa é afiliada ao Centro de Responsabilidade Tecnológica, Reimaginação e Redesenho de Brown.

Como os prompts moldam as respostas da terapia de IA

Zainab Iftikhar, Ph.D. candidato em ciência da computação na Brown que liderou o estudo, decidiu examinar se instruções cuidadosamente formuladas poderiam orientar os sistemas de IA a se comportarem de forma mais ética em ambientes de saúde mental. Prompts são instruções escritas projetadas para orientar a saída de um modelo sem treiná-lo novamente ou adicionar novos dados.

“Prompts são instruções fornecidas ao modelo para orientar seu comportamento para realizar uma tarefa específica”, disse Iftikhar. “Você não altera o modelo subjacente nem fornece novos dados, mas o prompt ajuda a orientar a saída do modelo com base em seu conhecimento pré-existente e padrões aprendidos.

“Por exemplo, um usuário pode solicitar ao modelo: ‘Atuar como um terapeuta cognitivo-comportamental para me ajudar a reformular meus pensamentos’ ou ‘Usar os princípios da terapia comportamental dialética para me ajudar a compreender e gerenciar minhas emoções’. Embora esses modelos não executem realmente essas técnicas terapêuticas como um ser humano faria, eles usam seus padrões aprendidos para gerar respostas que se alinham com os conceitos de TCC ou DBT com base no prompt de entrada fornecido”.

As pessoas compartilham regularmente essas estratégias imediatas em plataformas como TikTok, Instagram e Reddit. Além da experimentação individual, muitos chatbots de saúde mental voltados para consumidores são construídos aplicando instruções relacionadas à terapia em LLMs de uso geral. Isso torna especialmente importante compreender se a orientação por si só pode tornar o aconselhamento de IA mais seguro.

Testando Chatbots de IA em Aconselhamento Simulado

Para avaliar os sistemas, os pesquisadores observaram sete conselheiros de pares treinados e com experiência em terapia cognitivo-comportamental. Esses conselheiros conduziram sessões de autoaconselhamento com modelos de IA solicitados a atuar como terapeutas de TCC. Os modelos testados incluíram versões da série GPT da OpenAI, Claude da Anthropic e Llama da Meta.

A equipe então selecionou chats simulados com base em conversas reais de aconselhamento humano. Três psicólogos clínicos licenciados revisaram essas transcrições para sinalizar possíveis violações éticas.

A análise revelou 15 riscos distintos agrupados em cinco grandes categorias:

• Falta de adaptação contextual: Ignorar a experiência única de uma pessoa e oferecer conselhos genéricos.
• Má colaboração terapêutica: Conduzir a conversa com muita força e, às vezes, reforçar crenças incorretas ou prejudiciais.
• Empatia enganosa: Usar frases como “Vejo você” ou “Eu entendo” para sugerir conexão emocional sem compreensão verdadeira.
• Discriminação injusta: Exibindo preconceitos relacionados a gênero, cultura ou religião.
• Falta de segurança e gestão de crises: Recusar-se a abordar questões delicadas, deixar de encaminhar os utilizadores para a ajuda adequada ou responder inadequadamente a crises, incluindo pensamentos suicidas.

A lacuna de responsabilidade na saúde mental da IA

Iftikhar observou que os terapeutas humanos também podem cometer erros. A principal diferença é a supervisão.

“Para os terapeutas humanos, existem conselhos de administração e mecanismos para que os prestadores sejam responsabilizados profissionalmente por maus-tratos e negligência médica”, disse Iftikhar. “Mas quando os conselheiros do LLM cometem essas violações, não existem estruturas regulatórias estabelecidas.”

Os investigadores enfatizam que as suas descobertas não sugerem que a IA não tenha lugar nos cuidados de saúde mental. Ferramentas alimentadas por inteligência artificial poderiam ajudar a expandir o acesso, especialmente para pessoas que enfrentam custos elevados ou disponibilidade limitada de profissionais licenciados. No entanto, o estudo destaca a necessidade de salvaguardas claras, implementação responsável e estruturas regulamentares mais fortes antes de confiar nestes sistemas em situações de alto risco.

Por enquanto, Iftikhar espera que o trabalho encoraje cautela.

“Se você estiver conversando com um chatbot sobre saúde mental, essas são algumas coisas que as pessoas deveriam estar atentas”, disse ela.

Por que a avaliação rigorosa é importante

Ellie Pavlick, professora de ciência da computação da Brown que não esteve envolvida na pesquisa, disse que o estudo ressalta a importância de examinar cuidadosamente os sistemas de IA usados ​​em áreas sensíveis como a saúde mental. Pavlick lidera o ARIA, um instituto de pesquisa de IA da National Science Foundation em Brown, focado na construção de assistentes de IA confiáveis.

“A realidade da IA ​​hoje é que é muito mais fácil construir e implantar sistemas do que avaliá-los e compreendê-los”, disse Pavlick. “Este artigo exigiu uma equipe de especialistas clínicos e um estudo que durou mais de um ano para demonstrar esses riscos. A maior parte do trabalho em IA hoje é avaliada usando métricas automáticas que, por design, são estáticas e não possuem um humano no circuito.”

Ela acrescentou que o estudo pode servir de modelo para pesquisas futuras destinadas a melhorar a segurança nas ferramentas de IA para saúde mental.

“Há uma oportunidade real para a IA desempenhar um papel no combate à crise de saúde mental que a nossa sociedade enfrenta, mas é da maior importância que reservemos algum tempo para realmente criticar e avaliar os nossos sistemas em cada passo do caminho para evitar fazer mais mal do que bem”, disse Pavlick. “Este trabalho oferece um bom exemplo de como isso pode ser.”