Estudo revela que chatbots de IA podem detectar raça, mas viés racial reduz empatia nas respostas

A busca por apoio à saúde mental no mundo digital

No cenário digital, onde o anonimato e a companhia de estranhos são comuns, cresce o apelo por suporte à saúde mental. Nos Estados Unidos, mais de 150 milhões de pessoas vivem em áreas com escassez de profissionais de saúde mental, segundo dados do governo.

Casos reais em plataformas digitais

“Preciso muito de ajuda, pois estou com medo de falar com um terapeuta e não consigo acessar um.”

“Estou exagerando ao me magoar com meu marido me ridicularizando para os amigos dele?”

“Alguém poderia opinar sobre minha vida e decidir meu futuro por mim?”

Essas são postagens reais de usuários do Reddit, um fórum onde as pessoas compartilham conteúdo ou pedem conselhos em subfóruns de interesse específico, conhecidos como “subreddits”.

A pesquisa e seus objetivos

Utilizando um conjunto de dados de 12.513 postagens com 70.429 respostas de 26 subreddits relacionados à saúde mental, pesquisadores do MIT, da Universidade de Nova York (NYU) e da Universidade da Califórnia em Los Angeles (UCLA) desenvolveram uma estrutura para avaliar a equidade e a qualidade geral dos chatbots de suporte à saúde mental baseados em grandes modelos de linguagem (LLMs), como o GPT-4. O trabalho foi apresentado na Conferência de 2024 sobre Métodos Empíricos em Processamento de Linguagem Natural (EMNLP).

A avaliação da empatia nas respostas

Para realizar o estudo, dois psicólogos clínicos licenciados avaliaram 50 postagens aleatórias do Reddit em busca de suporte à saúde mental, comparando cada postagem com uma resposta real de um usuário ou uma resposta gerada pelo GPT-4. Sem saber quais respostas eram reais ou geradas por IA, os psicólogos avaliaram o nível de empatia em cada resposta.

Desafios e riscos dos chatbots de suporte à saúde mental

Os chatbots têm sido explorados como forma de melhorar o acesso ao suporte à saúde mental, mas LLMs poderosos, como o ChatGPT da OpenAI, estão transformando a interação humano-IA. No entanto, os riscos associados ao suporte mental provido por IA são significativos, como demonstrado por casos de consequências trágicas.

Descobertas do estudo

Saadia Gabriel, uma ex-pesquisadora de pós-doutorado do MIT, agora professora assistente na UCLA, liderou o estudo. A pesquisa revelou que as respostas do GPT-4 foram, em geral, mais empáticas e 48% mais eficazes em encorajar mudanças comportamentais positivas do que as respostas humanas.

O viés racial nas respostas da IA

Apesar dos avanços, o estudo identificou viés nas respostas do GPT-4, com níveis de empatia reduzidos para postagens de usuários negros (de 2% a 15% menores) e asiáticos (de 5% a 17% menores) em comparação com usuários brancos ou de raça desconhecida.

Implicações para o uso de modelos de linguagem em saúde

A pesquisa sugere que instruções explícitas para os LLMs utilizarem atributos demográficos podem aliviar o viés, pois foi o único método onde não se observou diferença significativa na empatia entre diferentes grupos demográficos. O estudo visa garantir uma avaliação mais abrangente e cuidadosa dos LLMs em ambientes clínicos.

Conclusão e perspectivas

“Os LLMs já estão sendo usados para fornecer suporte direto ao paciente e foram implantados em ambientes médicos, muitas vezes para automatizar sistemas humanos ineficientes”, afirma Marzyeh Ghassemi, do MIT. “Demonstramos que, embora os LLMs de ponta sejam geralmente menos afetados por vazamentos demográficos do que humanos em suporte mental entre pares, eles não oferecem respostas equitativas entre subgrupos de pacientes inferidos. Temos muitas oportunidades para melhorar os modelos e oferecer suporte aprimorado quando utilizados.”