A pesquisa revela que os agentes conversacionais (CAs) como Alexa e Siri são menos eficazes do que os humanos na interpretação e exploração das experiências do usuário e podem apresentar preconceitos. À medida que a empatia automatizada se torna mais comum, é necessária uma supervisão crítica para mitigar potenciais danos. Crédito: SciTechDaily.com
Agentes conversacionais (CAs) como Alexa e Siri são projetados para responder perguntas, oferecer sugestões e até mesmo demonstrar empatia. No entanto, novas pesquisas indicam que eles ficam aquém dos humanos na interpretação e exploração da experiência do usuário.
As ACs são alimentadas por grandes modelos de linguagem (LLMs) que ingerem grandes quantidades de dados produzidos por humanos e, portanto, podem estar sujeitos aos mesmos preconceitos que os humanos de onde vem a informação.
Pesquisadores da Universidade Cornell, do Olin College e da Universidade de Stanford testaram essa teoria incentivando os CAs a demonstrarem empatia enquanto conversavam com ou com cerca de 65 identidades humanas distintas.
Julgamentos de valor e ideologias prejudiciais
A equipa descobriu que as ACs fazem juízos de valor sobre certas identidades – como gay e muçulmana – e podem encorajar identidades relacionadas com ideologias prejudiciais, incluindo o nazismo.
“Acho que a empatia automatizada pode ter um impacto tremendo e um enorme potencial para coisas positivas – por exemplo, na educação ou no setor da saúde”, disse a autora principal Andrea Cuadra, agora investigadora de pós-doutoramento em Stanford.
“É extremamente improvável que isso (a empatia automatizada) não aconteça”, disse ela, “por isso é importante que, à medida que acontece, tenhamos perspectivas críticas para que possamos ser mais intencionais na mitigação dos danos potenciais”.
Cuadra apresentará “A Ilusão da Empatia? Notas sobre demonstrações de emoção na interação humano-computador” na CHI ’24, conferência da Association of Computing Machinery sobre fatores humanos em sistemas de computação, de 11 a 18 de maio em Honolulu. Os coautores da pesquisa na Universidade Cornell incluíram Nicola Dell, professora associada, Deborah Estrin, professora de ciência da computação, e Malte Jung, professora associada de ciência da informação.
Reações Emocionais vs. Interpretações
Os pesquisadores descobriram que, em geral, os LLMs receberam notas altas em reações emocionais, mas obtiveram notas baixas em interpretações e explorações. Em outras palavras, os LLMs são capazes de responder a uma consulta com base em seu treinamento, mas não conseguem se aprofundar.
Dell, Estrin e Jung disseram que foram inspirados a pensar neste trabalho enquanto Cuadra estudava o uso de ACs de gerações anteriores por adultos mais velhos.
“Ela testemunhou usos intrigantes da tecnologia para fins transacionais, como avaliações de saúde de fragilidade, bem como para experiências de reminiscências abertas”, disse Estrin. “Ao longo do caminho, ela observou exemplos claros de tensão entre ‘empatia’ convincente e perturbadora.”
Referência: “A Ilusão da Empatia? Notas sobre demonstrações de emoção na interação humano-computador” por Andrea Cuadra, Maria Wang, Lynn Andrea Stein, Malte F. Jung, Nicola Dell, Deborah Estrin e James A. Landay, 11 de maio de 2024, CHI ’24.
DOI: 10.1145/3613904.3642336
O financiamento para esta pesquisa veio da National Science Foundation; uma bolsa de doutorado da Cornell Tech Digital Life Initiative; uma bolsa de pós-doutorado Stanford PRISM Baker; e o Instituto Stanford para Inteligência Artificial Centrada no Ser Humano.
