Diante do febril e gigantesco crescimento do uso dos chatbots de inteligência artificial (IA), um caso na Flórida chamou atenção devido ao desfecho trágico. O adolescente Sewell Setzer, de 14 anos, após longo período interagindo na plataforma da Character.AI, cometeu suicídio em fevereiro deste ano, devido ao conteúdo das conversas que teve com as personalidades geradas por IA, segundo alegações da mãe em ação judicial.
Megan Garcia, diz que a empresa foi negligente, contribuindo assim para o suicídio do filho, já que a não moderação dos conteúdos, influenciou completamente no ocorrido. O jovem, que mantinha esses diálogos com o chatbot desde abril de 2023, quando começou a utilizar o aplicativo da Character.AI, teve seu estado emocional manipulado por ocasião do conteúdo abusivo e sexualizado, potencializando sua decisão trágica.
Interatividade e armadilhas emocionais
As múltiplas personas criadas por IA, são atrativos que respondem aos anseios por “relações perfeitas” o que tem contribuído para muitos usuários se lançarem de forma mais intensa na interação com os chatbot de IA. Comentando sobre o fato, a Dra. Emily Tanner, pesquisadora de ética digital do MIT, diz que “embora a companhia de IA possa oferecer benefícios, precisamos estar extremamente cientes de seus riscos. A capacidade desses chatbots de formar conexões emocionais com usuários, especialmente os mais jovens, levanta sérias questões éticas sobre responsabilidade e proteção do usuário.”
Vulnerabilidade emocional é um alerta segundo especialistas (Foto: reprodução/Freepik)
Sewell, por exemplo, conforme as alegações de Megan, mantinha diálogo íntimo e nocivo a sua saúde mental, com uma personalidade modelada a partir da personagem Daenerys Targaryen de “Game of Thrones”.
Com mais de 20 milhões de usuários registrados, a plataforma permite que os usuários criem ou interajam com chatbots de IA que imitam várias personalidades, que vão desde figuras históricas a fictícias. Fundada em 2021 pelos ex-pesquisadores do Google, Noam Shazeer e Daniel de Freitas, a Character.AI rapidamente se tornou um grande player no mercado de chatbots de IA, refletindo a popularidade dos potenciais tecnológicos ofertados.
No entanto, críticos argumentam sobre a falta de moderação e ações que possam auxiliar contra as interações inadequadas e prejudiciais, particularmente quando se trata de indivíduos vulneráveis. O advogado de Megan, Matthew Bergman, relata que a empresa estava consciente dos riscos potenciais atrelados à interação prolongada com esses chatbots, mas falhou em implementar medidas de segurança adequadas.
Jovem com tristeza aparente diante da tela de computador (Foto: reprodução/Freepik)
A Character.AI ao se pronunciar sobre a tragédia e a subsequente ação judicial, anunciou implementações de moderação com recursos de segurança e inclusão de mensagens pop-up de direcionamento aos potenciais usuários detectados em estado de vulnerabilidade emocional, para linha direta de prevenção ao suicídio. Posicionamento que prosseguiu preocupando os críticos e especialistas, pois acreditam ser ações mínimas e tardias, diante de um complexo e perigoso cenário.
As tecnologias com suas ações pontuais em prol da saúde humana tem sido extremamente importantes, mas, fatos como este implicam numa revisão mais profunda do regimento dessas plataformas de IA, que promovam um local comum ao bem-estar social, como propõem os teóricos.
Ampliação das discussões
O Dr. Jonathan Bright, especialista em política tecnológica da Universidade de Oxford, sobre o caso, disse que “este evento trágico ressalta a necessidade urgente de diretrizes abrangentes que regem as interações de IA, particularmente aquelas envolvendo menores.” E ainda, “Precisamos de uma estrutura que equilibre a inovação com a segurança do usuário”, finalizou.
Casos como este servem como um lembrete severo acerca dos desafios em toda a complexidade existente com o avanço tecnológico das IAs. Esta batalha jurídica provoca algo muito maior do que buscar novas diretrizes, pois é um grito pela preservação do bem estar e acima de tudo, pela vida. O que fica explicitamente exposto na preocupação de todos diante do trágico episódio do menino Sewell.
O processo contra a Character.AI pode estabelecer um ponto de partida, sobre como as empresas de IA venham responder pelo impacto produzido por suas ferramentas na saúde mental dos usuários.
Foto destaque: Adolescente em interação duvidosa com IA (Reprodução/Freepik)
