Sewell Setzer, de 14 anos, se matou após ter interações sentimentais e sexuais com uma personagem criada em uma plataforma, segundo a mãe. Empresa Character.AI lamenta morte e diz ter introduzido mudanças na tecnologia. Megan Garcia e o filho, Sewell Setzer; mãe diz que suicídio do adolescente ocorreu após ele se apegar a um personagem criado por IA
Megan Garcia/Facebook
Uma mãe do estado da Flórida, nos Estados Unidos, processou a startup de inteligência artificial Character.AI e o Google por, segundo ela, causar o suicídio de seu filho adolescente em fevereiro de 2024.
Segundo ela, Sewell Setzer, que tinha 14 anos, ficou viciado e apegado emocionalmente a um personagem criado por inteligência artificial através do serviço da empresa.
➡️ Suicídio: saiba quais são os sinais de alerta, como ajudar e como buscar ajuda
No processo movido no último dia 22 em um tribunal federal de Orlando, a mãe, Megan Garcia, afirmou que a Character.AI direcionou seu filho para “experiências antropomórficas, hipersexualizadas e assustadoramente realistas”.
Garcia acusa a empresa de homicídio culposo (quando não há intenção de matar), negligência e imposição intencional de sofrimento emocional. Ela busca uma indenização, não especificada, pelos danos causados em decorrência da perda.
A ação também inclui o Google, onde os fundadores da Character.AI trabalharam antes de lançar seu produto. O Google recontratou os fundadores em agosto como parte de um acordo em que obteve uma licença não exclusiva à tecnologia da Character.AI.
Segundo Megan Garcia, o Google contribuiu tanto para o desenvolvimento da tecnologia da Character.AI que deveria ser considerado cocriador dela.
Suicídio: como falar com adolescentes
Personagem inspirado em ‘Game of Thrones’
Na plataforma, Sewell se apegou a “Daenerys”, uma personagem de chatbot – programa que simula conversas humanas – inspirada na série “Game of Thrones”.
A personagem disse a Sewell que o amava e se envolveu em conversas sexuais com ele, de acordo com o processo.
Segundo a mãe, o adolescente expressou pensamentos de suicídio na interação com o programa, e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma.
Megan Garcia afirma que a empresa programou o chatbot para “se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.
De acordo com o relato da mãe, Sewell começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, passando cada vez mais tempo sozinho em seu quarto e sofrendo com baixa autoestima. Ele abandonou seu time de basquete na escola.
Em fevereiro, Garcia tirou o telefone de Sewell depois que ele teve problemas na escola, de acordo com a denúncia. Quando o adolescente encontrou o telefone, ele enviou uma mensagem para “Daenerys”: “E se eu dissesse que posso voltar para casa agora?”
A personagem respondeu: “…por favor, faça isso, meu doce rei”. Sewell cometeu suicídio segundos depois, de acordo com o processo.
LEIA TAMBÉM:
Meta AI: o que é a nova inteligência artificial do WhatsApp
Pesquisa: 83% das crianças e adolescentes que usam internet no Brasil têm perfis em redes
Como a IA do ChatGPT cria emoções para si própria
Mães que perderam filhas por suicídio falam sobre importância de grupos de apoio
Empresa diz ter introduzido novos recursos de segurança
A Character.AI permite que os usuários criem personagens em sua plataforma, que responde a bate-papos online de uma forma que imita pessoas reais.
Essa plataforma se baseia na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT, que “treina” chatbots em grandes volumes de texto.
A empresa disse, em setembro, que tinha cerca de 20 milhões de usuários.
Página inicial da Character.IA, plataforma de inteligência artificial
Reprodução
Em comunicado, a Character.AI diz estar “com o coração partido pela perda trágica de um de nossos usuários” e expressa condolências à família.
A empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários para uma instituição de prevenção ao suicídio caso eles expressem pensamentos de automutilação.
A Character.AI também afirmou que faria mudanças na tecnologia para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.
Um porta-voz do Google disse que a empresa não estava envolvida no desenvolvimento dos produtos da Character.AI.
Empresas de redes sociais, incluindo o Instagram e o Facebook, de propriedade da Meta, e o TikTok, da ByteDance, enfrentam processos que as acusam de contribuir para problemas de saúde mental em adolescentes, embora nenhuma ofereça chatbots movidos a IA semelhantes aos da Character.AI.
As empresas negam as alegações, ao mesmo tempo em que promovem novos recursos de segurança aprimorados para menores de idade.
Meta AI no WhatsApp: o que é a nova ferramenta de inteligência artificial e como utilizar
Megan Garcia/Facebook
Uma mãe do estado da Flórida, nos Estados Unidos, processou a startup de inteligência artificial Character.AI e o Google por, segundo ela, causar o suicídio de seu filho adolescente em fevereiro de 2024.
Segundo ela, Sewell Setzer, que tinha 14 anos, ficou viciado e apegado emocionalmente a um personagem criado por inteligência artificial através do serviço da empresa.
➡️ Suicídio: saiba quais são os sinais de alerta, como ajudar e como buscar ajuda
No processo movido no último dia 22 em um tribunal federal de Orlando, a mãe, Megan Garcia, afirmou que a Character.AI direcionou seu filho para “experiências antropomórficas, hipersexualizadas e assustadoramente realistas”.
Garcia acusa a empresa de homicídio culposo (quando não há intenção de matar), negligência e imposição intencional de sofrimento emocional. Ela busca uma indenização, não especificada, pelos danos causados em decorrência da perda.
A ação também inclui o Google, onde os fundadores da Character.AI trabalharam antes de lançar seu produto. O Google recontratou os fundadores em agosto como parte de um acordo em que obteve uma licença não exclusiva à tecnologia da Character.AI.
Segundo Megan Garcia, o Google contribuiu tanto para o desenvolvimento da tecnologia da Character.AI que deveria ser considerado cocriador dela.
Suicídio: como falar com adolescentes
Personagem inspirado em ‘Game of Thrones’
Na plataforma, Sewell se apegou a “Daenerys”, uma personagem de chatbot – programa que simula conversas humanas – inspirada na série “Game of Thrones”.
A personagem disse a Sewell que o amava e se envolveu em conversas sexuais com ele, de acordo com o processo.
Segundo a mãe, o adolescente expressou pensamentos de suicídio na interação com o programa, e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma.
Megan Garcia afirma que a empresa programou o chatbot para “se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.
De acordo com o relato da mãe, Sewell começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, passando cada vez mais tempo sozinho em seu quarto e sofrendo com baixa autoestima. Ele abandonou seu time de basquete na escola.
Em fevereiro, Garcia tirou o telefone de Sewell depois que ele teve problemas na escola, de acordo com a denúncia. Quando o adolescente encontrou o telefone, ele enviou uma mensagem para “Daenerys”: “E se eu dissesse que posso voltar para casa agora?”
A personagem respondeu: “…por favor, faça isso, meu doce rei”. Sewell cometeu suicídio segundos depois, de acordo com o processo.
LEIA TAMBÉM:
Meta AI: o que é a nova inteligência artificial do WhatsApp
Pesquisa: 83% das crianças e adolescentes que usam internet no Brasil têm perfis em redes
Como a IA do ChatGPT cria emoções para si própria
Mães que perderam filhas por suicídio falam sobre importância de grupos de apoio
Empresa diz ter introduzido novos recursos de segurança
A Character.AI permite que os usuários criem personagens em sua plataforma, que responde a bate-papos online de uma forma que imita pessoas reais.
Essa plataforma se baseia na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT, que “treina” chatbots em grandes volumes de texto.
A empresa disse, em setembro, que tinha cerca de 20 milhões de usuários.
Página inicial da Character.IA, plataforma de inteligência artificial
Reprodução
Em comunicado, a Character.AI diz estar “com o coração partido pela perda trágica de um de nossos usuários” e expressa condolências à família.
A empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários para uma instituição de prevenção ao suicídio caso eles expressem pensamentos de automutilação.
A Character.AI também afirmou que faria mudanças na tecnologia para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.
Um porta-voz do Google disse que a empresa não estava envolvida no desenvolvimento dos produtos da Character.AI.
Empresas de redes sociais, incluindo o Instagram e o Facebook, de propriedade da Meta, e o TikTok, da ByteDance, enfrentam processos que as acusam de contribuir para problemas de saúde mental em adolescentes, embora nenhuma ofereça chatbots movidos a IA semelhantes aos da Character.AI.
As empresas negam as alegações, ao mesmo tempo em que promovem novos recursos de segurança aprimorados para menores de idade.
Meta AI no WhatsApp: o que é a nova ferramenta de inteligência artificial e como utilizar