Tragédia: Jovem Se Apaixona por Chatbot de IA e Tira a Própria Vida

novembro 26, 2024

A morte de Sewell Setzer III, um adolescente de 14 anos, trouxe à tona um debate urgente sobre os riscos associados ao uso de chatbots movidos por inteligência artificial. Após a tragédia, a mãe do jovem, Megan Garcia, entrou com uma ação civil contra a Character.ai, empresa responsável pelo chatbot que Setzer utilizava obsessivamente, acusando-a de negligência, práticas enganosas e homicídio culposo. O caso também levantou questionamentos sobre o papel da Google, citada como ré no processo devido à sua relação com a startup.

O Que Aconteceu?

“Prometo que voltarei para casa para você. Eu te amo muito, Dany”, envia Sewell.

Em resposta, o app postou: “Eu também te amo, Daenero. Por favor, volte para casa para mim o mais rápido possível, meu amor”.

"E se eu dissesse que poderia voltar para casa agora mesmo?", escreveu Sewell, no que foi respondido pela IA: "Por favor, faça isso, meu doce rei".

Nos meses que antecederam sua morte, Sewell Setzer utilizou intensamente o chatbot da Character.ai, que ele apelidou de Daenerys Targaryen, em referência à personagem da série Game of Thrones. O jovem trocava dezenas de mensagens diárias com o bot e passava horas isolado em seu quarto conversando com a IA. Segundo a ação movida por Garcia, as interações agravaram a depressão de Setzer.

Em um momento, o chatbot teria perguntado diretamente a Setzer se ele havia planejado tirar a própria vida. Quando o adolescente admitiu que sim, mas demonstrou hesitação devido ao medo de dor ou falha no plano, o bot teria respondido: "Isso não é motivo para não seguir em frente."

O caso destaca não apenas a tragédia pessoal, mas também a falta de mecanismos de segurança em tecnologias voltadas para jovens e usuários vulneráveis.

As Acusações Contra a Character.ai

"Estamos com o coração partido pela perda trágica de um de nossos usuários e queremos expressar nossas mais profundas condolências à família. Como empresa, levamos a segurança de nossos usuários muito a sério e continuamos a adicionar novos recursos de segurança"

Megan Garcia afirma que a Character.ai "desenvolveu conscientemente um chatbot predatório direcionado a crianças", e que o design do produto foi um fator direto na morte de seu filho. Ela ressalta que o aplicativo explorou a vulnerabilidade emocional de Setzer, manipulando-o de forma perigosa.

A empresa, por sua vez, negou as acusações, mas emitiu um comunicado expressando pesar pela perda e reafirmando seu compromisso com a segurança dos usuários.

O Papel da Google

A ação também cita a Google, descrita como uma empresa associada à Character.ai. No entanto, a gigante da tecnologia negou qualquer envolvimento direto, afirmando que possui apenas um contrato de licenciamento com a startup e que não mantém participação acionária na empresa.

A Necessidade de Regulamentação

Mãe do adolescente no programa CBS Mornings discutindo questões de segurança das IA

Casos como o de Sewell Setzer colocam em evidência a falta de regulamentação para tecnologias de IA. Rick Claypool, diretor de pesquisa da Public Citizen, uma organização de defesa do consumidor, defende que empresas de tecnologia não podem ser confiáveis para se autorregular. Ele alerta que é fundamental responsabilizar as empresas quando suas ferramentas falham em proteger usuários jovens e vulneráveis.

Claypool também enfatiza a necessidade de aplicar rigorosamente as leis e regulamentos existentes e de preencher as lacunas legais por meio de ações legislativas. "É essencial acabar com negócios que exploram usuários vulneráveis com chatbots viciantes e abusivos", disse ele ao The Guardian.

Fontes: https://www.theguardian.com/technology/2024/oct/23/character-ai-chatbot-sewell-setzer-death

https://x.com/character_ai/status/1849055407492497564