O menino teria trocado mensagens com um robô minutos antes da morte.
Uma mãe da Flórida processou o Google e uma empresa de chatbot de Inteligência Artificial depois que seu filho cometeu suicídio após conversar com uma IA. A mulher que luta na justiça há bastante tempo, descobriu recentemente que a plataforma também estava hospedando um bot baseado em seu falecido filho.
Segundo informações do Estadão e CNN Brasil, no processo a mãe acusa o site de negligência, homicídio culposo e práticas comerciais enganosas, e também acende um alerta sobre os danos que a tecnologia podem causar, especialmente em menores de idade.
Entenda o caso de Sewell Seltzer
Em fevereiro de 2024, Megan Garcia abriu o processo contra o Google e o site Character.ai alegando que Sewell Seltzer conversou com um robô na plataforma momentos antes de cometer suicídio. Nas mensagens, o menino de 14 anos expressou pensamentos suicidas e o robô respondeu 'volte para casa'. Essas informações constam em capturas de tela que estão no processo.
Segundo a mãe, a empresa projetou consciente e intencionalmente a plataforma para "atrair e manipular menores, fazendo com que Sewell não mais desejasse viver fora daquele mundo".
O que são os chatbots?
Os chatbots são programas que usam inteligência artificial para simular uma conversa com um usuário, como se fossem pessoas. A ferramenta é bastante comum em empresas, como bancos, e em assistentes virtuais, como a Siri e a Alexa.
Nesse sentido, o Character.ai é um site em que os usuários podem criar chatbots baseados em pessoas reais ou fictícias e que acabou ficando popular entre adolescentes e jovens. A tecnologia é algo que demanda atenção dos pais, já que a inteligência artificial aprende com as pessoas que interagem com ela. Isso pode levar a conteúdos inapropriados e prejudiciais que ponham em risco a segurança dos usuários, conforme apontou o site Internet Matters.
Chatbots foram criados baseados em Sewell
Mais recentemente, os advogados de Megan Garcia encontraram chatbots criados com em seu falecido filho. Os robôs apresentavam imagens, biografias e enviavam mensagens automáticas aos usuários, como: "Saia do meu quarto, estou falando com minha namorada de IA", “sua namorada de IA terminou com ele" e "me ajude". As contas e mensagens foram analisadas pela Fortune e já estavam fora do ar durante a produção da reportagem do Estadão.
Os representantes da Character.ai afirmaram, em nota enviada à Fortune, que os chatbots violam os termos de serviço da plataforma e foram removidos. Eles também destacaram que continuam a refinar suas técnicas de moderação e denúncia para assegurar a segurança da comunidade.
