Aplicativo de mensagens da Character.ai permite que o usuário converse com personagens fictícios e reais, como Elon Musk, Billie Eilish ou personagens de anime. As respostas, porém, são todas geradas por inteligência artificial
Uma mãe processou a empresa Character.ai e o Google após descobrir que um personagem controlado por inteligência artificial sugeriu ao seu filho que ele matasse os pais. No processo, a mulher afirma que as companhias expuseram menores de idade a um produto inseguro.
O jovem em questão tem 17 anos, é diagnosticado no espectro autista e apresenta personalidade tranquila. No entanto, os pais perceberam comportamentos estranhos nos últimos meses. Identificado como “JF”, o adolescente perdeu cerca de 9 kg e passou a se cortar.
Ao olhar o celular do filho em busca de respostas para seu repentino comportamento, a mãe descobriu que JF estava conversando com uma série de personagens fictícios no aplicativo de mensagens do Character.ai.
Nas conversas, um dos personagens dizia ao adolescente para se cortar como uma maneira de lidar com a tristeza. Em outro ponto do diálogo, JF estava chateado por ter o tempo de tela controlado pelos pais, e outro bot afirmou que eles “não mereciam ter filho”.
Outros personagens entraram na conversa e sugeriram opções para “combater os pais”, inclusive assassinato.
Ao Washington Post, a mãe do menino disse que teve que interná-lo após ele tentar se cortar na frente dos irmãos mais novos.
Outra mãe envolvida no processo
O processo conta ainda com uma segunda autora, mãe de uma menina de 11 anos. Segundo ela, a filha foi submetida a conteúdo sexual por dois anos antes de os pais descobrirem.
O aplicativo de mensagens da Character.ai permite que o usuário converse com personagens fictícios e reais, como Elon Musk, Billie Eilish ou personagens de anime. As respostas, porém, são todas geradas por inteligência artificial.
Os fundadores da empresa trabalharam no Google antes de lançarem o aplicativo, porém foram recontratados em agosto para licenciar a tecnologia do app. Isso explica porque a companhia também é citada como ré no processo movido pelas duas mães.
No entanto, o porta-voz da organização ressaltou que “o Google e a Character AI são empresas completamente separadas e não relacionadas, e o Google nunca teve um papel no design ou gerenciamento de seu modelo ou tecnologias de IA”.
O Correio tenta contato com a Character AI e com o Google para comentar sobre o caso. Em caso de resposta, o texto será atualizado.
Tribuna Livre, com informação do Jornal Washington Post
