Character.AI vai proibir menores de 18 anos de usar seus chatbots

SAN FRANCISCO — A Character.AI anunciou nesta quarta-feira que proibirá o uso de seus chatbots por pessoas menores de 18 anos a partir do final do próximo mês, em uma medida ampla para tratar de preocupações relacionadas à segurança infantil.

A regra entrará em vigor em 25 de novembro, informou a empresa. Para aplicá-la, a Character.AI disse que, ao longo do próximo mês, identificará quais usuários são menores de idade e imporá limites de tempo no uso do aplicativo. Após o início da medida, esses usuários não poderão mais conversar com os chatbots da empresa.

“Estamos dando um passo muito ousado ao dizer que, para usuários adolescentes, chatbots não são a forma adequada de entretenimento, mas existem maneiras muito melhores de atendê-los”, disse Karandeep Anand, CEO da Character.AI, em entrevista. Ele afirmou que a empresa também planeja criar um laboratório de segurança em inteligência artificial.

As medidas ocorrem em meio a um aumento da atenção sobre como chatbots, às vezes chamados de companheiros de IA, podem afetar a saúde mental dos usuários. No ano passado, a Character.AI foi processada pela família de Sewell Setzer III, um adolescente de 14 anos da Flórida que se suicidou após manter constantes conversas e trocas de mensagens com um dos chatbots da Character.AI. A família acusou a empresa de ser responsável pela morte.

O caso se tornou um ponto central para o debate sobre como as pessoas podem desenvolver vínculos emocionais com chatbots, com resultados potencialmente perigosos. Desde então, a Character.AI enfrentou outros processos relacionados à segurança infantil. Empresas de IA, incluindo a OpenAI, criadora do ChatGPT, também têm sido alvo de críticas pelo impacto de seus chatbots nas pessoas — especialmente jovens — quando mantêm conversas sexualmente explícitas ou tóxicas.

Em setembro, a OpenAI anunciou planos para introduzir recursos que tornem seu chatbot mais seguro, incluindo controles parentais. Neste mês, Sam Altman, CEO da OpenAI, publicou nas redes sociais que a empresa “conseguiu mitigar os sérios problemas de saúde mental” e que iria flexibilizar algumas de suas medidas de segurança.

(O New York Times processou a OpenAI e a Microsoft, alegando violação de direitos autorais de conteúdos jornalísticos relacionados a sistemas de IA. As duas empresas negaram as acusações.)

Diante desses casos, legisladores e autoridades iniciaram investigações e propuseram ou aprovaram legislações para proteger crianças contra chatbots de IA. Na terça-feira, os senadores Josh Hawley (R-Mo.) e Richard Blumenthal (D-Conn.) apresentaram um projeto de lei para proibir companheiros de IA para menores, entre outras medidas de segurança.

O governador Gavin Newsom sancionou neste mês uma lei na Califórnia que exige que empresas de IA implementem mecanismos de segurança em chatbots. A lei entra em vigor em 1º de janeiro.

“As histórias sobre o que pode dar errado estão aumentando”, disse Steve Padilla, democrata no Senado estadual da Califórnia, que apresentou o projeto de segurança. “É importante estabelecer limites razoáveis para proteger as pessoas mais vulneráveis.”

Anand, da Character.AI, não comentou os processos enfrentados pela empresa. Ele afirmou que a startup quer dar um exemplo de segurança para o setor “fazendo muito mais do que a regulamentação pode exigir.”

A Character.AI foi fundada em 2021 por Noam Shazeer e Daniel De Freitas, dois ex-engenheiros do Google, e levantou quase US$ 200 milhões de investidores. No ano passado, o Google concordou em pagar cerca de US$ 3 bilhões para licenciar a tecnologia da Character.AI, e Shazeer e De Freitas retornaram ao Google.

A Character.AI permite que as pessoas criem e compartilhem seus próprios personagens de IA, como avatares personalizados de anime, e promove o aplicativo como entretenimento com IA. Algumas personalidades podem ser criadas para simular namorados, namoradas ou outros relacionamentos íntimos. Os usuários pagam uma assinatura mensal, a partir de cerca de US$ 8, para conversar com os companheiros. Até a recente preocupação com usuários menores, a Character.AI não verificava a idade no cadastro.

No ano passado, pesquisadores da Universidade de Illinois Urbana-Champaign analisaram milhares de postagens e comentários deixados por jovens em comunidades do Reddit dedicadas a chatbots de IA, e entrevistaram adolescentes que usavam a Character.AI, além de seus pais. Os pesquisadores concluíram que as plataformas de IA não tinham proteções suficientes para crianças, e que os pais não compreendiam totalmente a tecnologia ou seus riscos.

“Devemos prestar tanta atenção quanto se eles estivessem conversando com estranhos”, disse Yang Wang, professor de ciência da informação da universidade. “Não devemos subestimar os riscos só porque são bots não humanos.”

A Character.AI tem cerca de 20 milhões de usuários mensais, com menos de 10% deles se declarando menores de 18 anos, disse Anand.

Com as novas políticas, a empresa vai impor imediatamente um limite diário de duas horas para usuários menores de 18 anos. A partir de 25 de novembro, esses usuários não poderão criar ou conversar com chatbots, mas poderão ler conversas anteriores. Também poderão gerar vídeos e imagens de IA por meio de um menu estruturado de comandos, dentro de certos limites de segurança, explicou Anand.

Ele disse que a empresa já havia implementado outras medidas de segurança no último ano, como controles parentais.

No futuro, a Character.AI usará tecnologia para detectar usuários menores com base nas conversas e interações na plataforma, bem como informações de contas conectadas em redes sociais, afirmou. Se a empresa suspeitar que um usuário é menor de 18 anos, ele será notificado para verificar sua idade.

Dra. Nina Vasan, psiquiatra e diretora de um laboratório de inovação em saúde mental da Universidade de Stanford que pesquisa segurança em IA e crianças, disse que é “muito importante” que um fabricante de chatbots proíba menores de usar seu aplicativo. Mas ela afirmou que a empresa deveria trabalhar com psicólogos e psiquiatras infantis para entender como a perda repentina do acesso a companheiros de IA afetaria os jovens usuários.

“O que me preocupa são as crianças que usam isso há anos e se tornaram emocionalmente dependentes”, disse ela. “Perder seu amigo no Dia de Ação de Graças não é bom.”

c.2025 The New York Times Company