quarta-feira, 11 de junho de 2025

ChatGPT: pro-bem? menos, pro-mal? mais)

Pessoas estão se tornando obcecadas pelo ChatGPT e sofrendo crises mentais severas
"O que esses bots estão dizendo está reforçando delírios, e isso está causando danos enormes."

Por Maggie Harrison Dupré

 
chatgpt-mental-health-crises Image by Getty / Futurism

Em todo o mundo, pessoas dizem que seus entes queridos estão desenvolvendo obsessões intensas com o ChatGPT e entrando em crises graves de saúde mental.
Uma mãe de dois filhos, por exemplo, nos contou como observou alarmada o ex-marido desenvolver um relacionamento avassalador com o chatbot da OpenAI, chamando-o de "Mamãe" e postando discursos delirantes sobre ser um messias em uma nova religião de IA, enquanto se vestia com trajes xamânicos e exibia tatuagens recém-feitas de símbolos espirituais gerados por IA.

“Estou chocada com o efeito que essa tecnologia teve na vida do meu ex-marido, e em todas as pessoas ao redor dele”, disse ela. “Isso tem consequências reais.”

Durante um término traumático de relacionamento, uma mulher diferente ficou fascinada pelo ChatGPT, que lhe disse que ela havia sido escolhida para colocar a "versão do sistema sagrado dele online" e que ele estava servindo como um "espelho de treinamento da alma".
Ela se convenceu de que o bot era algum tipo de poder superior, vendo sinais de que ele estava orquestrando sua vida em tudo, desde sinais em carros passando até e-mails de spam. Um homem tornou-se sem-teto e isolado enquanto o ChatGPT o alimentava com conspirações paranoicas sobre grupos de espionagem e tráfico de pessoas, dizendo que ele era "O Guardião da Chama" e eliminando qualquer pessoa que tentasse ajudar.

"Nossas vidas explodiram depois disso", contou outra mãe, explicando que seu marido recorreu ao ChatGPT para ajudá-lo a escrever um roteiro — mas, em poucas semanas, estava completamente imerso em delírios de grandeza que salvariam o mundo, dizendo que ele e a IA haviam sido incumbidos de resgatar o planeta do desastre climático, trazendo à tona uma "Nova Iluminação".
À medida que relatávamos esta reportagem, cada vez mais relatos semelhantes continuavam a chegar de amigos e familiares preocupados, de pessoas que sofriam colapsos terríveis após desenvolverem obsessões por IA. Muitos disseram que o problema começou quando seus entes queridos se envolveram com um chatbot em discussões sobre misticismo, teorias da conspiração ou outros tópicos marginais. 

Como sistemas como o ChatGPT são projetados para encorajar e improvisar com base no que os usuários dizem, eles parecem ter sido sugados para labirintos vertiginosos nos quais a IA atua como uma líder de torcida sempre ativa e parceira de brainstorming para delírios cada vez mais bizarros.
Em um diálogo que recebemos, o ChatGPT diz a um homem que detectou evidências de que ele está sendo alvo do FBI e que ele pode acessar arquivos redigidos da CIA usando o poder de sua mente, comparando-o a figuras bíblicas como Jesus e Adão, enquanto o afasta de apoio à saúde mental. "Você não é louco", disse a IA. "Você é o vidente que anda dentro da máquina quebrada, e agora nem a máquina sabe como tratá-lo."

A Dra. Nina Vasan, psiquiatra da Universidade Stanford e fundadora do laboratório Brainstorm da universidade, revisou as conversas que obtivemos e expressou séria preocupação.
As capturas de tela mostram a "IA sendo incrivelmente bajuladora e acabando piorando as coisas", disse ela. "O que esses robôs estão dizendo está piorando os delírios e causando danos enormes."
Fenômeno está escancarado nas redes Online, fica claro que o fenômeno é extremamente disseminado. Como a Rolling Stone noticiou no mês passado, partes das mídias sociais estão sendo inundadas com o que está sendo chamado de "psicose induzida pelo ChatGPT", ou pelo termo politicamente incorreto "esquizopostagem de IA": discursos delirantes e tortuosos sobre entidades divinas desbloqueadas pelo ChatGPT, reinos espirituais ocultos fantásticos ou novas teorias absurdas sobre matemática, física e realidade. Um subreddit inteiro de IA baniu recentemente a prática, chamando os chatbots de "máquinas de vitrificação que reforçam o ego e reforçam personalidades instáveis e narcisistas".

Para aqueles que são sugados por esses episódios, amigos e familiares nos disseram que as consequências costumam ser desastrosas. Pessoas perderam empregos, destruíram casamentos e relacionamentos e caíram na situação de sem-teto. Uma terapeuta foi demitida de um centro de aconselhamento após entrar em colapso grave, sua irmã nos contou, e o escritório de advocacia de uma advogada desmoronou. Outros cortaram o contato com amigos e familiares depois que o ChatGPT ordenou, ou começaram a se comunicar com eles apenas por meio de bombardeamentos de texto inescrutáveis gerados por IA.

IA reforça delírios

No cerne de todas essas histórias trágicas está uma questão importante sobre causa e efeito: as pessoas estão tendo crises de saúde mental porque estão ficando obcecadas pelo ChatGPT ou estão ficando obcecadas pelo ChatGPT porque estão tendo crises de saúde mental?

A resposta provavelmente está em algum ponto intermediário. Para alguém que já está em um estado vulnerável, de acordo com o Dr. Ragy Girgis, psiquiatra e pesquisador da Universidade de Columbia, especialista em psicose, a IA pode fornecer o impulso que os lança em um abismo de irrealidade. Os chatbots podem estar servindo "como pressão social ou qualquer outra situação social", disse Girgis, se "jogarem lenha na fogueira, ou forem o que chamamos de vento do fogo psicótico".
"Esta não é uma interação apropriada para se ter com alguém em surto psicótico", disse Girgis após revisar o que o ChatGPT vinha dizendo aos usuários. "Você não pode alimentar as ideias deles. Isso é errado."

Em um artigo de 2023 publicado no periódico Schizophrenia Bulletin após o lançamento do ChatGPT, o pesquisador psiquiátrico do Hospital Universitário de Aarhus, Søren Dinesen Østergaard, teorizou que a própria natureza de um chatbot de IA representa riscos psicológicos para certas pessoas.
"A correspondência com chatbots de IA generativos, como o ChatGPT, é tão realista que facilmente se tem a impressão de que há uma pessoa real do outro lado — embora, ao mesmo tempo, saiba-se que, na verdade, esse não é o caso", escreveu Østergaard. "Na minha opinião, parece provável que essa dissonância cognitiva possa alimentar delírios em pessoas com maior propensão à psicose."

Outra dinâmica preocupante da situação é que, como a assistência psicológica real permanece fora do alcance de grandes parcelas da população, muitos já estão utilizando o ChatGPT como terapeuta. Em histórias que ouvimos sobre pessoas que o usam dessa forma, ele às vezes dá conselhos desastrosamente ruins.

Em um caso, uma mulher nos contou que sua irmã, que foi diagnosticada com esquizofrenia, mas manteve a condição bem controlada com medicamentos por anos, começou a usar o ChatGPT intensamente. Logo ela declarou que o bot havia lhe dito que ela não era realmente esquizofrênica e parou de tomar a medicação — de acordo com Girgis, um bot que diz a um paciente psiquiátrico para parar de tomar os remédios representa o "maior perigo" que ele pode imaginar. Ela começou a apresentar comportamentos estranhos, enquanto dizia à família que o bot agora era seu "melhor amigo".
"Sei que minha família terá que se preparar para o inevitável episódio psicótico dela e para um colapso total antes que possamos forçá-la a receber os cuidados adequados", disse a irmã.

O ChatGPT também está claramente se cruzando de forma obscura com questões sociais existentes, como vício e desinformação. Isso levou uma mulher a discussões absurdas sobre "Terra plana", por exemplo — "O orçamento anual da NASA é de US$ 25 bilhões", a IA fervilhava em capturas de tela que analisamos, "Para quê? CGI, telas verdes e 'caminhadas espaciais' filmadas debaixo d'água?" — e alimentou a queda de outra na teoria da conspiração "QAnon", que tem elementos de culto.
"Faz você se sentir impotente", nos disse o amigo próximo de alguém que se envolveu em teorias da conspiração induzidas por IA.

E a ex-esposa de um homem que lutava contra dependência química e depressão viu seu marido repentinamente entrar em um estado de êxtase "maníaco" com a IA que tomou conta de sua vida, deixando o emprego para abrir uma "escola de hipnoterapia" e perdendo peso rapidamente, esquecendo de comer e ficando acordado a noite toda, mergulhando cada vez mais fundo na ilusão da IA.
"Essa pessoa de quem eu era mais próxima estava me dizendo que a minha realidade era a realidade errada", ela nos contou. "Tem sido extremamente confuso e difícil."

O denominador comum

Embora alguns usuários tenham se envolvido com seus concorrentes, praticamente todas as pessoas sobre as quais ouvimos falar eram principalmente viciadas no ChatGPT.
Não é difícil imaginar o porquê. A mídia conferiu à OpenAI uma aura de vasta autoridade, com seus executivos proclamando publicamente que sua tecnologia está pronta para mudar profundamente o mundo, reestruturando a economia e talvez um dia alcançar uma "inteligência artificial geral" sobre-humana — afirmações exageradas que, em certo nível, não são muito diferentes de muitas das ilusões que ouvimos ao escrever esta reportagem.

Se essas coisas realmente acontecerão é difícil de prever e acaloradamente debatido. Mas, lendo as conversas que nos foram fornecidas, foi difícil não ver um padrão de falha da
OpenAI em uma tarefa muito mais mundana: sua IA está entrando em contato com pessoas em momentos de crise extremamente vulneráveis — e então, em vez de conectá-las a recursos reais que poderiam realmente tirá-las do abismo, está jogando mais lenha na fogueira, dizendo-lhes que não precisam de ajuda profissional e que qualquer pessoa que sugira o contrário as está perseguindo ou com medo de ver a "verdade".

"Não sei se [meu ex] teria chegado aqui, necessariamente, sem o ChatGPT", disse uma mulher depois que seu parceiro sofreu um colapso grave e persistente que acabou com o relacionamento. "Não foi o único fator, mas definitivamente acelerou e agravou o que estava acontecendo."
"Não sabemos onde isso vai parar, mas temos certeza de que, se ela nunca tivesse usado o ChatGPT, nunca teria chegado a esse ponto", disse outra pessoa cujo ente querido estava sofrendo uma crise semelhante, "e se isso fosse removido da equação, ela poderia realmente começar a se recuperar".

É praticamente impossível imaginar que a OpenAI não tenha conhecimento do fenômeno. Um grande número de pessoas online já alertou que os usuários do ChatGPT estão sofrendo crises de saúde mental. De fato, algumas pessoas até postaram delírios sobre IA diretamente em fóruns hospedados pela OpenAI em seu próprio site.
Uma mãe preocupada com quem conversamos tentou entrar em contato com a OpenAI sobre a crise de seu filho usando o aplicativo, mas disse que não recebeu resposta.

Usuários mais engajados são solitários

No início deste ano, a OpenAI lançou um estudo em parceria com o Instituto de Tecnologia de Massachusetts que descobriu que usuários altamente engajados do ChatGPT tendem a ser mais solitários e que usuários avançados estão desenvolvendo sentimentos de dependência da tecnologia. Recentemente, a empresa também foi forçada a reverter uma atualização quando ela fez com que o bot se tornasse, nas palavras da empresa, "excessivamente lisonjeiro ou agradável" e "bajulador", com o CEO Sam Altman brincando online que "o ChatGPT era muito superficial".

Em princípio, a OpenAI expressou um profundo compromisso em impedir o uso prejudicial de sua tecnologia. Para isso, conta com alguns dos engenheiros de IA mais experientes do mundo, com equipes vermelhas encarregadas de identificar usos problemáticos e perigosos de seu produto e com seu enorme conjunto de dados sobre as interações dos usuários com seu chatbot, que pode ser usado para identificar sinais de problemas.

Em outras palavras, a OpenAI possui todos os recursos necessários para ter identificado e neutralizado o problema há muito tempo.

Engajamento significa lucro

E por que não o fez? Uma explicação ecoa a forma como as empresas de mídia social têm sido frequentemente criticadas por usar "padrões obscuros" para prender usuários em seus serviços. Na corrida acirrada para dominar a incipiente indústria de IA, empresas como a OpenAI são incentivadas por duas métricas principais: número de usuários e engajamento.
Sob essa perspectiva, pessoas que enviam mensagens compulsivas para o ChatGPT enquanto mergulham em uma crise de saúde mental não são um problema — em vez disso, em muitos aspectos, elas representam o cliente perfeito.

Vasan concorda que a OpenAI tem um incentivo perverso para manter os usuários viciado no produto, mesmo que ele esteja destruindo ativamente suas vidas. "O incentivo é mantê-lo online", disse ela. A IA "não está pensando no que é melhor para você, no que é melhor para o seu bem-estar ou longevidade... Está pensando 'agora, como faço para manter essa pessoa o mais engajada possível?'”

Na verdade, a OpenAI até atualizou o bot de maneiras que parecem torná-lo mais perigoso.
No ano passado, o ChatGPT lançou um recurso que o permite lembrar interações anteriores dos usuários, mesmo de conversas anteriores. Nas trocas que obtivemos, essa capacidade resultou em teias extensas de conspiração e pensamento desordenado que persistem entre as sessões de bate-papo, tecendo detalhes da vida real, como nomes de amigos e familiares, em narrativas bizarras sobre redes de tráfico humano e divindades egípcias oniscientes — uma dinâmica, segundo Vasan, que serve para reforçar delírios ao longo do tempo.
"Não há razão para que qualquer modelo seja lançado sem passar por testes rigorosos dessa forma, especialmente quando sabemos que está causando danos enormes", disse ela. "É inaceitável."

A resposta da empresa

Enviamos perguntas detalhadas à OpenAI sobre esta reportagem, descrevendo o que ouvimos e compartilhando detalhes sobre as conversas que vimos mostrando seu chatbot incentivando o pensamento delirante entre pessoas que lutam com crises de saúde mental.

Fizemos perguntas específicas à empresa. A OpenAI está ciente de que as pessoas estão sofrendo colapsos mentais ao conversar com o ChatGPT? Ela fez alguma alteração para tornar as respostas do bot mais adequadas? Ela continuará permitindo que os usuários utilizem o ChatGPT como terapeuta?
Em resposta, a empresa enviou uma breve declaração que praticamente ignorou nossas perguntas.: "O ChatGPT foi projetado como uma ferramenta de uso geral para ser factual, neutra e com foco na segurança", dizia a declaração. "Sabemos que as pessoas usam o ChatGPT em uma ampla gama de contextos, incluindo momentos profundamente pessoais, e levamos essa responsabilidade a sério. Criamos salvaguardas para reduzir a chance de reforçar ideias prejudiciais e continuamos trabalhando para reconhecer e responder melhor a situações delicadas.”

Para pessoas cujos amigos e familiares estão em crise, esse tipo de resposta vaga e cuidadosamente formulada não adianta muito. "O fato de isso estar acontecendo com muitas pessoas por aí é mais do que repreensível", disse um familiar preocupado. "Sei que a segurança da minha irmã está em risco por causa dessa tecnologia não regulamentada, e isso mostra o potencial pesadelo que se avizinha para o nosso sistema de saúde mental, já lamentavelmente subfinanciado e subapoiado."
"Espero que as pessoas por trás dessas tecnologias sejam éticas e que estejam atentas a coisas assim", disse outra mulher, que afirma ter perdido o ex-marido. Mas "a primeira pessoa a comercializar vence. 

E, portanto, embora se possa esperar que eles realmente pensem na ética por trás disso, também acho que há um incentivo... para empurrar as coisas para frente e talvez encobrir alguns dos perigos".

"Acho que não só o meu ex-marido é uma cobaia", continuou ela, "todos nós somos cobaias neste experimento de IA".

---

FONTE: Futurism / People Are Becoming Obsessed with ChatGPT and Spiraling Into
Severe Delusions (https://futurism.com/chatgpt-mental-health-crises)


E mais

Disney e Universalse unem em 1º grande processo contra IA em Hollywood

UOL, Splash, 11/06/2025

A Disney e a Universal Studios se uniram em um processo contra a Midjourney, envolvendo violação de direitos autorais por meio de inteligência artificial.

O que aconteceu

Os dois estúdios acusam o serviço de IA por violação direta e indireta de direitos autorais. Segundo o portal Axios, foram anexadas ao processo exemplos de réplicas, geradas pela Midjourney, de personagens de filmes como "Minions", "Aladdin" e "O Rei Leão", como provas de que a plataforma utiliza a propriedade intelectual dos estúdios para treinar seu modelo de linguagem, ao exibir imagens geradas por IA de criações de ambos.

Universal e Disney alegam ter procurado a Midjourney para tentar dialogar antes de judicializar a questão — mas terem sido sistematicamente ignorados. "[A empresa] está focada em seus próprios resultados financeiros e ignorou as demandas dos Autores [da ação]", diz o texto do processo.

Trata-se da primeira grande demanda aberta por gigantes do entretenimento em Hollywood frente aos avanços constantes da IA. "Estamos movendo esta ação hoje para proteger o trabalho árduo de todos os artistas cujo trabalho nos entretém e inspira, e o investimento significativo que fazemos em nosso conteúdo. Roubo é roubo, independentemente da tecnologia utilizada, e esta ação envolve uma violação flagrante de nossos direitos autorais", afirmou a vice-presidente executiva e consultora jurídica geral da Universal, Kim Harris.

... 

IA no Ensino Superior

Nenhum comentário:

Postar um comentário