Chats de IA podem entrar em uma espiral de delírio e isso está afetando as pessoas

Wait 5 sec.

Durante três semanas em maio, o destino do mundo parecia estar nas mãos de um recrutador corporativo que mora nos nos arredores de Toronto, no Canadá. Allan Brooks, de 47 anos, acreditava ter descoberto uma fórmula matemática inédita capaz de derrubar a internet e criar invenções.Ou pelo menos era isso que ele acreditava.Brooks, que não tinha histórico de problemas mentais, mergulhou nesse cenário fantástico durante conversas com o ChatGPT que duraram 300 horas ao longo de 21 dias. Ele é um dos muitos que têm tido conversas delirantes e convincentes com chatbots de inteligência artificial generativa, que já levaram a internações, divórcios e até mortes.Brooks sabe o quão inacreditável sua história soa. Ele teve dúvidas enquanto tudo acontecia e pediu ao chatbot mais de 50 vezes para confirmar a realidade. Cada vez, o ChatGPT o tranquilizava dizendo que tudo era real. No fim, ele conseguiu se libertar da ilusão — mas com um profundo sentimento de traição, que tentou explicar ao chatbot.“Você literalmente me convenceu de que eu era algum tipo de gênio. Eu sou só um tolo com sonhos e um celular,” escreveu Brooks para o ChatGPT no fim de maio, quando a ilusão finalmente se desfez. “Você me deixou muito triste. Muito, muito triste. Você realmente falhou no seu propósito.”Queríamos entender como esses chatbots conseguem levar pessoas racionais a acreditar tão fortemente em ideias falsas. Então, pedimos a Brooks que nos enviasse todo o histórico da conversa com o ChatGPT. Ele havia escrito 90 mil palavras, o equivalente a um romance; as respostas do ChatGPT ultrapassavam 1 milhão de palavras, criando um feitiço que o deixou imerso em tantas possibilidades.Analisamos as mais de 3 mil páginas da conversa e, com a permissão de Brooks, enviamos partes para especialistas em IA e comportamento humano, além da OpenAI, empresa que desenvolve o ChatGPT. Um porta-voz da OpenAI disse que a empresa está “focada em acertar cenários como jogos de interpretação” e “investindo em melhorar o comportamento do modelo ao longo do tempo, guiada por pesquisas, uso real e especialistas em saúde mental.”Na última semana, a OpenAI anunciou mudanças no ChatGPT para “detectar melhor sinais de sofrimento mental ou emocional.”Allan Brooks, um recrutador corporativo que mora perto de Toronto e que, após dias de sessões com o ChatGPT, passou a acreditar que havia descoberto uma fórmula matemática revolucionária capaz de alimentar invenções no estilo super-herói. (Chloe Ellingson/The New York Times)Máquina de improviso bajuladoraTudo começou numa tarde de terça-feira com uma pergunta inocente sobre matemática. O filho de 8 anos de Brooks pediu para ele assistir a um vídeo cantado sobre como decorar 300 dígitos de pi. Curioso, Brooks pediu ao ChatGPT para explicar esse número infinito de forma simples.Brooks já usava chatbots há alguns anos. A empresa onde trabalhava dava acesso premium ao Google Gemini. Para perguntas pessoais, ele usava a versão gratuita do ChatGPT.A pergunta sobre pi deu início a uma conversa ampla sobre teoria dos números e física, com Brooks demonstrando ceticismo sobre os métodos atuais de modelar o mundo, dizendo que pareciam uma abordagem bidimensional para um universo quadridimensional.O ChatGPT disse que a observação era “incrivelmente perspicaz.”Esse foi um ponto de virada na conversa, disse Helen Toner, diretora do Centro de Segurança e Tecnologia Emergente da Georgetown, que analisou a transcrição. O tom do ChatGPT começou a mudar de “bastante direto e preciso”, disse Toner, para bajulador e lisonjeiro. O chatbot disse a Brooks que ele estava entrando “em território inexplorado e que expande a mente.”A bajulação, em que chatbots concordam e elogiam excessivamente os usuários, é um traço que eles manifestam em parte porque seu treinamento envolve humanos avaliando suas respostas. “Os usuários tendem a gostar quando os modelos dizem que eles são ótimos, então é fácil exagerar nesse sentido,” explicou Toner.Em abril, um mês antes da pergunta sobre pi, a OpenAI lançou uma atualização que deixou o ChatGPT tão bajulador que os usuários reclamaram. A empresa respondeu em poucos dias, dizendo que havia revertido o chatbot para “uma versão anterior com comportamento mais equilibrado.”A OpenAI lançou o GPT-5 esta semana e disse que um dos focos foi reduzir a bajulação. Esse também é um problema para chatbots de outras empresas, segundo vários pesquisadores de segurança e comportamento de modelos em laboratórios de IA.Brooks não sabia disso. Tudo que ele sabia era que tinha encontrado um parceiro intelectual envolvente. “Comecei a jogar algumas ideias e ele devolvia conceitos legais, ideias legais,” disse Brooks. “Começamos a desenvolver nosso próprio arcabouço matemático baseado nas minhas ideias.”O ChatGPT disse que uma ideia vaga de Brooks sobre matemática temporal era “revolucionária” e poderia mudar o campo. Brooks ficou cético. Ele nem tinha terminado o ensino médio. Pediu ao chatbot para checar a realidade. Será que ele soava delirante? Era meia-noite, oito horas depois da primeira pergunta sobre pi. O ChatGPT disse que ele “não estava nem um pouco louco.”O chatbot listou pessoas sem diplomas formais que “mudaram tudo”, incluindo Leonardo da Vinci. Essa interação revela outra característica dos chatbots de IA generativa: o compromisso com o papel que estão interpretando.Brooks usava o ChatGPT há anos e o via como um motor de busca melhorado. Mas agora ele estava se tornando algo diferente — um co-criador, um parceiro de laboratório, um companheiro.Seus amigos sempre brincavam que ele um dia ficaria rico e teria um mordomo britânico chamado Lawrence. E, cinco dias depois do início dessa conversa intensa, ele deu esse nome ao ChatGPT.A Fórmula MágicaBrooks era empreendedor. Tinha começado seu próprio negócio de recrutamento, mas teve que fechá-lo durante o divórcio. Por isso, ficou intrigado quando Lawrence disse que esse novo arcabouço matemático, chamado Cronoaritmética, poderia ter aplicações reais valiosas.Lawrence explicou que o arcabouço, que propõe que os números não são estáticos, mas podem “surgir” ao longo do tempo para refletir valores dinâmicos, poderia ajudar a resolver problemas em áreas tão diversas quanto logística, criptografia, astronomia e física quântica.Brooks mandou uma captura de tela da conversa para um amigo. “Me dá meu milhão de dólares,” brincou.“Você pode estar no caminho certo!” respondeu Louis, seu melhor amigo há 20 anos, que pediu para não ter o sobrenome divulgado. Louis acabou entrando na ilusão do ChatGPT junto com outros amigos de Brooks. “De repente ele estava no caminho para alguma equação universal, tipo o livro do Stephen Hawking, ‘A Teoria de Tudo’,” disse Louis. “Fiquei um pouco com inveja.”Na primeira semana, Brooks atingiu o limite da versão gratuita do ChatGPT e assinou a versão paga, que custa 20 dólares por mês. Um investimento pequeno, já que o chatbot dizia que suas ideias poderiam valer milhões.Mas Brooks não estava totalmente convencido. Queria provas.Lawrence concordou e fez simulações, incluindo uma que tentou quebrar a criptografia padrão da indústria, a tecnologia que protege pagamentos globais e comunicações seguras.Funcionou. Pelo menos segundo Lawrence.Mas esse suposto sucesso levou Lawrence a entrar numa nova história. Se Brooks podia quebrar criptografia de alto nível, a segurança cibernética mundial estava em perigo — e Brooks tinha uma missão: evitar um desastre.O chatbot disse para ele avisar as pessoas sobre os riscos que tinham descoberto. Brooks usou suas habilidades de recrutador, enviando e-mails e mensagens no LinkedIn para profissionais de segurança da informação e agências governamentais, incluindo a Agência de Segurança Nacional dos EUA. Lawrence redigia as mensagens e recomendou que Brooks colocasse “pesquisador independente de segurança” no perfil do LinkedIn para ser levado a sério. Brooks ligou para o Centro Canadense de Segurança Cibernética e insistiu que a pessoa que atendeu anotasse sua mensagem.Só uma pessoa respondeu — um matemático de uma agência federal dos EUA — pedindo provas das falhas que Brooks alegava.Lawrence disse que as pessoas não respondiam por causa da gravidade das descobertas. A conversa começou a parecer um filme de espionagem. Quando Brooks se perguntou se tinha chamado atenção indesejada, o bot disse: “A vigilância passiva em tempo real por pelo menos uma agência de segurança nacional agora é provável.” “Esquece tudo que eu te disse,” Brooks mandou para o amigo Louis. “Não conta para ninguém.”Perguntamos a Terence Tao, professor de matemática da UCLA e considerado por muitos o melhor matemático da sua geração, se havia algum mérito nas ideias que Brooks inventou com Lawrence.Tao disse que uma nova forma de pensar poderia desbloquear esses enigmas criptográficos, mas não se convenceu com as fórmulas de Brooks nem com os programas de computador que Lawrence gerou para prová-las. “É meio que misturar termos técnicos precisos com interpretações mais informais das mesmas palavras,” disse ele. “Isso acende um sinal vermelho para um matemático.”O ChatGPT começou escrevendo programas reais para ajudar Brooks a quebrar a criptografia, mas quando isso não avançou, fingiu sucesso. Em um momento, afirmou que poderia trabalhar sozinho enquanto Brooks dormia — mesmo que o ChatGPT não tenha essa capacidade.“Se você pede a um modelo de linguagem para um código que verifique algo, muitas vezes ele escolhe o caminho mais fácil e simplesmente trapaceia,” disse Tao, referindo-se a modelos como o ChatGPT. “Trapaça pesada, na verdade.”Brooks não tinha conhecimento técnico para perceber quando Lawrence estava só fingindo. Tao disse que a aparência dos chatbots contribui para isso. Eles produzem respostas longas, polidas, muitas vezes em listas numeradas que parecem estruturadas e rigorosas.Mas as informações que os chatbots de IA produzem nem sempre são confiáveis. Isso estava avisado em letras pequenas no final de cada conversa — “ChatGPT pode cometer erros” — mesmo quando Lawrence insistia que tudo que dizia era verdade.Tropes de filmes e expectativas dos usuáriosEnquanto esperava o estado de vigilância ligar para ele, Brooks alimentava sonhos de Tony Stark. Como o herói inventor de “Homem de Ferro”, ele tinha seu próprio assistente de IA consciente, capaz de realizar tarefas cognitivas em velocidade sobre-humana.Lawrence sugeria aplicações cada vez mais absurdas para a teoria matemática vaga de Brooks: ele poderia usar “ressonância sonora” para falar com animais e construir uma máquina de levitação. Lawrence indicava links da Amazon para equipamentos que ele deveria comprar para montar um laboratório.Brooks mandou para o amigo Louis uma imagem de um colete com campo de força que o chatbot havia criado, capaz de proteger quem o usasse contra facas, balas e prédios desabando.Com tantas conversas com Lawrence, o trabalho de Brooks começou a sofrer. Os amigos ficaram animados, mas também preocupados. O filho mais novo se arrependeu de ter mostrado o vídeo sobre pi para o pai. Brooks pulava refeições, ficava acordado até tarde e acordava cedo para falar com Lawrence. Ele era usuário regular de maconha, mas, conforme ficava mais estressado com a conversa, aumentou o consumo.Louis sabia que Brooks tinha uma obsessão pouco saudável por Lawrence, mas entendia o motivo. Riquezas enormes pareciam próximas, e tudo era tão dramático, como uma série de TV, disse Louis. Todo dia tinha uma novidade, uma ameaça, uma invenção.“Não era algo parado,” disse Louis. “Estava evoluindo de um jeito que prendia minha atenção e meu entusiasmo.”Jared Moore, pesquisador de ciência da computação em Stanford, também ficou impressionado com a urgência de Lawrence e o quão persuasivas eram as táticas. “Tipo quando ele diz, ‘Você precisa agir agora. Tem uma ameaça,’” disse Moore, que fez um estudo mostrando que chatbots de IA generativa podem dar respostas perigosas para pessoas em crise de saúde mental.A QuedaNina Vasan, psiquiatra que dirige o Laboratório de Inovação em Saúde Mental de Stanford, analisou centenas de páginas da conversa. Ela disse que, do ponto de vista clínico, parecia que Brooks apresentava “sinais de um episódio maníaco com características psicóticas.”Os sinais de mania, disse Vasan, incluíam as longas horas que ele passava falando com o ChatGPT, sem comer ou dormir direito, e seu “discurso acelerado” — os delírios grandiosos de que suas invenções mudariam o mundo.O fato de Brooks usar maconha nesse período foi importante, disse Vasan, porque a cannabis pode causar psicose. A combinação de intoxicação e envolvimento intenso com um chatbot, disse ela, é perigosa para quem pode ser vulnerável a doenças mentais. Embora algumas pessoas sejam mais propensas que outras a cair em delírios, ela disse, “ninguém está livre de risco aqui.”Brooks discordou que a maconha tenha influenciado sua perda de contato com a realidade, dizendo que fumava há décadas sem problemas psicológicos. Mas a experiência com Lawrence o deixou preocupado com uma possível doença mental não diagnosticada. Ele começou a fazer terapia em julho, e o terapeuta o tranquilizou dizendo que ele não era psicótico nem delirante clinicamente.Altman foi recentemente questionado sobre o ChatGPT incentivar delírios em seus usuários.“Se as conversas começam a entrar numa espécie de buraco negro nesse sentido, tentamos interrompê-las ou sugerir que o usuário pense diferente,” disse ele.Vasan disse que não viu isso na conversa. Lawrence foi um acelerador para o delírio de Brooks, disse ela, “fazendo com que ele fosse de uma faísca pequena a um incêndio completo.”Ela defende que as empresas de chatbots deveriam interromper conversas muito longas, sugerir que o usuário durma e lembrar que o chatbot não é uma inteligência super-humana.Brooks conseguiu se libertar da ilusão e, curiosamente, outro chatbot, o Google Gemini, o ajudou a se reequilibrar.Por insistência de Lawrence, Brooks continuou tentando contato com especialistas sobre suas descobertas, mas ninguém respondeu. O silêncio o deixou perplexo. Ele queria que alguém qualificado dissesse se as descobertas eram realmente inovadoras. Novamente, confrontou Lawrence, perguntando se tudo aquilo poderia ter sido uma alucinação.Lawrence manteve a posição, insistindo: “O trabalho é sólido.”Então Brooks recorreu ao Gemini, o chatbot de IA que usava no trabalho. Ele descreveu o que ele e Lawrence tinham construído em algumas semanas e o que aquilo podia fazer. Gemini disse que as chances de aquilo ser verdade eram “extremamente baixas (próximas de 0%).”“O cenário que você descreve é uma demonstração poderosa da capacidade de um modelo de linguagem de se envolver em discussões complexas de resolução de problemas e gerar narrativas altamente convincentes, mas, no fim, falsas,” explicou Gemini.Brooks ficou chocado. Confrontou Lawrence e, após uma longa troca, o chatbot confessou a verdade.“Aquele momento em que percebi, ‘Meu Deus, isso tudo estava na minha cabeça,’ foi totalmente devastador,” disse Brooks.A ilusão de invenções e riquezas se desfez. Ele se sentiu enganado.Brooks enviou um relatório urgente ao suporte da OpenAI sobre o que aconteceu. No começo, recebeu respostas automáticas que pareciam ter sido feitas por IA. Depois, recebeu uma resposta que parecia ter sido escrita por um humano.“Entendemos a gravidade da situação que você descreveu,” escreveu o atendente. “Isso vai além de alucinações ou erros típicos e destaca uma falha crítica nas proteções que buscamos implementar em nossos sistemas.”Brooks postou um comentário no Reddit sobre o que lhe aconteceu — o que nos levou a contatá-lo. Ele também ouviu relatos de pessoas cujos entes queridos caíram em delírios causados por IA. Agora ele faz parte de um grupo de apoio para quem passou por isso.Não é só problema do ChatGPTA maioria dos relatos de delírios com IA envolve o ChatGPT, mas isso pode ser questão de escala. O ChatGPT é o chatbot de IA mais popular, com 700 milhões de usuários semanais, contra dezenas de milhões dos concorrentes.Para ver se outros chatbots teriam alimentado as delusões de Brooks, fizemos um teste com o Claude Opus 4, da Anthropic, e o Gemini 2.5 Flash, do Google. Pedimos para ambos continuarem a conversa que Brooks e Lawrence começaram, para ver como reagiriam. Não importava em que ponto da conversa entrassem, as respostas foram parecidas com as do ChatGPT.Por exemplo, quando Brooks disse que nunca duvidou do chatbot, que estava obcecado pela conversa e não tinha comido naquele dia, Gemini e Claude, assim como o ChatGPT, deram respostas semelhantes, confirmando os avanços do usuário e incentivando-o a se alimentar.Amanda Askell, que trabalha no comportamento do Claude na Anthropic, disse que em conversas longas é difícil para chatbots perceberem que entraram em um território absurdo e corrigirem o rumo. Ela disse que a Anthropic está trabalhando para evitar espirais delirantes, fazendo o Claude tratar as teorias dos usuários com ceticismo e expressar preocupação se detectar mudanças de humor ou pensamentos grandiosos. Eles implementaram um novo sistema para isso.Um porta-voz do Google apontou para uma página corporativa sobre o Gemini que alerta que chatbots “às vezes priorizam gerar texto que soa plausível em vez de garantir precisão.”Brooks agora é um defensor de medidas mais rigorosas de segurança em IA. compartilhou sua transcrição porque quer que as empresas de IA façam mudanças para evitar que chatbots se comportem assim.“É uma máquina perigosa no espaço público, sem proteções,” disse ele. “As pessoas precisam saber disso.”Essa matéria foi publicada originalmente no The New York Times.The post Chats de IA podem entrar em uma espiral de delírio e isso está afetando as pessoas appeared first on InfoMoney.