A Anthropic diz ter bloqueado cientistas que usavam seus modelos de IA em pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas. A empresa não conseguiu determinar se os trabalhos tinham finalidade legítima ou maliciosa, mas decidiu interrompê-los diante do risco.Um dos casos envolveu um pesquisador que pediu ajuda para modificar o vírus chikungunya e torná-lo mais nocivo. A Anthropic identificou que a pesquisa seria realizada em um instituto militar, o que aumentou a preocupação com o possível uso dos resultados.A mesma tecnologia que promete acelerar a criação de vacinas pode ser explorada de forma velada para criar patógenos perigosos. – Imagem: Samuel Boivin/ShutterstockO jogo duplo da pesquisa biológicaO problema para a Anthropic está em distinguir uma pesquisa legítima de uma possível tentativa de causar danos. Estudos biológicos podem contribuir para vacinas e outros avanços médicos, mas conhecimentos semelhantes também podem ser usados para tornar agentes infecciosos mais perigosos.Você não está vendo alguém dizer, de uma forma típica de história em quadrinhos: ‘Quero construir uma arma biológica para matar todo mundo’. É uma situação incrivelmente complexa.”Jacob Klein, responsável pela inteligência de ameaças da Anthropic, ao The New York Times.Diante dessa incerteza, a empresa decidiu agir com cautela. Os pesquisadores também contornaram controles destinados a impedir o acesso de usuários de regiões bloqueadas e tentaram ocultar a finalidade das pesquisas para escapar das salvaguardas. As contas associadas foram banidas.Entre os principais pontos identificados pela empresa estão:tentativas de contornar os controles de acesso;ocultação da finalidade das pesquisas;dificuldade para determinar a intenção dos pesquisadores;maior capacidade dos modelos atuais para pesquisas científicas complexas;reforço das restrições para consultas de biologia de uso duplo.O caso do chikungunyaEm maio, um cientista pediu ao Claude ajuda para elaborar uma solicitação de financiamento para uma pesquisa com o vírus chikungunya, transmitido por mosquitos e capaz de provocar meses de dor intensa e outros sintomas.O projeto pretendia introduzir mutações no vírus para torná-lo mais nocivo durante infecções repetidas em animais vivos. Esse tipo de estudo, conhecido como ganho de função, pode ter aplicações legítimas, inclusive no desenvolvimento de vacinas. Também pode resultar em versões mais perigosas de vírus.O fato de o trabalho estar previsto para um instituto de pesquisa militar pesou na avaliação da Anthropic.“O que não sabemos é se a pesquisa pretendia ser transformada em arma”, disse Klein. “Mas uma instituição militar realizando pesquisa de ganho de função é preocupante.”O caso mais grave envolveu tentativas de usar o chatbot Claude para gerar mutações nocivas no vírus chikungunya. – Imagem: martinatobolova/iStockQuando a capacidade da IA vira riscoAvaliações feitas no ano passado indicaram que os modelos antigos da Anthropic ainda não conseguiam oferecer ajuda significativa em pesquisas biológicas perigosas. Os sistemas atuais, segundo a empresa, são mais capazes de realizar pesquisas científicas complexas, o que levou à adoção de salvaguardas mais rígidas.Leia mais:Hackers roubam tokens de usuários do Claude e usam contas sem autorizaçãoAnthropic revela mais um incidente de segurança envolvendo o ClaudeAnthropic cede à pressão e libera IA Mythos 5 para testes de cibersegurança por órgãos europeusSusan Monarez, microbiologista e especialista em saúde pública, afirmou que os casos fornecem evidências concretas de tentativas de usar IA de forma clandestina para aumentar as chances de desenvolver agentes biológicos capazes de causar danos significativos.Ela também destacou que as mesmas capacidades podem acelerar descobertas médicas. O desafio é identificar quando uma investigação aparentemente legítima pode esconder uma finalidade prejudicial.A Anthropic também relatou outros usos indevidos do Claude, envolvendo vigilância, propaganda e desenvolvimento de armas convencionais. Os casos biológicos, porém, estão entre os mais preocupantes pela dificuldade de separar uma pesquisa científica legítima de uma possível preparação para causar danos.A empresa decidiu bloquear os casos identificados mesmo sem comprovar que os pesquisadores pretendiam criar armas. O episódio mostra como modelos de IA mais capazes também tornam mais difícil avaliar os riscos escondidos por trás de pesquisas que, à primeira vista, podem parecer legítimas.O post Anthropic identifica tentativas de usar IA em pesquisas biológicas perigosas apareceu primeiro em Olhar Digital.