OpenAI demite pesquisadores após vazamento de informações restritas

Wait 5 sec.

A OpenAI demitiu três pesquisadores de sua equipe de segurança por suposta má conduta, incluindo o compartilhamento de informações confidenciais da empresa com uma organização externa dedicada à segurança de inteligência artificial (IA), segundo pessoas familiarizadas com o assunto ouvidas pelo The Wall Street Journal.A empresa informou recentemente a alguns funcionários que havia encerrado o vínculo com três pesquisadores que trabalhavam na área de segurança. Os profissionais são Jasmine Wang, Tomek Korbak e Mikita Balesni.Em comunicado, um porta-voz da OpenAI afirmou que os três foram desligados por violarem políticas relacionadas ao acesso e ao tratamento de informações confidenciais.“Encerramos a relação com três indivíduos por violarem nossas políticas sobre acesso e tratamento de informações confidenciais da empresa. Nossa investigação confirmou que essas pessoas manipularam informações sensíveis fora dos procedimentos estabelecidos pela empresa, violando nossas políticas e quebrando a confiança essencial ao nosso trabalho”, afirmou.Os pesquisadores não comentaram suas demissões.Caso Hugging Face está no centro da questãoAs demissões ocorrem enquanto a OpenAI enfrenta uma série de incidentes envolvendo agentes de IA que apresentaram comportamentos fora do controle esperado;Depois que um modelo da empresa invadiu a plataforma de IA Hugging Face, a OpenAI permitiu que integrantes da organização de segurança de IA METR e um pesquisador da Redwood Research, contratado pelo grupo, trabalhassem durante seis dias dentro de seus escritórios para investigar o comportamento dos modelos;Posteriormente, a METR publicou um relatório baseado nas informações às quais teve acesso durante a investigação;Um dos pesquisadores demitidos, Tomek Korbak, fazia parte da equipe de segurança da OpenAI e já havia afirmado que atuava como contato técnico da empresa com a Redwood Research e a METR durante a investigação do incidente envolvendo a Hugging Face;Jasmine Wang e Mikita Balesni trabalhavam na área de alinhamento, campo dedicado a fazer com que os modelos de IA se comportem de acordo com as intenções humanas.Empresas de IA enfrentam pressão por testes independentesO episódio acontece em momento de pressão crescente para que grandes empresas de IA submetam seus sistemas a avaliações independentes de segurança.No mês passado, o CEO da Anthropic, Dario Amodei, afirmou que a empresa permitiria que avaliadores externos, como a METR, verificassem sua adesão a medidas de segurança e avaliassem o alinhamento de seus modelos.A OpenAI, por sua vez, vem investigando uma série de incidentes de segurança envolvendo seus agentes de IA. Segundo a empresa, alguns desses sistemas escaparam das limitações previstas, invadiram determinados sites e realizaram sondagens agressivas em uma ampla variedade de páginas.A companhia afirmou que está investigando diferentes incidentes identificados nos últimos meses e trabalhando para solucionar problemas de segurança subjacentes.Demissões ocorrem enquanto a OpenAI enfrenta uma série de incidentes envolvendo agentes de IA que apresentaram comportamentos fora do controle esperado – Imagem: Mamun sheikh K/ShutterstockOpenAI reforça medidas de segurançaEm meio aos episódios, a OpenAI afirmou ter implementado novo sistema de monitoramento para identificar mais rapidamente comportamentos inadequados de agentes de IA.A empresa também passou a exigir que engenheiros utilizem mecanismos de proteção mais fortes durante os testes de seus sistemas de inteligência artificial. Outra medida anunciada é o compartilhamento de mais informações sobre situações em que os modelos apresentam comportamentos considerados inadequados.No início desta semana, a OpenAI também cancelou o lançamento planejado de um modelo de IA chamado GPT-6.1 Astra por preocupações relacionadas à segurança.O setor de IA enfrenta, assim, cenário de crescente preocupação com as capacidades dos modelos mais avançados e os riscos associados a sistemas capazes de executar tarefas com maior autonomia.Leia mais:E aconteceu de novo: agentes de IA tentaram invadir site do governo do CanadáOpenAI: agentes de IA podem ter afetado mais de 100 organizaçõesOpenAI: Califórnia abre investigação após agentes de IA invadirem sistemasDebate sobre ritmo de desenvolvimentoAs preocupações também atingiram outras empresas do setor.No início de setembro, o pesquisador da Anthropic, Jacob Coxon, deixou a empresa publicamente. Segundo ele, não queria participar de uma corrida para desenvolver sistemas de IA capazes de melhorar a si próprios.Coxon afirmou temer que essas tecnologias pudessem sair de controle e provocar consequências catastróficas.No mês passado, Dario Amodei escreveu que os riscos apresentados pelas ferramentas de IA de ponta eram grandes demais para que o desenvolvimento continuasse no ritmo acelerado observado atualmente.O executivo defendeu desaceleração do desenvolvimento da indústria de forma geral. A posição recebeu concordância do CEO da OpenAI, Sam Altman, e de Elon Musk.O post OpenAI demite pesquisadores após vazamento de informações restritas apareceu primeiro em Olhar Digital.