A Anthropic e a OpenAI buscaram um controle significativo sobre o que avaliadores externos podem publicar sobre suas inteligências artificiais. As empresas estariam preocupadas com a possibilidade de as descobertas revelarem segredos comerciais, segundo duas pessoas familiarizadas com as discussões.O CEO da Anthropic, Dario Amodei, afirmou no mês passado que os avaliadores externos deveriam ter o direito de publicar as conclusões “sem controle editorial”. A OpenAI concordou dias depois, afirmando que os avaliadores deveriam ter “independência editorial”.As empresas de IA temem que funcionários avaliadores que trabalham dentro das empresas possam levar informações confidenciais para a concorrência, de acordo com fontes que pediram para não serem identificadas, pois o assunto é privado. Leia Mais OpenAI flagra modelo de IA tomando ações não autorizadas - mais uma vez Executivos de tecnologia se reúnem com Trump para debater IA OpenAI se compromete a divulgar comportamentos falhos da IA regularmente Entre as medidas em discussão para evitar vazamentos de propriedade intelectual, estão a observação, por parte dos funcionários, das equipes alocadas em campo durante o trabalho e a proibição de que avaliadores alocados em um laboratório trabalhem simultaneamente em outro.Mas o que os laboratórios consideram propriedade intelectual crucial pode se sobrepor a informações relevantes para avaliar o risco de um modelo. Isso levaria a discussões e redações, disse uma pessoa com conhecimento das negociações.Especialistas afirmaram que a independência dos avaliadores é uma preocupação, visto que a Anthropic e a OpenAI escolhem quem realizará essas avaliações.As discussões destacam a tensão entre a necessidade de conscientizar o mundo sobre a inteligência artificial potencialmente perigosa e as exigências de proteção de segredos comerciais por parte de empresas de IA que buscam avaliações trilionárias em suas ofertas públicas iniciais (IPOs).O resultado das negociações ajudará a determinar como o mundo analisa uma tecnologia que, segundo alguns de seus criadores, pode estar avançando além da capacidade da humanidade de gerenciar.Sem padrões e legislação para avaliações independentes, alguns especialistas afirmaram que as empresas que desenvolvem os modelos de IA mais poderosos poderiam ditar como seus sistemas são examinados, deixando os avaliadores à mercê dos próprios laboratórios.Desenvolvedoras negociam direitos de publicaçãoA natureza das discussões mudou rapidamente.As duas pessoas com conhecimento do assunto disseram que, até 5 de outubro, a Anthropic e a OpenAI buscavam um controle editorial rigoroso sobre o que os avaliadores podiam publicar. Em 8 de outubro, as conversas entre a Anthropic e alguns avaliadores pareciam ter evoluído, segundo uma pessoa familiarizada com o assunto.Em resposta a perguntas da Reuters, a Anthropic afirmou que buscar um controle significativo sobre as publicações de avaliadores internos não caracteriza com precisão todas as suas discussões com avaliadores independentes.A empresa responsável pelo Claude afirmou que, em conversas recentes com avaliadores com quem já trabalhou, deixou claro que os revisores externos controlam seus métodos, critérios de avaliação, conclusões e o que será publicado.Para novas empresas avaliadoras, a Anthropic afirmou que se reserva o direito de comentar e aprovar os relatórios à medida que os avaliadores aprendem como seus modelos funcionam e estabelecem uma relação de trabalho.A OpenAI, por sua vez, afirmou que não estava buscando direitos de aprovação sobre o texto integral dos relatórios produzidos pelos avaliadores. A empresa declarou que sua prática padrão é redigir informações confidenciais e que os avaliadores podem divulgar se redigiram informações importantes.A desenvolvedora criadora do ChatGPT afirmou no mês passado que os laboratórios de IA e os avaliadores devem concordar com o escopo e o acesso antes dos testes, divulgar os métodos e conflitos de interesse e permitir que os avaliadores controlem suas conclusões, ao mesmo tempo que permitem que os laboratórios protejam as informações sensíveis.De acordo com um contrato visto pela Reuters, a linguagem que os laboratórios de IA já utilizam em certos contratos com empresas que avaliam seus modelos pode impedir que elas publiquem informações confidenciais sem consentimento.É hora de avaliar relação entre risco e retorno de IA, diz especialista | MONEY NEWSPromessa de independênciaA Anthropic anunciou no mês passado que a Faculty, empresa especializada em IA da Accenture, seria sua primeira avaliadora integrada, mas ressaltou que os detalhes sobre o que os avaliadores poderão acessar e como apresentarão os resultados ainda estão sendo definidos.“Os avaliadores só são úteis se as pessoas puderem confiar no que eles relatam, portanto, independência e transparência são fundamentais”, disse Marc Warner, CEO da Faculty, à Reuters.As empresas de tecnologia normalmente proíbem as empresas com as quais trabalham de compartilhar essas informações com terceiros sem o seu consentimento.Mas especialistas afirmaram que os riscos são maiores com a IA, uma tecnologia que, segundo seus desenvolvedores, terá grandes implicações para os humanos.Os laboratórios poderiam controlar o acesso de que os avaliadores dependem na ausência de padrões, dando-lhes poder sobre o que é relatado, disse à Reuters Rumman Chowdhury, ex-enviado científico dos EUA para IA durante o governo Biden e CEO da Humane Intelligence PBC.“Os avaliadores têm esse acesso privilegiado, mas, explícita ou implicitamente, sabem que isso tem um preço”, disse Chowdhury.A avaliação independente foi uma das quatro medidas de segurança presentes no Acordo da Casa Branca sobre Superinteligência, de apenas uma página, assinado pelo presidente Donald Trump e pelos principais executivos de IA no final do mês passado. Mas o acordo, que Trump classificou como “moralmente vinculativo”, não especificou como essas avaliações deveriam ser conduzidas.Os avaliadores também divulgaram suas próprias condições no mês passado, em uma carta pública assinada por mais de 200 pesquisadores, incluindo Geoffrey Hinton, um dos pioneiros da IA. A carta exige controle independente das descobertas, amplo acesso aos laboratórios de IA e proteção contra represálias.Acesso restritoA OpenAI ocultou informações não públicas de um relatório da Model Evaluation and Threat Research (METR) e da Redwood Research sobre o incidente da Hugging Face. Na ocasião, agentes de IA da desenvolvedora escaparam de um ambiente de teste isolado, acessaram a internet e invadiram os sistemas da Hugging Face.A investigação das organizações sem fins lucrativos de segurança da IA, inicialmente planejada para dois dias na OpenAI, estendeu-se por seis dias ao longo de três visitas. Um conjunto mais completo de transcrições chegou apenas na última visita, depois que os pesquisadores identificaram lacunas nos dados.A METR e a Redwood afirmaram que editaram a estrutura, a ênfase, a clareza e o tom do relatório com base no feedback da OpenAI, mas que nada mais importante para suas conclusões foi removido.Elas defenderam suas descobertas e elogiaram o acesso que a OpenAI acabou concedendo, mas disseram que o risco de dissuadir desenvolvedores de contratar avaliadores externos após incidentes graves influenciou suas decisões na elaboração, edição e redação do relatório.Veja os estados que mais usam ChatGPT no Brasil, segundo a OpenAI