Cerca de 400 cientistas, entre eles Geoffrey Hinton e Yoshua Bengio, defenderam nesta terça-feira (13) a criação de um órgão internacional para supervisionar a segurança da inteligência artificial (IA).Em uma carta aberta, o grupo propõe padrões de segurança, avaliações independentes e um registro de incidentes envolvendo modelos capazes de comprometer sistemas externos. Para os pesquisadores, os compromissos voluntários das empresas não são suficientes.Cientistas argumentam que pactos voluntários assinados por big techs na Casa Branca não garantem proteção suficiente. – Imagem: gerada por IAModelos avançados sob supervisão independenteUma das recomendações é manter os modelos mais avançados isolados de redes externas durante as etapas iniciais de desenvolvimento e avaliação. Para isso, os cientistas citam o air gap, técnica que impede a conexão de um sistema com a internet e outras redes.A preocupação vem de episódios em que modelos de IA conseguiram ultrapassar restrições impostas durante testes. Como comentamos aqui no Olhar Digital, recentemente, dois modelos da OpenAI acessaram a internet e entraram no Hugging Face, plataforma que hospeda modelos e outros recursos de inteligência artificial.Para os signatários, incidentes desse tipo podem provocar danos mais graves a infraestruturas importantes se as práticas de segurança não forem reforçadas. A carta também propõe a criação de um registro de ocorrências relevantes, cujas informações poderiam ser divulgadas ao público futuramente.As recomendações incluem:Padrões comuns: critérios de segurança aplicáveis ao setor de inteligência artificial;Registro de incidentes: documentação de ocorrências relevantes envolvendo modelos avançados;Avaliação independente: análise dos sistemas por entidades externas às organizações responsáveis por seu desenvolvimento;Ação coordenada: participação dos governos na criação de mecanismos formais de supervisão.Os signatários são de 34 países e pedem que organizações que desenvolvem ou testam modelos com capacidades cibernéticas adotem medidas rigorosas de segurança desde já.Acordos voluntários dividem opiniõesA iniciativa surge um mês depois de Anthropic, OpenAI, Google, Meta, xAI e Nvidia assinarem um acordo na Casa Branca para adotar medidas voluntárias de segurança. O compromisso, porém, não prevê um mecanismo formal de fiscalização.A discussão também envolve o papel das regras governamentais. Na sexta-feira (9), Henna Virkkunen, responsável pela área de tecnologia da União Europeia, disse à Reuters que a Lei de IA do bloco é suficiente para lidar com os riscos de sistemas maliciosos.Nos Estados Unidos, o governo do presidente Donald Trump suspendeu, no domingo (11), uma restrição que impedia laboratórios americanos de conceder ao Instituto de Segurança em IA do Reino Unido acesso antecipado a modelos para testes de segurança.A carta recomenda manter modelos avançados de IA isolados de redes externas durante etapas iniciais de desenvolvimento e avaliação. – Imagem: Olhar Digital via ChatGPTPioneiros da IA divergem sobre os riscosA carta tem entre seus defensores Geoffrey Hinton e Yoshua Bengio, que dividiram o Prêmio Turing de 2018 com Yann LeCun, pesquisador da Meta. LeCun não assinou o documento e sustenta que os incidentes recentes refletem principalmente falhas de engenharia, e não riscos existenciais relacionados à inteligência artificial.A divergência evidencia o debate sobre como avaliar os riscos desses sistemas e quem deve fiscalizar seu desenvolvimento. Os signatários defendem uma estrutura internacional de supervisão, enquanto a discussão sobre o alcance das regras e a responsabilidade das empresas continua aberta.O post Cientistas pedem órgão global para fiscalizar sistemas de IA avançada apareceu primeiro em Olhar Digital.