Por John Park, especialista em inteligência artificial e Founding Member of Technical Staff da AGI Inc.As recentes advertências de pesquisadores que deixaram empresas como Anthropic e OpenAI reacenderam uma questão que há algum tempo acompanha o desenvolvimento da inteligência artificial: quão perigosa a IA avançada pode se tornar?Esses alertas devem ser levados a sério. A própria Anthropic, por exemplo, desenvolveu políticas específicas para lidar com riscos catastróficos associados a modelos cada vez mais avançados. A discussão sobre segurança não é hipotética nem deve ser tratada como uma simples disputa de narrativas entre empresas de tecnologia.Mas existe outra pergunta que também merece atenção: quando uma empresa afirma que sua tecnologia é extraordinariamente poderosa, transformadora e potencialmente perigosa, o que essa mensagem comunica a investidores e formuladores de políticas públicas?Anthropic e OpenAI deram passos formais em direção a possíveis ofertas públicas de ações. A Anthropic, por exemplo, pode começar a apresentar sua proposta a investidores já em outubro, enquanto investidores discutem uma possível avaliação de até US$ 2 trilhões.Minha preocupação aqui não é questionar se Anthropic ou OpenAI merecem suas respectivas avaliações. É reconhecer que existe uma conexão natural entre a maneira como as empresas de IA de fronteira descrevem suas tecnologias e o valor econômico que o mercado pode atribuir a elas.Considere a narrativa criada quando uma empresa enfatiza que seus modelos não são apenas poderosos, mas poderosos o suficiente para transformar a sociedade e, ao mesmo tempo, gerar riscos sem precedentes.A primeira mensagem é que a tecnologia é extraordinariamente capaz. A segunda é que seu impacto potencial pode ser extraordinariamente grande.E a terceira, que pode surgir naturalmente na cabeça dos investidores, é que a empresa responsável por desenvolver essa tecnologia pode capturar um valor econômico extraordinário.Não estou afirmando que isso seja necessariamente uma estratégia deliberada para inflar avaliações. Estou dizendo que essas ideias se reforçam mutuamente.Uma empresa não precisa afirmar explicitamente que sua tecnologia justifica determinada avaliação para que os investidores façam essa associação por conta própria.Isso também não significa que os riscos sejam inventados ou exagerados. Uma tecnologia pode, de fato, ser revolucionária e representar riscos reais sem necessariamente gerar lucros proporcionais à sua importância tecnológica.É justamente por isso que precisamos separar três questões diferentes: quão poderosa é uma tecnologia, quão perigosa ela pode ser e quanto valor econômico a empresa que a desenvolve conseguirá capturar.Essas três coisas podem estar relacionadas, mas não são a mesma coisa.Sou favorável a requisitos de segurança para sistemas de IA de alto risco. Se determinados modelos podem causar danos em escala significativa, é razoável exigir avaliações de segurança, transparência e mecanismos de controle.O problema começa quando as regras passam a refletir as estruturas, os recursos financeiros e a infraestrutura das maiores empresas do setor.Uma regulamentação que exige equipes enormes, processos complexos, auditorias caras ou níveis de computação que apenas as maiores empresas conseguem sustentar pode, na prática, criar barreiras à entrada — mesmo que essa não tenha sido sua intenção original.A regulação deveria ser proporcional ao risco, e não ao tamanho ou ao poder de mercado da empresa. A experiência recente da Califórnia ajuda a ilustrar esse debate.Em 2024, o estado aprovou o SB 1047, projeto que estabelecia requisitos de segurança para desenvolvedores de alguns dos modelos de IA mais poderosos, incluindo medidas destinadas a prevenir danos catastróficos. O governador Gavin Newsom vetou a proposta, argumentando, entre outros pontos, que ela não levava suficientemente em consideração como e onde os sistemas de IA seriam efetivamente utilizados.Um ano depois, a Califórnia aprovou o SB 53, criando uma estrutura diferente de segurança para desenvolvedores de modelos de fronteira. A legislação estabeleceu requisitos de transparência e práticas de segurança que atingem principalmente os grandes desenvolvedores desse tipo de tecnologia.O debate em torno dessas propostas também mostrou como as próprias empresas de IA participam ativamente da construção das regras que irão governar o setor. A Anthropic, por exemplo, apoiou uma versão modificada do SB 1047, enquanto a OpenAI adotou uma posição diferente e defendeu uma abordagem federal.Isso não prova que as empresas estejam deliberadamente tentando criar barreiras para concorrentes. Mas mostra por que precisamos prestar atenção à relação entre regulamentação e estrutura de mercado.Essa questão é especialmente importante para países que ainda estão construindo suas próprias capacidades de inteligência artificial.Se os padrões globais de segurança forem definidos principalmente pelas maiores empresas americanas de IA, empresas brasileiras poderão ter de arcar com custos regulatórios e técnicos desenhados para organizações que possuem recursos muito maiores.O resultado poderia ser paradoxal: uma regulamentação criada para tornar a IA mais segura acabar dificultando o surgimento de novos competidores e aumentando a dependência de empresas estrangeiras.O objetivo não deveria ser escolher entre segurança e inovação.Deveria ser criar condições para que empresas de diferentes tamanhos possam desenvolver tecnologia com responsabilidade, sem transformar os padrões de segurança em uma vantagem estrutural para quem já domina o mercado.Há uma razão legítima para que empresas como a Anthropic desenvolvam políticas de segurança e para que essas políticas influenciem o debate regulatório.A Anthropic, por exemplo, afirma que sua Responsible Scaling Policy busca estabelecer mecanismos para lidar com riscos associados a modelos cada vez mais avançados e, ao mesmo tempo, servir como referência para padrões da indústria e futuras políticas públicas.Esse tipo de iniciativa pode ser útil. Mas políticas criadas pelas próprias empresas não deveriam ser tratadas como substitutas de supervisão independente.Precisamos de avaliações verificáveis, critérios transparentes e mecanismos de fiscalização capazes de distinguir entre riscos reais e afirmações sobre riscos.Também precisamos evitar um cenário em que as maiores empresas de IA sejam simultaneamente desenvolvedoras da tecnologia, definidoras dos padrões de segurança e principais beneficiárias econômicas desses mesmos padrões.É possível levar a sério os alertas de segurança feitos por pesquisadores e empresas de IA sem aceitar automaticamente todas as implicações econômicas ou regulatórias dessas narrativas.As duas coisas podem ser verdade ao mesmo tempo: a inteligência artificial pode representar riscos genuínos, e as maiores empresas de IA podem ter incentivos econômicos para enfatizar sua importância tecnológica e estratégica.Reconhecer essa possibilidade não significa acusar essas empresas de má-fé. Significa reconhecer que incentivos importam.À medida que os modelos se tornam mais poderosos, a discussão sobre segurança se torna também uma discussão sobre quem terá capacidade de desenvolver, operar e competir com essas tecnologias.A pergunta central, portanto, não deveria ser apenas: “A IA é perigosa demais para ser desenvolvida?” Também precisamos perguntar: “Ela é perigosa demais para que outros possam competir?”A segurança deve proteger a sociedade — e não a posição de mercado das empresas que prometem protegê-la.John Park escreveu o artigo a convite do site. Sua opinião não representa, necessariamente, a opinião do Olhar Digital.O post IAs podem acabar com o mundo? A mensagem que você ainda não entendeu apareceu primeiro em Olhar Digital.