Durante os últimos anos, empresas de praticamente todos os setores correram para incorporar inteligência artificial aos seus negócios. Primeiro vieram os chatbots e assistentes generativos. Depois, ferramentas de análise, automação de processos e copilotos corporativos. Agora entramos em uma nova fase: a dos agentes de IA capazes não apenas de responder perguntas, mas de tomar decisões e executar ações dentro dos sistemas das organizações.Quanto maior a autonomia concedida à inteligência artificial, porém, maior também será a necessidade de controlar o que ela pode fazer.Essa mudança ajuda a explicar uma projeção apresentada pela NTT DATA: os investimentos relacionados à segurança da inteligência artificial devem crescer de maneira acelerada até 2029, com áreas como governança, observabilidade e cibersegurança se tornando fundamentais para a expansão dessas tecnologias. A categoria conhecida como AI TRiSM — AI Trust, Risk and Security Management, dedicada à gestão de confiança, riscos e segurança da IA, pode movimentar aproximadamente US$ 6,2 bilhões até 2029. Já os investimentos relacionados à observabilidade de IA podem chegar a US$ 3,6 bilhões, aproximadamente triplicando no período.O crescimento revela uma transformação importante. Durante a primeira fase da inteligência artificial generativa, grande parte das empresas estava preocupada em descobrir o que poderia fazer com a tecnologia. Agora surge uma pergunta diferente: como permitir que a IA faça tudo isso sem perder o controle?Essa preocupação aumenta principalmente com a chegada da chamada IA agêntica. Diferentemente de um chatbot tradicional, que recebe uma pergunta e produz uma resposta, um agente pode receber um objetivo e executar diversas etapas para alcançá-lo. Dependendo das permissões concedidas, ele pode consultar bancos de dados, acessar sistemas internos, enviar mensagens, produzir documentos, executar códigos ou iniciar processos corporativos.É justamente nesse ponto que a inteligência artificial deixa de ser apenas uma ferramenta e passa a integrar efetivamente a infraestrutura tecnológica da organização. Imagine um agente de IA autorizado a consultar informações de clientes, acessar sistemas financeiros e realizar determinadas operações. Se esse agente interpretar uma instrução maliciosa, receber dados manipulados ou possuir privilégios excessivos, o problema deixa de ser apenas uma resposta errada na tela. Ele pode executar uma ação errada dentro da empresa.Por isso, a discussão sobre segurança da IA começa a mudar. Durante décadas, a cibersegurança foi construída principalmente em torno de uma lógica relativamente determinística: determinado usuário pode acessar um sistema; outro não pode. Determinado dispositivo possui autorização; outro deve ser bloqueado. Com inteligência artificial, parte dessa lógica passa a lidar também com probabilidades, contexto e níveis de confiança.Um modelo pode produzir respostas diferentes para perguntas semelhantes. Um agente pode tomar caminhos distintos para atingir o mesmo objetivo. Isso exige controles capazes de acompanhar não somente quem acessou determinado sistema, mas também o que a inteligência artificial fez, quais informações utilizou e por que tomou determinada decisão.É aí que entra a chamada observabilidade da IA. Se uma empresa pretende colocar inteligência artificial em processos críticos, precisa conseguir enxergar o que acontece dentro desses fluxos. Quais dados foram consultados? Qual modelo foi utilizado? Que ferramentas o agente acessou? Que decisão foi tomada? Houve intervenção humana? O resultado pode ser auditado posteriormente?Sem essas respostas, a empresa corre o risco de criar uma enorme caixa-preta dentro da própria infraestrutura.A rastreabilidade passa, portanto, a ser tão importante quanto a própria capacidade do modelo. Não basta uma IA produzir uma resposta aparentemente correta. Em determinados processos, será necessário demonstrar como aquela resposta foi construída e quais informações participaram da decisão.Isso possui implicações importantes para privacidade e proteção de dados. Um agente conectado a diferentes bases corporativas pode cruzar informações pessoais, documentos internos e dados estratégicos em uma velocidade muito superior à de um funcionário. Se as permissões forem mal configuradas, a IA pode acessar informações que nunca deveria ter recebido.Surge então um princípio que considero essencial para essa nova fase: uma IA não deve receber automaticamente todas as permissões que tecnicamente consegue utilizar. Assim como aplicamos o princípio do menor privilégio às contas humanas, teremos de aplicá-lo também às identidades de máquinas e agentes inteligentes. Cada agente precisa possuir uma identidade definida, permissões limitadas e mecanismos de auditoria.A própria NTT DATA chama atenção para a redução da janela de reação das equipes de segurança. Sistemas baseados em IA podem analisar softwares, encontrar vulnerabilidades e construir caminhos de ataque com velocidade muito maior. Para os defensores, isso significa que processos que antes permitiam horas ou dias de reação poderão exigir respostas cada vez mais próximas do tempo real.Existe ainda outro fenômeno preocupante: a chamada Shadow AI. É o uso de ferramentas de inteligência artificial por funcionários sem aprovação ou controle formal da organização. Um colaborador pode inserir contratos, planilhas, códigos, informações de clientes ou documentos internos em uma ferramenta pública simplesmente para ganhar produtividade. Para ele, é apenas uma maneira mais rápida de trabalhar. Para a empresa, pode representar um fluxo de dados que nunca foi autorizado. Isso explica por que segurança para IA não pode ser tratada exclusivamente como um problema da área de tecnologia.Ela envolve cibersegurança, privacidade, proteção de dados, compliance, jurídico, gestão de riscos e governança corporativa. Também exige definir responsabilidades. Se um agente tomar uma decisão incorreta, quem responde? Quem autorizou aquele nível de autonomia? Quem validou o modelo? Quem acompanha seu comportamento?Essas perguntas se tornam ainda mais relevantes quando observamos a diferença entre experimentar IA e realmente colocá-la em escala. Segundo os dados apresentados pela NTT DATA, embora 85% dos entrevistados tenham relatado aumento dos gastos com soluções de IA, apenas 22% dos processos corporativos são considerados escaláveis. Ao mesmo tempo, 94% apontam o vetor cibernético como fundamental para conseguir escalar projetos de IA com segurança.Isso mostra que o próximo grande gargalo da inteligência artificial talvez não seja a capacidade dos modelos. Empresas já conseguem criar agentes extremamente poderosos. O desafio agora será provar que eles podem operar de maneira segura, previsível, auditável e compatível com as regras da organização.Por isso, governança, observabilidade e cibersegurança não devem ser vistas como barreiras à inovação. Na realidade, serão justamente os elementos que permitirão que a inovação avance. Quanto mais poder entregarmos à inteligência artificial, maior deverá ser nossa capacidade de observar, limitar e responsabilizar suas ações.A corrida empresarial dos próximos anos, portanto, não será apenas para descobrir quem possui a inteligência artificial mais avançada. Será também para descobrir quem consegue utilizá-la em escala sem perder o controle.E talvez essa seja a principal mudança de mentalidade necessária para 2029: não basta tornar a IA mais inteligente. Precisamos tornar seu uso mais seguro, rastreável e governável.Quer se aprofundar no assunto, tem alguma dúvida, comentário ou quer compartilhar sua experiência nesse tema? Me escreva no Instagram: @davisalvesphd.