Quem responde quando um agente de IA toma a decisão errada?

Wait 5 sec.

Durante a primeira onda da inteligência artificial generativa, uma das maiores preocupações das empresas era relativamente simples de compreender: e se a IA disser algo errado?Com a ascensão dos agentes autônomos, essa pergunta mudou. Agora precisamos perguntar: “e se a IA fizer algo errado?”A diferença parece pequena, mas muda completamente o debate sobre governança. Um chatbot pode produzir uma resposta incorreta. Um agente de inteligência artificial, por outro lado, pode consultar sistemas, acessar informações corporativas, interagir com outras ferramentas, executar tarefas, tomar decisões dentro dos limites definidos pela empresa e desencadear uma sequência de ações com pouca ou nenhuma intervenção humana.Essa capacidade explica por que os agentes estão avançando rapidamente dentro das organizações. Segundo a IBM, 61% dos CEOs entrevistados em um estudo global afirmaram que suas empresas já estavam adotando agentes de IA ou se preparando para implementá-los em escala.Dados mais recentes da McKinsey mostram que, em 2026, 40% dos profissionais de grandes organizações, com receita anual superior a US$ 1 bilhão, já relatam que suas empresas estão escalando agentes de IA, ante 27% no levantamento anterior.O problema é que a governança não avança na mesma velocidade. Pesquisa da Deloitte realizada com mais de 3,2 mil líderes de negócios e tecnologia em 24 países apontou que apenas 21% das organizações possuem um modelo maduro de governança para IA agêntica. Ao mesmo tempo, 74% esperam utilizar agentes de IA pelo menos moderadamente até 2027.É justamente nesse intervalo entre autonomia tecnológica e maturidade de governança que surge uma das questões mais relevantes da próxima fase da inteligência artificial: “quem responde quando o agente erra?”A resposta não deveria ser: “a IA”.Máquinas não participam de reuniões de conselho, não respondem a clientes prejudicados e não podem servir como justificativa para uma decisão corporativa mal estruturada. Quanto maior a autonomia concedida à tecnologia, maior precisa ser a clareza sobre a responsabilidade humana ao redor dela.Autonomia não pode significar ausência de responsabilidadeImagine um agente autorizado a negociar automaticamente com fornecedores. Ele recebe parâmetros de preço, prazo e volume e passa a conduzir negociações sem intervenção humana em cada etapa.Em determinado momento, toma uma decisão que provoca um prejuízo relevante.Quem responde?O desenvolvedor do modelo?A empresa que contratou a solução?O executivo que autorizou sua implantação?A área que definiu os parâmetros?Ou o profissional responsável por supervisionar sua operação?Essa discussão tende a se tornar cada vez mais frequente.O Gartner estima que uma empresa média da Fortune 500 poderá utilizar mais de 150 mil agentes de IA até 2028, contra menos de 15 em 2025. No entanto, apenas 13% das organizações afirmam possuir atualmente a governança adequada para lidar com esses agentes.Estamos, portanto, caminhando para organizações nas quais milhares de sistemas poderão executar tarefas simultaneamente. Será impossível supervisionar individualmente cada ação.Por isso, governança não pode significar simplesmente colocar um humano para aprovar tudo. Precisaremos desenhar novos modelos de controle.O problema começa antes do erro. Quando ocorre uma falha causada por inteligência artificial, nossa tendência é investigar a última decisão tomada pelo sistema.Mas a responsabilidade começa muito antes.Quem escolheu aquele modelo?Quem determinou quais dados ele poderia acessar?Quem definiu os limites de autonomia?Quem estabeleceu quais decisões poderiam ser executadas automaticamente e quais deveriam obrigatoriamente passar por supervisão humana?Quem criou os mecanismos de auditoria?Quem decidiu qual nível de erro seria aceitável?Essas são decisões humanas. E são exatamente elas que determinarão a segurança de sistemas cada vez mais autônomos. A discussão regulatória internacional já caminha nessa direção. O AI Act europeu distribui obrigações entre diferentes participantes da cadeia, incluindo fornecedores e organizações responsáveis pela implantação dos sistemas. Entre as exigências previstas para determinados sistemas de alto risco estão monitoramento, documentação, rastreabilidade e supervisão humana.A mensagem é importante: responsabilidade em IA não está concentrada em um único ator. Ela precisa existir ao longo de toda a cadeia tecnológica.O novo risco não é a IA responder errado. É agir errado.A evolução dos agentes altera também a natureza do risco. A McKinsey aponta que quase dois terços das organizações consideram segurança e riscos o principal obstáculo à expansão da IA agêntica. No mesmo levantamento, 74% apontaram imprecisão como um risco altamente relevante e 72% citaram cibersegurança.Existe uma razão clara para essa preocupação. Quando uma IA apenas gera conteúdo, uma alucinação pode produzir uma informação incorreta. Quando um agente possui acesso a ferramentas e sistemas corporativos, uma interpretação equivocada pode gerar uma ação.Ele pode cancelar uma operação, alterar um cadastro, enviar informações incorretas para um cliente, autorizar um processo, compartilhar dados indevidamente e executar uma transação. Quanto maior a capacidade de agir, maior é o potencial de impacto.O debate sobre IA passa, portanto, de confiabilidade da resposta para controle da ação.Toda empresa precisará definir uma fronteira de autonomiaUma das perguntas mais importantes que conselhos e executivos terão de responder é simples: “até onde queremos permitir que nossos agentes decidam sozinhos?”Não existe uma única resposta. Uma empresa pode considerar aceitável que um agente responda autonomamente a perguntas simples de clientes. Mas talvez não permita que ele conceda um desconto acima de determinado valor.Pode autorizar um sistema a selecionar fornecedores para cotação, mas exigir aprovação humana antes de fechar um contrato. Pode permitir que um agente analise candidatos a uma vaga, mas impedir que ele tome sozinho a decisão final de contratação.Essa fronteira precisa ser intencional. O erro mais perigoso é permitir que ela seja definida apenas pela capacidade da tecnologia. Só porque um sistema consegue executar determinada tarefa não significa que ele deveria ter autorização para fazê-la.Precisamos falar sobre o “gestor do agente”Durante anos, discutimos como gestores deveriam liderar pessoas. Agora surge uma competência completamente nova: liderar sistemas autônomos.Isso envolverá acompanhar desempenho, revisar decisões, estabelecer limites, identificar desvios e saber quando retirar autonomia de um agente. Talvez o futuro das empresas não tenha apenas organogramas de pessoas. Teremos também mapas de agentes.Precisaremos saber quais agentes existem dentro da organização, quais sistemas acessam, quais decisões podem tomar, quem responde por eles e como suas ações podem ser auditadas.Em outras palavras, cada agente precisará ter um responsável. Não necessariamente alguém acompanhando cada ação em tempo real, mas alguém que responda pela lógica, pelos limites e pelos resultados daquele sistema.O post Quem responde quando um agente de IA toma a decisão errada? apareceu primeiro em Olhar Digital.