No hace falta decir que el uso de la inteligencia artificial a nivel militar está abriendo un nuevo escenario en el que las máquinas pueden asumir funciones que hasta ahora dependían directamente de los seres humanos. Para Jimena Viveros, experta de la ONU, el problema no está únicamente en la autonomía total, sino también en determinadas aplicaciones capaces de multiplicar su capacidad destructiva. Entre ellas destacan los enjambres de drones. En su intervención en la conferencia Humanity at the Crossroads: Autonomous Weapons Systems and the Challenge of Regulation, celebrada en Viena en abril de 2024, Viveros advirtió de que un enjambre de drones podría alcanzar niveles de destrucción similares a los de las armas de destrucción masiva, independientemente de que funcione de manera semiautónoma o completamente autónoma. Si bien esto lo dijo hace tiempo, no está de más recordar sus palabras, sobre todo si tenemos en cuenta el protagonismo que actualmente tienen los drones en la guerra de Ucrania y otros conflictos.El gran vacío de quién responde por una máquina Jimena Viveros, experta de la ONULa afirmación amplía el debate sobre las armas autónomas. El riesgo, según Viveros, no depende exclusivamente de que una máquina tenga el control absoluto sobre la selección de objetivos y el uso de la fuerza. También existen sistemas con distintos niveles de autonomía capaces de desencadenar consecuencias realmente graves. En el caso de los enjambres de drones, la combinación de varios se convierte en una herramienta con una capacidad de destrucción potencialmente masiva.Esta posibilidad resulta inquietante porque estos sistemas pueden fallar. Viveros subraya que la IA depende de los datos con los que ha sido entrenada y que los sistemas autónomos pueden ser impredecibles, propensos a errores difíciles de explicar incluso para sus propios programadores. A nivel militar, un fallo puede traducirse directamente en la muerte de personas.Ahí se encuentra uno de los principales argumentos de Viveros. Las decisiones relacionadas con la vida y la muerte no pueden reducirse a cálculos automatizados. En un escenario bélico, las máquinas deberían enfrentarse a cuestiones de proporcionalidad, necesidad y humanidad que incluso los seres humanos encuentran difíciles de valorar en situaciones de extrema incertidumbre. EE UU habría perdido 45 drones MQ-9 Reaper en Irán, una cuarta parte de su flota, con un coste superior a 1.300 millones de dólaresA ello se suma un problema jurídico: determinar quién es responsable cuando un sistema autónomo causa algún daño. Cuanto mayor sea la autonomía, más difícil puede resultar establecer la relación entre una decisión humana y sus consecuencias. Viveros alerta así de la posibilidad de crear un vacío de responsabilidad que dificulte quién debe responder por las acciones de una máquina. Ante esto, reclama actuar antes de que estas capacidades se desarrollen sin límites. Su propuesta pasa por establecer reglas internacionales claras, con líneas rojas que determinen qué usos deben prohibirse y bajo qué condiciones pueden permitirse otros.Para esta experta de la ONU, no hay que confundir innovación tecnológica con ausencia de límites. Un enjambre de drones no necesita necesariamente estar completamente controlado por una IA para convertirse en una gran amenaza. Si su capacidad destructiva puede aproximarse a la de armas de destrucción masiva, la comunidad internacional debe anticiparse y establecer salvaguardas antes de que la tecnología haga irreversible el problema.