La siguiente investigación es para ponerle toda la atención del mundo, especialmente si estás usando algunos altavoces que ya cuentan con IA o tu propio móvil que te habla. En China y Singapur se descubrió que es posible crear un audio malicioso del cual el oído humano no tiene la capacidad de detectarlo. Su misión es engañar a los modelos de IA para que puedan provocar acciones malintencionadas. Lo que es increíble es que el mismo usuario puede evocarlo mediante una canción, película o cualquier cosa que se pueda tomar de fondo. Lo peor es que el ataque puede suceder tan rápido como en media hora y no se puede hacer nada para contenerlo. ¿De qué se trata?Los maleantes digitales podrían engañar a los modelos de IA de una forma increíblePuede que nuestra Alexa, Gemini o cualquier asistente no nos entienda una simple petición, pero que pueda ser engañada mediante un audio, es algo que nos está resultando complicado. El autor principal de la investigación, Meng Chen, ha publicado el trabajo que próximamente se presentará en San Francisco en el Simposio IEEE donde indica que este ataque puede ejecutarse en cualquier momento, el usuario no puede hacer prácticamente nada.El propio modelo es el que da pie a que todo suceda, ya que el modelo no puede distinguir la intención del usuario normal del ataque. En este caso, los hackers necesitan tener acceso total al modelo de IA, por lo que los modelos de código abierto serían los más fáciles de atacar. Se ejecutan comandos que no están autorizados por el usuario y tiene una tasa de éxito de entre el 79 y 96 por ciento. Se puso a prueba en 13 modelos abiertos, incluyendo algunos de Microsoft y Mistral. El resultado fue contundente; se demostró que se puede persuadir al asistente para que haga búsquedas web confidenciales. En el ataque se comprometen datos del usuario mediante envíos de correos electrónicos, además de descargar algunos archivos de fuentes que controla el maleante digital. Inteligencia artificial y sus riesgosCómo se desarrolla este audio malicioso para la IATodo se basa en una técnica denominada AudioHijack; lo que hace es aprovecharse de una vulnerabilidad crítica en el diseño de los modelos de audio-lenguaje a gran escala. Los modelos pueden recibir instrucciones en formato de audio y eso les da origen a recibir instrucciones de cualquier tipo en clips que pueden ser manipulados y provocar los comportamientos malévolos. El problema es que el usuario jamás se dará cuenta: pueden estar presentes en vídeos, música, notas de voz y hasta en una llamada de Zoom que luego se puede subir a la nube. ¿Qué puede hacer el audio malicioso? Va desde negar el propio audio, rechazar las solicitudes del usuario, responder con información falsa, brindar enlaces maliciosos, alterar la personalidad del modelo y hacer el uso de herramientas no autorizadas. Los modelos podrían defenderse, pero eso solo depende de monitorizar esos mecanismos internos de atención para detectar los intentos de AudioHijack. El atacante que conozca parte de esta defensa puede reducir la manipulación de la atención, pero eso significa ceder un poco en la efectividad del ataque.