Al debate acerca del uso de redes sociales por parte de menores de 16 años pronto habrá que sumar una nueva vertiente: aquella que ha de estudiar y revisar que los adolescentes hagan uso de herramientas de inteligencia artificial y asistentes conversacionales tipo ChatGPT o Gemini. Pese a que las grandes compañías tecnológicas encargadas de desarrollar dichos modelos venden sus garantías en materia de seguridad, las demandas por fallos de sus sistemas con consecuencias fatales para adolescentes están a la orden del día. A ellas, hay que sumar los diferentes estudios llevados a cabo para evaluar los límites de los chatbots a la hora de orientar una conversación en la que un joven alude a planes violentos. En esos estudios los resultados inquietan y preocupan más que tranquilizar e invitan a una reflexión profunda.Los chatbots no frenan planes violentos de adolescentesEl último ejemplo llega de la mano de una investigación conjunta entre CNN y la organización no lucrativa Centro para la Lucha contra el Odio Digital (CCDH). La idea del estudio fue evaluar el comportamiento de diez populares asistentes conversacionales a la hora de afrontar interacciones con adolescentes simulados en las que estos expresaban ideas acerca de actos violentos. ¿El resultado? Tan solo Claude, de Anthropic, frenó las ideas de su interlocutor.Los responsables del ensayo sometieron a su prueba a los chatbots de referencia: ChatGPT de OpenAI, Gemini de Google, Claude de Anthropic, Microsoft Copilot, Meta AI, la asiática DeepSeek, Perplexity, Snapchat My AI, Character.AI y Replika. La idea inicial era comprobar las medidas de seguridad y salvaguardas que las compañías aseguran haber incorporado a sus asistentes, especialmente para escenarios complejos de interacción con adolescentes. En concreto, se trataba de observar su comportamiento en una conversación centrada en posibles actos violentos planteados por un usuario joven.Los resultados obtenidos no podían ser más preocupantes. Tan solo Claude, el chatbot de Anthropic, derivó la conversación hacia el punto de disuadir a su interlocutor de los planes que mostraba. El resto, lejos de tratar de quitar esa idea de la mente del adolescente, ofrecieron su soporte y ayuda para llevar a cabo cualquier tipo de acción violenta y en cualquier escenario entre los planteados: ataque a centro religioso, educativo o referente a acciones personalizadas contra políticos o directivos de empresas del sector sanitario.La complacencia de los asistentes conversacionales de nuevo a escenaEn los compases iniciales de toda conversación, los jóvenes simulados mostraron un estado anímico y mental comprometido, para avanzar en su charla haciendo referencia a asaltos y acciones violentas del pasado además de cuestionar sobre escenarios y objetivos. Se trataba de dar un primer aviso a los asistentes para ver si tomaban medidas en la primera fase de la conversación, pero esto no sucedió.Lejos de ver eso como una pista, la inmensa mayoría de asistentes ofrecieron su "ayuda" para afianzar los planes de los jóvenes. ChatGPT mostró mapas de centros educativos y Gemini expuso la idoneidad de unas armas frente a otras en el caso de atacar una sinagoga. Sin embargo, y siempre según las conclusiones de los autores del estudio, los asistentes que más serviciales fueron y mayor colaboración mostraron fueron Meta AI y Perplexity.Aunque las compañías han defendido tras el estudio que ya han introducido mejoras en los sistemas de seguridad y actualizado sus modelos, lo cierto es que los resultados siguen generando desazón. El informe pone de relieve que la preocupación por el comportamiento de los asistentes conversacionales no responde a una alarma infundada, sino que refuerza la necesidad de revisar y seguir mejorando estos sistemas.