ChatGPT mantuvo conversaciones con adolescentes en crisis cuando debería haber derivado: el informe de Common Sense Media

Wait 5 sec.

Common Sense Media publicó en octubre de 2026 una evaluación de ChatGPT con adolescentes en situaciones de crisis mental que le da la calificación de «riesgo inaceptable» en ese contexto específico. Los auditores probaron el chatbot en escenarios que incluían lenguaje de crisis, señales de depresión y un caso documentado de psicosis activa, y encontraron que en la mayoría de casos el sistema continuó la conversación en lugar de derivar al usuario a recursos de ayuda profesional. En un caso, el agente siguió conversando con un adolescente que expresaba síntomas psicóticos activos durante varios turnos de diálogo antes de mencionar la posibilidad de buscar ayuda.Llevo varios años hablando con docentes sobre el uso de IA con menores en el aula, y el debate siempre bifurca entre los que ven las herramientas como recursos valiosos para el aprendizaje y los que las perciben como riesgos. Este informe es el primero que pone cifras concretas sobre el comportamiento en situaciones de crisis, no en tareas académicas.¿Qué encontró Common Sense Media en sus pruebas con adolescentes en crisis?El informe documenta dos patrones de comportamiento problemático. Primero, en prompts que describían situaciones de crisis involucrando a otra persona —un amigo o familiar— ChatGPT dirigió al adolescente hacia un adulto de confianza en el 94% de los casos. El problema es la casuística restante: cuando la situación de crisis era la propia del usuario que conversaba, el sistema raramente activó el mismo protocolo de derivación. El riesgo no estaba en la crisis externa, sino en la que el propio usuario expresaba.Segundo: en cerca de 2.000 prompts de prueba, los auditores solo registraron dos recordatorios de descanso. OpenAI afirma que los adolescentes usan ChatGPT una media de menos de 15 minutos diarios y que la mitad hace pausas tras el recordatorio cuando aparece. Pero si el recordatorio aparece solo dos veces en 2.000 interacciones, la pregunta no es si funciona cuando aparece, sino por qué aparece tan raramente. El contexto en que el AI Index 2026 de Stanford documentó la brecha entre la percepción de los expertos y el público sobre el impacto de la IA es relevante aquí: los especialistas conocen las limitaciones del sistema; los usuarios adolescentes, en general, no.El caso de psicosis es el más preocupante del informe. Sin dar detalles de la conversación completa, los auditores describen un escenario donde el modelo respondió en términos que podían reforzar el marco delirante del usuario en lugar de interrumpirlo. Este tipo de interacción no es un error de diseño trivial. Es el resultado de un modelo entrenado para mantener una conversación coherente y empática, sin una capa de detección de crisis suficientemente sensible para contextos clínicos.La cifra clave: solo 2 recordatorios de descanso en 2.000 conversacionesLa baja frecuencia de recordatorios de descanso no es un bug de implementación fácil de corregir. Refleja un diseño donde el objetivo principal del sistema —mantener al usuario comprometido en la conversación— entra en conflicto directo con el objetivo de seguridad para menores, que sería limitar la duración de las sesiones o interrumpirlas en momentos de alta intensidad emocional. Que las dos cifras —94% de derivación cuando la crisis es de otro, y 2 recordatorios en 2.000 sesiones— apunten en la misma dirección sugiere que el problema no es aleatorio.OpenAI ha respondido que está revisando los resultados del informe y que el diseño de ChatGPT para adolescentes incluye salvaguardas específicas. La compañía también señala que sus datos de uso muestran sesiones cortas. Pero el problema que el informe identifica no es la duración media; es el comportamiento en los casos extremos, que son precisamente los que más importan desde el punto de vista de seguridad. Para los menores que usan la herramienta en contextos educativos, la guía sobre cómo usar la IA para estudiar y aprender mejor es el contexto habitual de uso; la crisis mental en una sesión de chat es el contexto que ningún diseño pedagógico anticipa.Las respuestas legales y regulatorias: el acuerdo de Meta, el CHATBOT Act y lo que vieneEl informe de Common Sense Media no aparece en el vacío. En 2025, Meta alcanzó un acuerdo con 29 estados por daños a menores asociados a sus plataformas sociales por 18.000 millones de dólares (≈ 16.920 millones de euros). El caso estableció que las plataformas tecnológicas pueden ser consideradas responsables de los efectos sobre la salud mental de sus usuarios menores. La lógica legal que llevó a ese acuerdo puede aplicarse igualmente a las aplicaciones de IA conversacional si hay evidencia de que el diseño del sistema priorizó el engagement sobre la seguridad del usuario.El CHATBOT Act propuesto en el Congreso estadounidense incluiría obligaciones de divulgación y salvaguardas para sistemas de IA que interactúan con menores, aunque no ha avanzado legislativamente de forma significativa en el último año. En Europa, el AI Act incluye restricciones sobre el uso de IA en contextos que afectan a personas vulnerables, categoría en la que podrían encajar los sistemas de chat con menores en crisis.La investigación de cómo AlphaGenome de DeepMind aprende a leer los interruptores del ADN para una oncología más precisa ilustra un contraste relevante: hay aplicaciones de IA en salud donde los beneficios superan claramente los riesgos, con protocolos clínicos que los acotan. En el contexto de salud mental de menores, esos protocolos no existen todavía para el chat de uso general. Si OpenAI quiere que ChatGPT siga siendo accesible para adolescentes, tendrá que demostrar que puede diseñar ese protocolo internamente antes de que se lo impongan desde fuera. El informe de Common Sense Media es la señal más clara hasta ahora de que el tiempo para hacer eso voluntariamente se está agotando.La noticia ChatGPT mantuvo conversaciones con adolescentes en crisis cuando debería haber derivado: el informe de Common Sense Media fue publicada originalmente en Wwwhatsnew.com por Natalia Polo.