La premisa del «human-in-the-loop» —tener un humano que revisa y aprueba las decisiones de la IA antes de que se ejecuten— fue durante años el estándar de oro de la gobernanza responsable de la inteligencia artificial. Amazon ahora dice que eso ya no es suficiente, y que en realidad puede ser una ilusión de control más que una salvaguarda real. Lo reporta The Next Web este 21 de junio.El vicepresidente de seguridad de Amazon expuso el argumento con una precisión que merece citarse: el problema no es que los humanos sean incapaces de supervisar la IA. El problema es que cuando los humanos supervisan sistemas que casi nunca fallan, dejan de prestar atención de forma activa. El fenómeno tiene nombre en psicología organizacional: normalización de la desviación, el proceso por el que los procedimientos de seguridad se vuelven rituales vacíos cuando la mayoría de los controles resultan negativos. Amazon lo combina con otro fenómeno conocido: el alarm fatigue, el agotamiento ante un volumen de alertas que generan ruido más que señal.El resultado práctico es que un revisor humano que supervisa 500 decisiones de IA al día, de las que 498 son correctas, pierde progresivamente la capacidad de detectar las dos incorrectas. No por incompetencia, sino por la naturaleza fisiológica y cognitiva de la atención humana sostenida.Google, Microsoft e IBM también están reconsiderandoAmazon no está solo en este diagnóstico. The Next Web reporta que Google, Microsoft e IBM están reconsidering el modelo de revisión humana constante y evaluando alternativas basadas en riesgo. La tendencia que emerge de estos análisis converge en una dirección: en lugar de supervisión humana de todas las decisiones, los sistemas deberían clasificar automáticamente las decisiones por nivel de riesgo y concentrar la atención humana en las de mayor impacto potencial.Este modelo alternativo es conocido como supervisión basada en riesgo: los sistemas de IA de bajo riesgo operan de forma autónoma con auditoría periódica, los de riesgo medio tienen revisión muestral, y solo los sistemas con impacto potencial severo o irreversible requieren aprobación humana obligatoria en cada decisión. Es una lógica de priorización del capital atencional humano, que es finito, frente a la escala de las decisiones de IA, que no lo es.Los agentes de IA en 2026 operan con permisos de sistema que hasta hace poco eran impensables: acceso al calendario, al correo, a sistemas de pago, a comunicaciones. El AI Agent Index 2025 que analizamos este año documentó que el 62% de las empresas ya experimentaba con agentes autónomos, pero que el índice de aprobación de cada acción del agente por parte de un humano era cada vez más nominal. La advertencia de Amazon formaliza algo que muchos equipos de IT ya habían notado en la práctica.La implicación regulatoria es mayor de lo que pareceEl EU AI Act, en plena aplicación desde 2026, clasifica los sistemas de IA de alto riesgo y establece requisitos de supervisión humana significativa para ellos. La advertencia de Amazon complica el cumplimiento teórico de esa norma: si la supervisión humana constante no funciona en la práctica, los sistemas que la regulación considera seguros por tener un humano en el bucle pueden estar asumiendo un falso riesgo controlado.La personalización de Gemini y su acceso a datos personales ilustra el problema desde otro ángulo: cuando un sistema de IA accede a tu correo, tu calendario y tus fotos para generar una respuesta contextual, las decisiones que toma son decenas o centenares por interacción. Pedir aprobación humana de cada una no es solo ineficiente; es incompatible con el funcionamiento del sistema.La alternativa que están explorando estas empresas requiere un trabajo previo más exigente: definir con mucha más precisión qué tipos de decisiones son de alto riesgo, construir sistemas técnicos que detecten automáticamente cuando una decisión cae en esa categoría, y diseñar interfaces de revisión que concentren la atención del revisor en los puntos de mayor impacto. Es una inversión en gobernanza que es más cara a corto plazo pero más eficaz que la revisión universal que la mayoría practica hoy.El debate sobre IA militar y gobernanza del uso de modelos de IA por parte del Pentágono es el extremo más visible de este problema: en sistemas de armas autónomas, «human-in-the-loop» no puede ser una formalidad. Pero el argumento de Amazon aplica igualmente a decisiones de crédito, diagnóstico médico asistido por IA, moderación de contenido y contratación de personal: contextos donde el riesgo es real pero la escala de decisiones hace imposible la supervisión genuina de cada una.Mi valoraciónLlevo años cubriendo el debate sobre gobernanza de IA y el argumento de Amazon es, en mi experiencia, uno de los más honestos que he escuchado de una empresa tecnológica grande sobre las limitaciones de sus propias prácticas. No es un argumento para eliminar la supervisión humana, sino para rediseñarla de forma que funcione en el mundo real.Lo que más me convence es la honestidad empírica del diagnóstico. La normalización de la desviación es un fenómeno documentado en aviación, medicina y gestión de riesgos desde hace décadas. Que las mismas dinámicas afecten a la supervisión de IA no debería sorprender a nadie que haya trabajado en un centro de operaciones o en un equipo de moderación de contenido a escala.Lo que más me preocupa es la velocidad de adopción de sistemas de IA agentica versus la velocidad de desarrollo de marcos de gobernanza robustos. Si el estándar de supervisión humana constante ya no funciona y el estándar basado en riesgo aún no está definido ni regulado, hay una ventana temporal en la que estos sistemas operan con supervisión degradada y sin alternativa clara.Mi predicción: en los próximos 12 meses veremos las primeras propuestas regulatorias concretas en la UE y en EE.UU. que intentan codificar la supervisión basada en riesgo como nuevo estándar. Probablemente pilotadas primero en el sector financiero, donde el precedente de supervisión algorítmica por parte de los reguladores ya existe.Preguntas frecuentes¿Qué es la «normalización de la desviación» y por qué es relevante para la IA?Es el proceso documentado por la socióloga Diane Vaughan a partir del análisis del accidente del Challenger en 1986: cuando los sistemas fallan rara vez, los responsables de supervisióntienden a interpretar los señales de alarma como falsos positivos hasta que ocurre un fallo grave. En el contexto de la IA, significa que los revisores humanos que ven decisiones correctas la mayoría del tiempo se vuelven menos capaces de detectar los errores que eventualmente ocurren.¿La supervisión basada en riesgo elimina completamente al humano de las decisiones?No. El modelo que están evaluando Amazon, Google, Microsoft e IBM no elimina la supervisión humana; la concentra. Las decisiones rutinarias de bajo riesgo operan de forma autónoma con auditoría estadística. Las decisiones de alto riesgo siguen requiriendo aprobación humana, pero esa supervisión es más efectiva porque se aplica donde el impacto potencial justifica la atención del revisor.La noticia Amazon advierte que la supervisión humana de la IA ya no funciona: las personas dejan de prestar atención fue publicada originalmente en Wwwhatsnew.com por Natalia Polo.