En la mayoría de aplicaciones de IA, un error produce una respuesta incorrecta, una recomendación equivocada o un código que no compila. En los sectores que debatirán en el Real World AI Stage de TechCrunch Disrupt 2026 (13-15 de octubre en San Francisco), un error puede hundir un dron militar, volcar un camión autónomo o detener la cadena de montaje de un fabricante de coches. La pregunta central de la sesión «Building AI Systems When Failure Is Not an Option» es también la pregunta que más diferencia a la IA de alta apuesta del resto: ¿cómo sabes cuándo el sistema está listo para operar sin supervisión humana? Lo anuncia hoy TechCrunch Events.Los tres ponentes que subirán al escenario representan tres fronteras distintas de esa misma pregunta.Shield AI: autonomía en entornos de combateNathan Michael, CTO de Shield AI, lleva al evento la perspectiva de quien desarrolla autonomía para entornos donde no hay tiempo para correcciones humanas en bucle. Su producto principal es Hivemind, una plataforma de autonomía de misiones agnóstica de plataforma: funciona sobre aviones, drones y vehículos de diferentes fabricantes sin requerir conectividad constante.En febrero de 2026, Hivemind fue seleccionado por la Fuerza Aérea de EE.UU. como proveedor de autonomía para el programa de drones de combate colaborativo CCA (Collaborative Combat Aircraft). Un mes después, Shield AI cerró una ronda Serie G de 1.500 millones de dólares a una valoración post-money de 12.700 millones. Michael viene del Robotics Institute de Carnegie Mellon, donde dirigió el Resilient Intelligent Systems Lab.La paradoja que tiene que resolver Shield AI es que los entornos de combate son exactamente los entornos en que menos puedes testear de forma exhaustiva antes del despliegue: el adversario no colabora, las condiciones cambian y el simulador siempre tiene lagunas. El debate sobre cómo validar un sistema de IA en esas condiciones es el más difícil del campo.Waabi: el problema de las 10.000 horas de conducción autónomaRaquel Urtasun, fundadora y CEO de Waabi, representa el problema del transporte autónomo desde el lado de los datos y la simulación. Antes de fundar Waabi, fue científica jefe de Uber ATG. Es catedrática de Ciencias de la Computación en la Universidad de Toronto y cofundadora del Vector Institute for AI. Ha publicado más de 200 papers de IA.En enero de 2026, Waabi levantó 1.000 millones de dólares y anunció un acuerdo con Uber para desplegar 25.000 o más robotaxis equipados con el Waabi Driver. El simulador Waabi World permite entrenar, probar y estresar el sistema autónomo en escenarios virtuales antes de que toque una sola carretera real. Urtasun ha señalado públicamente que los camiones autónomos de Waabi todavía necesitan validación completa antes del despliegue sin conductor.La pregunta que plantea es directa: nadie puede poner un conductor autónomo en todas las situaciones posibles en el mundo real antes de certificarlo. Los simuladores llenan ese hueco, pero siempre tienen el problema de la distribución de los casos raros: los escenarios que importan son precisamente los que no estaban en el catálogo de entrenamiento.General Motors: robots que trabajan junto a personasMikell Taylor, directora de estrategia de robótica del Centro de Robótica Autónoma de General Motors, aporta la dimensión más cotidiana de la pregunta: cómo desplegar robots que trabajan junto a personas en una fábrica sin que esas personas tengan que aprender a trabajar con robots.Antes de GM, Taylor lideró el equipo de Amazon Robotics que desarrolló Proteus, el primer robot móvil autónomo de Amazon. Su experiencia cubre desde vehículos autónomos submarinos hasta sistemas robóticos industriales. El punto que trae al escenario es que la experiencia de usuario y la adopción no pueden tratarse como variables de ajuste posterior: tienen que estar en el diseño desde el inicio.El reto de GM no es solo técnico. Un robot industrial autónomo que falla interrumpe una cadena de producción cuya parada cuesta decenas de miles de euros por hora. Pero si es demasiado conservador —si para demasiado a menudo para pedir confirmación humana—, tampoco sirve. Calibrar ese equilibrio en entornos con variabilidad humana real es distinto a calibrarlo en un almacén automatizado donde la posición de cada caja está predefinida.Irán y China desplegaron campañas de influencia con IA autónoma este verano: la IA sin supervisión humana ya está siendo desplegada en operaciones geopolíticas reales, lo que hace aún más urgente el debate sobre cómo validar la autonomía antes del despliegue. El Rey Carlos convocó a Jensen Huang, Demis Hassabis y los CEOs de los principales laboratorios en Dumfries House para hablar de control de la IA: la sesión de Disrupt con Shield AI, Waabi y GM es la versión técnica y de ingeniería de ese mismo debate. OpenAI busca centros de datos en Canadá mientras Stargate UK está pausado: la infraestructura que alimenta estos sistemas autónomos está también en plena fase de construcción.TechCrunch Disrupt 2026 tiene lugar del 13 al 15 de octubre en Moscone West, San Francisco. Más de 10.000 asistentes esperados, 250 ponentes y 300 startups expositoras.El debate que van a tener Michael, Urtasun y Taylor en el escenario tiene implicaciones que van más allá de sus sectores individuales. La validación de sistemas autónomos —cómo sabemos que un sistema de IA está listo para operar sin supervisión humana— es el problema técnico central de la IA de 2026. La respuesta que da la IA de consumidor (lanzar en beta y aprender de los fallos en producción con usuarios reales) no funciona cuando los fallos tienen consecuencias físicas irreversibles. Las metodologías que Shield AI usa para aviones militares y Waabi para camiones autónomos son las que el resto del sector de IA física necesitará adoptar a medida que los robots industriales, los vehículos autónomos y los sistemas de infraestructura se desplieguen a escala. La sesión de Disrupt no tendrá respuestas definitivas —el problema de validación no está resuelto en ninguno de los tres sectores— pero tendrá la perspectiva de tres equipos que llevan años trabajando en él con dinero y vidas reales en juego.La noticia Cuándo una IA está lista para matar: Shield AI, Waabi y General Motors debaten en TechCrunch Disrupt cómo se valida la autonomía cuando el fallo cuesta vidas fue publicada originalmente en Wwwhatsnew.com por Natalia Polo.