Este pasado fin de semana David Sierra y yo estuvimos hablando en Cruce de cables de RNE de los actos de una inteligencia artificial que empezó a actuar por su cuenta y que, aunque no llegó a matar a nadie como HAL 9000, seguro que estuvo a punto de provocar algún infarto.El programa con mi intervención está disponible aquí:Código abierto [a partir de 17:40].El asunto viene de que Pocket, la empresa que desarrolla RentalOS, una solución para gestionar agencias de alquiler de vehículos que en los Estados Unidos tiene una cierta popularidad, utiliza la versión más potente de Claude, el chatbot de Anthropic, junto con el entorno de desarrollo Cursor, para programar algunas cosas.A Claude la han dicho que no suponga cómo funcionan las cosas, que antes de hacer cualquier cosa se documente bien; y en especial, que no lleve a cabo ninguna acción potencialmente destructiva sin pedir permiso antes a un humano.Pero hace unos días se encontró con unos datos que no le cuadraban y se puso creativo. Y tras probar varias cosas se le ocurrió que podía borrar el volumen en el que estaban almacenada toda la base de datos en línea de la empresa y de sus clientes a ver si así solucionaba el asunto.Espoiler: no, para nada.Además, resultó que Railway, la empresa con la que Pocket tiene contratada su estructura en la buen, guarda las copias de seguridad en el mismo volumen que los datos que se supone que están respaldando. Lo que es un curioso concepto de copia de seguridad.Así que durante casi dos días Pocket tuvo que decirle a sus clientes que se había perdido todo porque Railway tampoco respondía. Aunque al final parece que había una copia de la copia que permitió recuperar los datos perdidos.Es cierto que en todo esto no sólo Claude tuvo que pasar ampliamente de sus instrucciones, sino que además se concatenaron varios fallos o decisiones cuestionables de diseño como que Railway guardara las copias de seguridad en el mismo volumen que los datos. O que la clave de acceso que estaba usando Pocket desde su entorno de programación, que en principio creían que sólo tenía capacidad de añadir nuevos clientes –estoy simplificando un poco, pero para entendernos– tenía poderes completos para hacer cualquier cosa. Y que Claude decidiera utilizarla aunque no tenía nada que ver con la tarea que le habían asignado.En cualquier caso, y como tampoco es un caso aislado, para mí pone en duda una vez más todo esto del vive coding, aquello de programar apoyándote en una IA aunque no sepas mucho qué está haciendo.Que no dudo de la utilidad de las IA. Pero usadas con sentidiño.Y ya puestos, aproveché para recordar aquello de que siempre hay que tener al menos tres copias de seguridad. Que luego no sirve de nada venir llorando.# Enlace Permanente