Uno de los grandes retos en el desarrollo de modelos de inteligencia artificial es el llamado olvido catastrófico, un fenómeno en el que los sistemas olvidan tareas previamente aprendidas al adquirir nuevas. Este problema, que limita la capacidad de los modelos para aprender de manera continua, se asemeja a una especie de «amnesia anterógrada» tecnológica.Frente a este obstáculo, Google Research ha presentado un nuevo enfoque denominado Nested Learning, cuyo objetivo es permitir un aprendizaje más humano y constante. Inspirado en el principio de neuroplasticidad del cerebro humano, este paradigma redefine la forma en que se construyen y entrenan los modelos de aprendizaje automático.Reestructurando el aprendizaje: un modelo dentro de otroLa idea central de Nested Learning es concebir un modelo de inteligencia artificial no como un sistema único y lineal, sino como un conjunto de problemas de optimización anidados, cada uno con su propia dinámica y ritmo de actualización. Es decir, cada parte del modelo aprende a su propio paso, como si se tratara de engranajes que giran a distintas velocidades dentro de un mismo mecanismo.Esto contrasta con las arquitecturas tradicionales, donde se suele separar la estructura del modelo (la red neuronal) de las reglas que guían su aprendizaje (el algoritmo de optimización). Nested Learning unifica ambos elementos, considerándolos como distintas capas de un mismo proceso que interactúan en diferentes escalas temporales.El flujo de contexto como clave del aprendizaje profundoCada «nivel» dentro del modelo nested tiene su propio flujo de contexto, una especie de memoria local que le permite adaptarse a patrones específicos. Este concepto se puede ilustrar con la memoria asociativa: del mismo modo que una persona puede recordar un nombre al ver una cara conocida, un componente del modelo puede aprender a asociar un dato con la magnitud de su error pasado, ajustando su comportamiento con base en cuán inesperado fue un resultado.Este enfoque lleva a considerar mecanismos tan establecidos como la atención en los transformers como una forma de memoria asociativa que trabaja en distintos tiempos y frecuencias de actualización. De este modo, el aprendizaje se convierte en un sistema más flexible y adaptativo, similar al funcionamiento del cerebro humano.Esperanza en código: la arquitectura HopeComo prueba de concepto, los investigadores desarrollaron una arquitectura denominada Hope, basada en el modelo Titans, pero con mejoras sustanciales. Mientras que Titans se limita a dos niveles de actualización de parámetros, Hope introduce una capacidad de auto-modificación, permitiendo niveles ilimitados de aprendizaje en contexto.Hope incorpora un sistema denominado Continuum Memory System (CMS), que distribuye la memoria a lo largo de módulos que aprenden a diferentes frecuencias. Este diseño permite un manejo mucho más eficaz del contexto a largo plazo y convierte a Hope en un sistema que no sólo recuerda, sino que también aprende a recordar mejor con el tiempo.Optimizadores profundos y memoria continuaNested Learning también replantea el papel de los algoritmos de optimización. En lugar de usar la típica comparación por producto punto entre vectores, se adopta una métrica más sensible como la pérdida L2, que permite una mejor adaptación a datos imperfectos. Al tratar a los optimizadores como módulos de memoria asociativa, se puede mejorar su resiliencia y capacidad de generalización.La arquitectura CMS, por su parte, supera la separación tradicional entre memoria a corto y largo plazo, como la que existe en los transformers convencionales. En lugar de eso, los distintos componentes se organizan en un espectro de memorias con diferentes ritmos de actualización, lo que proporciona una base mucho más rica para el aprendizaje continuo.Resultados prometedoresEn pruebas de modelado de lenguaje, razonamiento de sentido común y tareas de contexto extendido como «Needle-In-A-Haystack» (NIAH), Hope demostró un rendimiento superior a modelos existentes como Titans, Samba, Mamba2 y transformers tradicionales.Las métricas de evaluación mostraron que Hope logra menor perplejidad (una medida de incertidumbre en el lenguaje) y mayor precisión en tareas de razonamiento, destacándose especialmente en contextos de alta dificultad. La arquitectura no sólo recuerda más, sino que sabe cuándo y dónde usar esa información, adaptándose mejor a nuevas situaciones sin sacrificar lo ya aprendido.Una nueva ruta hacia la IA auto-mejorableNested Learning no solo es un cambio técnico; es un replanteamiento filosófico de lo que significa aprender para una máquina. Al fusionar la arquitectura del modelo con sus reglas de aprendizaje en un mismo marco de optimización anidada, se abren posibilidades para sistemas que no sólo ejecutan tareas, sino que reconstruyen su forma de aprender a lo largo del tiempo.El camino hacia una inteligencia artificial que aprenda de manera continua, como lo hace el cerebro humano, podría estar más cerca con esta aproximación. Nested Learning es un paso firme en esa dirección, ofreciendo una base más robusta para modelos más adaptables, duraderos y conscientes de su propio proceso de aprendizaje.La noticia Nested Learning: una nueva dimensión para la inteligencia artificial continua fue publicada originalmente en Wwwhatsnew.com por Natalia Polo.