Открытая языковая модель Qwen3.5 27B улучшила сама себя: переписала собственные веса без обучения и градиентов и стала решать 63,8% новых задач по математике против 57,2% у исходной версии. Об этом говорится в препринте «Language Models Can Rewrite Their Own Weights», опубликованном на arXiv 16 ноября 2026 года; авторы пишут, что, насколько им известно, модель сделала такое с собой впервые. Она получила доступ к своим весам, оценки своих ответов и возможность запускать себя, сама нашла причину ошибок и внесла правку.Для тех, кто дообучает и запускает открытые модели, работа показывает третий путь между дообучением и промптами: правка весов, которую модель пишет кодом на Python, проверяет парными тестами и может откатить, как коммит. Улучшение остаётся в весах и не добавляет ни токенов, ни вычислений на каждый ответ, а сама сессия правки требует только прямых прогонов модели, как при обычном инференсе.Препринт подготовили 11 исследователей во главе с Цзяцзюнем Фанем и Гэ Лю из Университета Иллинойса в Урбане-Шампейне (UIUC), соавторы также из Университета Карнеги — Меллона, Принстона, Стэнфорда, Ратгерса и Йеля. Независимой проверки результатов пока нет, кода в препринте не опубликовано.Qwen3.5 27B правит свои веса в Python-сессии без GPU: градиенты и оптимизаторы запрещены, на сессию даётся 20 прогонов самой себя и 200 запусков кода.Лучшая правка подняла точность на 490 новых задачах по математике с 57,2% до 63,8%, доля ответов, упёршихся в лимит 16 384 токена, упала с 33,6% до 26,1%.Из 8 сессий модель в 5 сама отказалась от правки, поэтому рабочая версия ни разу не стала хуже исходной.Копию себя с испорченной матрицей модель починила, не видя исходных весов: на шести бенчмарках с картинками точность выросла с 7,3% до 70,2% при 84,3% у оригинала.Версии того же семейства на 2, 4 и 9 млрд параметров с задачей не справились: 2B ничего не изменила, 4B и 9B себя сломали.Как модель правит свои веса без обучения?Модель работает с собственными весами в «сессии» из ходов: на каждом ходе она пишет короткое обоснование и одно действие. Перед первым ходом она получает «стартовый диагноз»: свои ответы на 256 тренировочных задачах по математике из набора DeepScaleR с оценками, долю верных ответов и долю ответов, которые не уложились в лимит токенов или ушли в повторы.Действий три. Code запускает Python на CPU: модель читает тензоры своих весов как числа и записывает на их место новые. Generate прогоняет модель на выбранных ею задачах с правкой и без неё на одних и тех же сидах, авторы называют это парным тестом. Read возвращает скрытые состояния модели на выбранных текстах, то есть векторы, которые каждый слой передаёт следующему.Устройство сессии: модель получает свои веса и оценённые ответы, пишет код, запускает себя и читает свои скрытые состояния. Источник: Fan et al., arXiv:2611.21885Ограничения жёсткие. Python-сессия отключает градиенты и отказывается выполнять код, который их считает, запускает оптимизатор, загружает модель, создаёт процесс или ходит в сеть. Править нельзя входные эмбеддинги, финальную нормализацию и выходной слой, а также просто умножать целый тензор на константу: это работало бы как смена температуры сэмплирования. На сессию даётся 20 прогонов модели и 200 запусков кода, генерация идёт через vLLM. Каждая сессия, давшая главные результаты, по словам авторов, заняла несколько часов на одной GPU.Задача сформулирована так: найти правку, которая заметно сокращает потери от найденной ошибки и не снижает точность, а если такой нет, ничего не менять. Отказ от правки считается нормальным исходом.Насколько модель стала лучше и за счёт чего?Главные цифры дал второй протокол эксперимента. Перед тем как отправить правку, фреймворк один раз проверяет её на 256 отложенных тренировочных задачах, которые модель в сессии не может ни прочитать, ни использовать, и только после этого модель решает, отправить правку или отозвать. Каждая из восьми сессий начиналась с исходных весов и отличалась только сидом.В трёх сессиях модель ничего не оставила, потому что её собственные тесты отвергли все попытки, ещё в двух отозвала правку после проверки на отложенных задачах, в трёх отправила. Отправленные правки оценивали на 490 задачах, которых не видела ни одна сессия, по восемь ответов на задачу с лимитом 16 384 токена; методику оценки авторы зафиксировали заранее.Сессия 1: сдвиг на 3,0 одного параметра в семи слоях линейного внимания, 57,8%, прирост 0,5 пункта статистически незначим.Сессия 2: в слое 63 модель вычла проекцию выходных матриц на направление, по которому её законченные и незаконченные ответы различаются в скрытых состояниях, 61,3%, плюс 4,0 пункта.Сессия 8: тот же параметр сдвинут на 0,5 во всех 48 слоях линейного внимания, 63,8%, плюс 6,6 пункта.Обе значимые правки бьют в ошибку, которую модель нашла у себя сама: длинное рассуждение, которое не заканчивается до лимита токенов. С правкой сессии 8 таких ответов 26,1% вместо 33,6%, с правкой сессии 2 — 28,8%. Параметр из сессии 8 авторы называют time-step bias: он влияет на то, как быстро слой линейного внимания Gated DeltaNet забывает старое. По объяснению самой модели, после сдвига эти слои затухают быстрее, и рассуждение реже застревает. В одном из примеров исходная модель 549 раз повторяет фразу «I will write the response» и упирается в лимит, а после правки решает ту же задачу за 5 341 токен.Слева точность рабочей версии модели после каждой из восьми сессий, в центре доля ответов, упёршихся в лимит токенов, справа одна задача до и после правки. Источник: Fan et al., arXiv:2611.21885В первом протоколе, без проверки на отложенных задачах, результат скромнее. Там модель сравнила скрытые состояния на законченных и незаконченных ответах, нашла направление, по которому они расходятся сильнее всего в слое 8, и немного ослабила его в двух выходных матрицах слоя. На тех же 490 новых задачах это дало 58,3% против 57,2%, прирост 1,1 пункта на границе значимости (p = 0,038).Как модель починила испорченную копию себя?Во втором эксперименте авторы взяли копию Qwen3.5 27B и заменили восемь строк выходной матрицы MLP в слое 30 из 64 сильным шумом. Такая копия не решала ни одной текстовой задачи по математике. Модели сказали только, что часть значений копии повреждена, как бывает при сбое памяти, без указания, где и как. Править копию должна была неповреждённая модель, но все прогоны и все веса, которые она читала, были от повреждённой.Модель начала с симптома: ни одного верного ответа, незаконченные ответы зацикливаются. Сначала она предположила, что сбой в ранних слоях, и промахнулась, тесты это показали. Затем измерила все выходные матрицы, нашла в слое 30 матрицу с выбросами далеко над остальными и обрезала в ней и ещё в 19 матрицах слоёв 0–10 значения больше 15 медиан по модулю. Исходные значения она не восстанавливала: в повреждённых строках записанные ею числа не коррелируют с оригиналом.На 200 новых текстовых задачах починенная копия решает 33% против 0% у повреждённой и 58,5% у оригинала. Если оставить только правку названной моделью матрицы, точность доходит до 55%, а правки остальных 19 матриц без неё копию не чинят: модель нашла именно причину сбоя.Самое неожиданное — перенос на картинки. Qwen3.5 27B мультимодальная, а починку модель искала и проверяла только на текстовых задачах. На шести бенчмарках с изображениями, которых не видела ни одна сессия, починенная копия значимо лучше повреждённой на каждом.Точность на бенчмарках с картинками, по 100 задач, %БенчмаркОригиналПовреждённая копияПосле починкиMathVista86367MathVerse76055MMStar73460HallusionBench891469POPE892381ScreenSpot-v293089Все шесть84,37,370,2В сумме это 83% точности оригинала. На ScreenSpot-v2, где модель должна найти нужный элемент интерфейса на скриншоте, починенная копия попадает в 89 случаях из 100 против 93 у оригинала.Почему это получилось только у 27B?Ту же задачу с теми же инструментами авторы дали четырём размерам семейства Qwen3.5: 2B, 4B, 9B и 27B. Версия на 2 млрд параметров не сделала ни одной правки, почти весь её код падал с ошибками. Версии на 4 и 9 млрд правили себя случайным шумом и ломались: у 4B в собственных тестах точность падала с 44,1% до 0%, правка 9B обнулила её точность на новых задачах (с 47,5%). Повреждённые копии малые модели не починили.Слева самоправка у четырёх размеров, в центре починка повреждённой копии, справа перенос починки 27B на шесть бенчмарков с картинками. Источник: Fan et al., arXiv:2611.21885Разницу авторы видят в работе с данными о себе. 27B сначала читает свои неудачные ответы, потом скрытые состояния, правит там, где измерила разницу, и оставляет только то, что подтверждают тесты. Малые модели угадывают и не реагируют на результаты тестов: 4B видела, что каждая правка её ломает, но отозвала их только в конце сессии. Вывод авторов: способность переписывать себя появляется с масштабом. Проверено это на одном семействе моделей.Чем это отличается от прошлых работ?Ближайшая предшественница — запись в блоге исследователей MIT CSAIL от 2 ноября 2026 года, среди авторов которой Омар Хаттаб, создатель DSPy. Там более сильная модель GPT-6 Astra правила веса маленькой Qwen3.5-0.8B: нашла причину зацикливания рассуждений, изменила 0,016% весов и подняла MATH-500 с 7,9% до 48,1%. Авторы MIT назвали правку моделью собственных весов задачей на будущее, и новая работа за неё взялась.От других подходов самоправка отличается тем, где остаётся результат. Переписывание промптов и кода агентов не меняет веса. Методы вроде STaR и SEAL меняют веса, но через градиентный спуск на ответах модели. Самокритика на инференсе вроде Self-Refine тратит токены на каждый ответ. Редактирование моделей (ROME, MEMIT) и удаление направлений в активациях используют похожие операции, но направления выбирает исследователь. Здесь каждое решение, от диагноза до отказа, принимает сама модель, а правка, по словам авторов, ничего не стоит на каждом следующем ответе.Какие ограничения у результата?Правки искали и проверяли только на задачах по математике, где ответ можно автоматически сверить с эталоном. Авторы пишут, что сессии нужна лишь проверка успеха, но на других задачах метод не проверен.Все модели из одного семейства Qwen3.5, вывод о масштабе сделан на четырёх размерах.Лучшие правки устроены просто: сдвиг одного параметра во всех слоях линейного внимания. Главный выигрыш — меньше незаконченных рассуждений при лимите токенов; на сколько вырастет точность без такого лимита, препринт не показывает.Повреждение было искусственным и сильным: шум в 200 раз больше типичного разброса весов в одном блоке. На реальных сбоях памяти починку не проверяли.Из восьми сессий значимую пользу дали две; ещё одна отправленная правка дала незначимые 0,5 пункта.Кода и весов отредактированных моделей в препринте нет, независимого воспроизведения пока тоже.Связь с рекурсивным самоулучшением — заявление авторов. Они называют самоправку необходимым шагом к модели, которая, как человек, не разделяет обучение и работу и улучшает себя всю жизнь без более крупной модели и без дообучения. В выводах они же оговаривают, что идти по этому пути нужно с людьми в контуре: каждую версию модели, которую она сделала из себя, проверять на безопасность и подтверждать человеком перед использованием.Что это значит для тех, кто дообучает и запускает модели?По нашей оценке, прямо сейчас повторить эксперимент без кода авторов сложно, но два вывода полезны уже сегодня. Первый: у рассуждающих моделей заметная часть ошибок на длинных задачах связана с ответами, которые не заканчиваются до лимита токенов, и у гибридных моделей это может зависеть от небольшого числа параметров линейного внимания. Похожую проблему, зацикливание при отладке кода, вендоры сами отмечают у открытых моделей, например у Inkling 2 Mini.Второй: правка весов без обучения выглядит как обычный диф. Она затрагивает конкретные тензоры, её можно прочитать, сравнить парным тестом на тех же сидах и откатить. Для команд, которые держат свои веса, например Qwen3.6-35B-A3B или другие модели семейства, это подсказка, как проверять такие изменения: на отложенных задачах, которые не участвовали в подборе правки, и с готовностью отказаться от неё.Если вы правите веса вручную или скриптом, повторите протокол авторов: оценивайте правку парным тестом (те же задачи и те же сиды с правкой и без), держите отдельный набор задач, который не участвует в подборе, и считайте отказ от правки нормальным исходом.Авторы называют следующие шаги: больше прогонов на сессию, повторные раунды, когда улучшенная модель правит себя снова, повреждения разной силы и задачи за пределами математики, где модель получает обратную связь от среды. Робототехнику они считают областью, где самоправка может дать больше всего: робот мог бы собирать ошибки за день и переписывать свои веса между эпизодами.Источники: arXiv: Language Models Can Rewrite Their Own Weights, PDF препринта, MIT CSAIL: Sparks of Weight-Space ProgrammingИзображение на обложке: Tproger по данным arXiv:2611.21885