Адаптер под агента Pi поднял Qwen3.8-27B с 39 до 65% на SWE-bench Pro

Wait 5 sec.

Hugging Face 20 ноября опубликовала рецепт «адаптеров под харнесс»: открытую Qwen3.8-27B дообучили с подкреплением прямо внутри трёх кодинг-агентов — Pi, OpenCode и Hermes Agent. Отдельный LoRA-адаптер для Pi поднял долю решённых сложных задач SWE-bench Pro с 39,2 до 64,7%, а общий адаптер на все три агента работает лучше базовой модели в каждом из них. Все эти замеры сделаны с выключенными рассуждениями, а на задачах, которые решают обе модели, общий адаптер генерирует на 44–60% меньше токенов.Для разработчика, который гоняет локальную модель в своём агенте, это готовый способ поднять качество и снизить расход без смены модели. Адаптеры и их GGUF-версии для llama.cpp выложены под лицензией Apache 2.0, набор задач для обучения — под BSD 3-Clause, а рецепт описан так, чтобы его можно было повторить на своих задачах и своём агенте.Hugging Face обучила по LoRA-адаптеру для Qwen3.8-27B под каждый из трёх агентов: Pi, OpenCode и Hermes Agent. Обучение с подкреплением шло внутри самих агентов, без переписывания их кода.На 51 самой сложной задаче SWE-bench Pro, с выключенными рассуждениями, адаптер для Pi поднял результат с 39,2 до 64,7%, для Hermes Agent с 29,4 до 43,1%, для OpenCode с 35,3 до 51,0%.Адаптеры делают на 53–72% меньше вызовов инструментов на задачах, которые решают и они, и базовая модель.Три адаптера склеили в один «супер-адаптер»: он лучше базовой модели во всех трёх агентах и тратит на 44–60% меньше токенов, но в режиме без рассуждений уступает узким адаптерам в четырёх случаях из шести.Адаптеры, GGUF-версии и плагин защиты safeagents открыты под Apache 2.0, набор задач — под BSD 3-Clause.Зачем дообучать модель под конкретного агента?Модели обучают на общую производительность, а не под конкретный харнесс, то есть обвязку агента: системный промпт, набор инструментов, формат вызовов, правила сжатия контекста. Поэтому связка «модель плюс агент» почти всегда работает хуже, чем могла бы, пишут авторы. Их идея: заморозить веса модели и обучить поверх небольшой LoRA-адаптер методом обучения с подкреплением (RL) на задачах, похожих на ваши, прямо внутри вашего агента.Это продолжение прошлой работы команды, где тот же подход проверяли на анализе данных и сборке кода. Теперь его масштабировали на модель с 27 млрд параметров, реальные задачи программной инженерии и три агента. Если вы не сталкивались с LoRA, коллеги разбирали, чем она отличается от полного дообучения: обучается небольшая добавка к весам, а сама модель не меняется.Главное отличие от большинства RL-фреймворков в том, что агент работает ровно в том виде, в котором его ставят пользователи. В verl, окружениях SkyRL-Gym, rLLM и подобных системах агентный цикл переписывают под интерфейс фреймворка. Здесь между агентом и сервером vLLM стоит прокси, который записывает точные токены, а тренер учится на них. Использовались Pi 1.5.2, OpenCode 2.2.7 и Hermes Agent v0.22.6 в готовых Docker-образах.Как собрали задачи для обученияДля RL нужны задачи, проверка, которая оценивает каждую попытку, и уверенность, что проверка не ошибается. Команда взяла три источника:SWE-smith: в реальные репозитории на Python и Go внедряют баги, тесты, которые их ловят, становятся проверкой задачи;SWE-Gym: настоящие issue с GitHub и их исправления;Tasksmith из Repo2RLEnv: генерирует задачи по смёрженным пул-реквестам, из 30 пул-реквестов получилось 24 задачи в 10 репозиториях.Каждую задачу прогоняли через openenv validate: эталонное решение должно получать максимум, бездействие заметно меньше, заведомо неверный ответ не должен проходить. Из 1 127 кандидатов с Hub проверку прошли 858. Попутно нашёлся дефект в самом Terminal-Bench 2.1: проверка задачи regex-log принимала заведомо неверные ответы. Задачи из целевых бенчмарков и их репозиториев из обучения исключили.Затем отсеивали слишком лёгкое и слишком сложное. GRPO, метод RL, который использовали авторы, сравнивает попытки одной задачи между собой, поэтому задача, которую модель решает всегда или никогда, ничему не учит. Из 442 оценённых задач базовая Qwen3.8-27B решила 151 каждый раз и 120 ни разу, фильтр сложности прошла 171 задача «иногда». Итоговый набор harness-hub/agentic-coding-envs — 871 задача из 35 репозиториев, задач с Hub не больше 40 на репозиторий. Финальная смесь для обучения: 750 задач из этого конвейера и 300 из набора termgrade.На чём и как обучалиКаждый адаптер обучали на двух NVIDIA B200: одна карта обслуживала vLLM, вторая обучение. Тренер AsyncGRPOTrainer из библиотеки TRL (о версии TRL 1.13 коллеги писали) не ждёт завершения всех прогонов агента перед шагом оптимизации. Награда — прошла ли проверка задачи плюс небольшой бонус 0,1 за экономию вызовов инструментов. Режим рассуждений во время обучения был выключен.Скорость обучения подбирали коротким перебором: 1e-4 ломало прогоны, 1e-5 почти ничего не меняло, 5e-5 работало, но на длинных прогонах становилось нестабильным, поэтому финальные адаптеры обучали с 2e-5. Всего три прогона заняли 598 шагов, 78 114 примеров и 167 млн токенов.Во время обучения модель ограничивал safeagents: инструмент блокирует подозрительные вызовы, например попытки трогать тесты вместо исправления кода. Из 1,3 млн проверенных вызовов он заблокировал 647, и доля блокировок падала по мере обучения. Плагин с правилами выложен отдельно, чтобы обучение можно было воспроизвести.Что показали бенчмаркиОценка шла внутри того же агента, в котором учился адаптер: все 89 задач Terminal-Bench 2.1 (час и 100 шагов на задачу) и 51 самая сложная задача SWE-bench Pro (два часа и 100 шагов), одна попытка на задачу, температура 0,8, рассуждения выключены, контекст до 131 072 токенов. Приросты посчитаны на задачах, которые получили оценку в прогонах обеих моделей. Цифры не сравнимы с карточкой Qwen3.8-27B, где другие агенты, бюджеты и полный SWE-bench Pro: это замеры Hugging Face в её собственных условиях.Серые столбцы — базовая модель, сплошные — адаптер под конкретный агент, штриховка — общий супер-адаптер; рассуждения выключены. Изображение: Hugging FaceSWE-bench Pro, Pi: рост с 39,2 до 64,7%, плюс 25,5 пункта; 15 задач решены впервые, 2 потеряны, p = 0,002.SWE-bench Pro, Hermes Agent: с 29,4 до 43,1%; OpenCode: с 35,3 до 51,0%.Terminal-Bench 2.1: Pi плюс 16,3 пункта, Hermes Agent плюс 14,1, OpenCode плюс 6,0. Контрольные точки адаптеров выбирали в том числе по результатам бенчмарков, поэтому для OpenCode авторы отдельно приводят прирост на 66 задачах, которые в выборе не участвовали: плюс 13,6.На примере Pi в Terminal-Bench 2.1 авторы объясняют выигрыш тем, что модель меньше рассуждает, реже зовёт инструменты и чаще попадает с первого раза. На задачах, которые решают и адаптер, и базовая модель, вызовов инструментов становится на 56–72% меньше в SWE-bench Pro и на 53–70% меньше в Terminal-Bench 2.1.Навык частично переносится между агентами. Адаптер, обученный в Pi, внутри OpenCode поднял Terminal-Bench 2.1 с 44,8 до 54,0%, примерно как родной адаптер OpenCode, а в Hermes Agent сохранил около двух третей прироста собственного адаптера Hermes.Один адаптер на три агента: когда он лучшеОбновления весов трёх адаптеров оказались почти независимыми: косинусное сходство между ними 0,01–0,02. Поэтому их склеили без дообучения, сложив по рангу в один LoRA ранга 96 и взяв каждое обновление с весом 0,5. Вес выбирали на Terminal-Bench 2.1, так что цифры по нему у супер-адаптера немного оптимистичны; SWE-bench Pro в выборе не участвовал.Без рассуждений супер-адаптер лучше базовой модели во всех шести парах «агент — бенчмарк»: в среднем с 39,5 до 49,0%.На задачах, которые решают обе модели, он делает на 53–73% меньше вызовов инструментов и генерирует на 44–60% меньше токенов.С включёнными рассуждениями, хотя так его не обучали, он в среднем поднимает результат с 55,5 до 63,5%: в SWE-bench Pro плюс 16 пунктов в Hermes Agent и плюс 20 в OpenCode, а в Pi ничья на уровне 74%.Узкий адаптер без рассуждений сильнее общего в четырёх парах из шести, особенно в Pi: 64,0 против 46,0% на SWE-bench Pro.Отсюда рекомендация авторов: если пользуетесь одним агентом и выключаете рассуждения, берите его узкий адаптер, а супер-адаптер с включёнными рассуждениями подходит, когда агентов несколько.Что не так однозначноНа 300 задачах бизнес-автоматизации AutomationBench, вне знакомых агентов, адаптеры остались на уровне базовой модели: 23,0% у базовой, 27,0% у адаптера Pi, 25,3% у OpenCode, 23,7% у супер-адаптера и 17,7% у Hermes Agent. Авторы считают разницу шумом, кроме, возможно, адаптера Hermes: на этом тесте явного переноса навыка нет, а остальные адаптеры модель не испортили.Вторую оговорку авторы сделали сами. В режиме без рассуждений обученная модель перед вызовом инструмента пишет короткий текст вроде «подожди, посмотрим», чего базовая почти не делает. Это похоже на «утечку рассуждений»: модель научилась немного думать там, где думать не должна. По мнению команды, выводы это не отменяет, потому что сравнение шло при одинаковом бюджете токенов, но следующий шаг — повторить рецепт для моделей, которые всегда рассуждают, и для гибридного режима.Как попробовать у себяСупер-адаптер подключается к обычному серверу vLLM как LoRA-модуль. Команда ниже взята из карточки адаптера, там же готовые настройки для Pi, Hermes Agent и OpenCode:Ранг адаптера 96, но vLLM принимает только некоторые значения лимита, поэтому указан ближайший больший, 128. Для llama.cpp есть GGUF-версия адаптера, она ставится поверх GGUF базовой модели; авторы советуют квант Q8_0 и предупреждают, что GGUF-версию отдельно не оценивали. Узкие адаптеры, например для Pi, лежат в той же коллекции.Главная ценность для команд — сам рецепт. Задачи можно генерировать из пул-реквестов своего репозитория через Tasksmith, проверять openenv validate и обучать адаптер под свой агент тем же AsyncGRPOTrainer. Набор задач опубликован, а траектории финальной оценки авторы выложили в открытое хранилище.Источники: Hugging Face: Introducing harness adapters, 20 ноября 2026, Коллекция адаптеров Qwen3.8-27B Harness adapters, Карточка Qwen3.8-27B-super-adapter, Набор задач harness-hub/harness-adapters, Траектории оценки harness-adapters-trajectories, Hugging Face: первая версия harness adaptersИзображение на обложке: Hugging Face