Локальный стек ИИ обновился сразу по пяти направлениям: кодинг-агенты, плотные «учителя» для дистилляции, модели для локального запуска на устройстве, мультиагентные системы и разбор документов. Ещё в начале года запуск приличной агентной модели дома означал кластер, теперь же часть моделей из подборки работает на одной видеокарте или даже на процессоре (как Indra OCR), а для крупных агентных моделей можно заранее рассчитать бюджет памяти под веса и KV-кэш. В сентябрьском обзоре открытых нейросетей мы уже видели эту тенденцию, за месяц она только закрепилась.Собрали шесть открытых моделей октября 2026 года, у каждой своя ниша: от компактного OCR-трансформера Indra OCR (38 млн параметров, около 76 МБ) и кодовой модели Spark-X2.6-4B (около 3,5 ГБ в 4-битном кванте) до серверных MoE-моделей — Flint от Recursive для агентного кодинга, Nanbeige4.3-33B от команды рекрутинговой платформы BOSS Zhipin и Sage-A1.5 от Шанхайской лаборатории ИИ для научных мультиагентных задач; Nemotron 3.5 Parse от NVIDIA разбирает документы. Все модели — открытые веса, лицензии от Apache 2.0 до OpenMDW 1.1.Flint: MoE на 39,8 млрд параметров с 2,5 млрд активных, 74,2% на SWE-bench Verified по замерам Recursive, Q4-квант от Unsloth весит 25,1 ГБ.Nanbeige4.3-33B: 80,9 балла на Terminal-Bench 2.0 против 65,4 у Qwen3.8-27B, контекст 512 тыс. токенов, лицензия Apache 2.0.Spark-X2.6-4B: контекст 1 млн токенов, три режима рассуждений, квант Q4 весит 3,5 ГБ и живёт на ноутбуке.Indra OCR читает 44 страницы в секунду на 32 ядрах CPU и понимает русский; Nemotron 3.5 Parse даёт 75,2 балла на ParseBench при 0,63 млрд параметров.Flint: кодинг-агент на 2,5 млрд активных параметровFlint — модель со смесью экспертов (MoE) для кодинг-агентов от Recursive: 39,8 млрд параметров всего и около 2,5 млрд активных на токен (обозначение 40B-A2.5B). Внутри 49 слоёв: два плотных и 47 MoE со 256 экспертами, из которых на токен выбираются шесть плюс всегда активный общий эксперт. Задокументированный контекст — 262 144 токена, знания — до июня 2026 года, лицензия Apache 2.0.По замерам Recursive в релизных оценках Flint набирает 74,2% на SWE-bench Verified, 89,7% на SWE-bench Pro v2 и 54,9% на Terminal-Bench 2.1 (temperature 1,0, top_p 0,95, минимум пять попыток на задачу). Для сравнения уровня локальных сверстников команда публиковала график с NVFP4-чекпоинтом. BF16-версия весов занимает около 80 ГБ и рассчитана на одну B300 или H200 с готовой конфигурацией для SGLang, а Q4-кванты от Unsloth весят около 25,1 ГБ — это размер файла весов: полная потребность в видеопамяти выше за счёт KV-кэша и буферов активаций, растущих с длиной контекста. Такой квант помещается на карту с 32 ГБ памяти или в объединённую память Apple Silicon. Бесплатный API для проверки модели без скачивания — на OpenRouter.Заявленные авторами результаты на SWE-Bench Pro: единый сопоставимый бенчмарк для кодовых моделей обзора. График: Tproger по карточкам моделей на Hugging FaceИнженерная деталь: 35 из 49 слоёв внимания работают со скользящим окном в 513 токенов и лишь 14 — с полным вниманием. Именно поэтому MoE с длинным контекстом не раздувает память под историю диалога. Рекомендованные настройки генерации — temperature 1,0, top_p 0,95, top_k 20, бюджет вывода для сложных задач не меньше 32 768 токенов с учётом рассуждений; при многоходовых диалогах сохраняйте поле reasoning_content в истории. Команда честно предупреждает: структурированная грамматика вызовов инструментов не мешает модели выбрать опасное действие — разрешения и границы исполнения должно обеспечивать приложение.Nanbeige4.3-33B: плотный «учитель» и ловушка KV-кэшаNanbeige4.3-33B — плотная (dense) модель на 33 млрд параметров от команды BOSS Zhipin. Стратегия серии описана прямо в карточке: сначала мощный «учитель»-агент, затем дистилляция его навыков в компактные модели вроде будущей Nanbeige4.3-3B. Языки — английский и китайский, лицензия Apache 2.0, контекст — 524 288 токенов (512 тыс.).Бенчмарки в карточке: Nanbeige4.3-33B набирает 80,9 балла на Terminal-Bench 2.0 против 65,4 у Qwen3.8-27B, 92,8 против 86,2 на τ²-Bench, 76,9 против 72,8 на BFCL-V4, 90,1 против 88,5 на GPQA-Diamond и 89,2 против 86,4 на LiveCodeBench — все модели тестировали на одних гиперпараметрах и одном харнессе. У Qwen3.8-27B впереди две категории из таблицы карточки: SWE-Bench Pro (56,6 против 55,6) и GDPval (86,4 против 84,8). Для агентных сценариев команда рекомендует temperature 1,0, top_p 0,95 и бюджет вывода до 65 536 токенов, в шаблоне диалога — preserve_thinking=True для многоходовой работы с инструментами и tool_call_format=xml для вызовов.Главная инженерная ловушка плотной архитектуры — KV-кэш на длинном контексте. Его размер определяется числом слоёв трансформера, числом KV-голов в механизме GQA (Grouped-Query Attention), размерностью головы и длиной контекста. По расчётам редакции по конфигурациям моделей, на 262 000 токенов в q8 кэш Nanbeige4.3-33B займёт около 26 ГБ против 8,6 ГБ у Qwen3.8-27B с группированным вниманием: чем меньше KV-голов, тем меньше кэш. В штатной конфигурации карточки Nanbeige4.3-33B авторы запускают BF16-веса (около 66 ГБ) с --tensor-parallel-size 4 на четырёх GPU и окном 262 144 токена — длинный контекст требует либо нескольких карт, либо урезанного окна.Spark-X2.6-4B: агент с контекстом в 1 млн токенов для ноутбукаSpark-X2.6-4B — компактная модель на 4 млрд параметров для агентов, работающих на устройстве. Архитектура та же, что у Spark-X2.5-4B, весь прирост получен дообучением: по данным авторов, модель обходит сопоставимые открытые модели около 9 млрд параметров на своём наборе задач. Пример запуска с контекстом 1 048 576 токенов приведён авторами для SGLang (--context-length 1048576), для vLLM опубликован базовый запуск с --trust-remote-code, лицензия Apache 2.0.Особенность серии — управляемый бюджет размышлений: три режима none, low и high позволяют балансировать качество рассуждений, задержку и стоимость инференса на лету. Файл весов в 4-битной квантизации занимает около 3,5 ГБ и запускается где угодно: llama.cpp (сборка b10828 или новее), Ollama (v0.34.1+), LM Studio, MLX для Apple Silicon, даже на Linux CPU. Рекомендованные настройки — temperature 1,0, top_p 0,95; для transformers нужна версия 4.57.1. Для серверного запуска авторы публикуют docker-команды: для SGLang — с --context-length 1048576, для vLLM — базовый запуск с --trust-remote-code.Sage-A1.5: мультиагент для науки на одной карте с 24 ГБSage-A1.5 — исследовательская мультиагентная модель Шанхайской лаборатории ИИ на базе Qwen3.6-35B-A3B: MoE на 35 млрд параметров с 3 млрд активных на токен. Три заявленные способности: оркестрация субагентов с изолированными контекстами через инструмент spawn_subagent, встроенная верификация — модель сама останавливается посреди траектории, перепроверяет, что установлено, и меняет направление в том же ходе, — и открытые научные исследования с проверяемыми артефактами. Техотчёт выложен на arXiv (2610.28578).На GAIA — 95,1 балла, выше, чем у всех более крупных моделей в сравнении: Kimi-K3 и GLM-5.3 по 92,2, GPT-5.6-sol — 88,3 (результаты конкурентов взяты авторами из их официальных отчётов). Плюс 92,0 на XBench-DS-2510, 81,6 на IFBench, 90,0 на PinchBench и 54,5 на SWE-bench Pro; замеры на SWE-bench Verified и SWE-bench Pro выполнены командой в полностью офлайн-среде с харнессом mini-SWE-agent без веб-поиска, контекст 200 тыс. токенов. Нативный контекст 256 тыс. токенов расширяется до 512 тыс. через YaRN с фактором 2.0.Файл весов в 4-битной квантизации (Q4-квант Unsloth) занимает около 21,7 ГБ, поэтому модель помещается на одну карту с 24 ГБ VRAM при умеренном контексте; полная потребность в видеопамяти зависит ещё и от KV-кэша с буферами активаций, растущих с длиной контекста. Режим верификации включают флагом chat_template_kwargs со значением true, при этом непустое системное сообщение обязательно — без него запрос вернёт ошибку 400. В vLLM есть режим --language-model-only, который выгружает визуальный энкодер и освобождает память под KV-кэш, а блок MTP предсказывает сразу несколько следующих токенов за один проход, ускоряя декодирование. Лицензия Apache 2.0.Разбор документов: Indra OCR на CPU и Nemotron 3.5 Parse на H100Для оцифровки документов тяжёлый кластер не нужен. Indra OCR от Datalab — авторов marker и surya — это ансамбль ONNX-сетей суммарно на 38 млн параметров (около 76 МБ), работающий на CPU без PyTorch: 44 страницы в секунду на 32 ядрах AMD EPYC, в 15 раз быстрее Tesseract и в 10 раз быстрее текстовых моделей PaddleOCR на той же машине (замеры Datalab). Модель читает более 80 языков, включая русский и другие кириллические, распознаёт рукописный текст, сканы, повёрнутые до 45 градусов, и вертикальные колонки. На синтетическом стресс-бенчмарке MOSCAR с повёрнутыми и искажёнными строками авторы заявляют CER 0,89% против 3,02% у PaddleOCR-VL-1.5. На OmniParseBench — 66,7 балла, с включённой математикой 71,4 против 58,4 у полного пайплайна PP-StructureV3.Для цифровых PDF Indra OCR читает текстовый слой напрямую в любом алфавите, сохраняя не меньше 98% символов по проверкам авторов, и прогоняет OCR только там, где слой битый. Ограничения описаны честно: сложные таблицы со слиянием ячеек и деградировавшие старые сканы — слабые места, на тестах рукописного текста OmniParseBench всего 25,2%. Лицензия — модифицированная OpenRAIL-M: бесплатно для исследований, личного использования и компаний с финансированием и годовой выручкой ниже $20 млн, но запрещено использование для создания сервисов, конкурирующих с коммерческим API Datalab.Nemotron 3.5 Parse от NVIDIA (релиз 17 октября 2026 года) — 0,63 млрд параметров: визуальный энкодер C-RADIOv4-SO400M и 10-слойный mBART-декодер. На ParseBench в трёхпроходном режиме — 75,2 балла, наравне с 4-миллиардной LightOnOCR-3-4B (75,1); сравнение скорости — 386 страниц в секунду на H100 — провела сама NVIDIA, а метрики точности конкурентов взяты из их публикаций. Вместе с текстом модель возвращает семантический класс каждого блока, координаты его рамки и порядок чтения. Лицензия OpenMDW 1.1 разрешает коммерческое использование, для инференса нужны transformers 5.14.1 или vLLM >=0.25.0,