Gemini 4 Neon возглавила LiveBench, но уступает в кодинге и терминале

Wait 5 sec.

Google выпустила Gemini 4 Neon 18 ноября, и за 4 дня модель успела подняться на первые строчки в нескольких независимых замерах. Для разработчика, который выбирает модель для Antigravity, Devin или API, всё зависит от задачи: сильные результаты в браузере и исследованиях соседствуют со скромными позициями в кодинге.На 22 ноября Neon лидирует в общем зачёте LiveBench 2.0, а в Vals Index и SimpleBench идёт второй после Fable 5.2. В отдельных агентных и прикладных тестах она обходится дешевле конкурентов; при этом разработчики спорят о расходе квоты, аккуратности правок и свежести знаний. О возможностях модели при запуске мы писали в новости о релизе Neon.Ключевые выводыВ LiveBench 2.0 Neon набрала 87,4 балла и заняла первое место в общем зачёте; в разделе Coding она третья с 89,7 балла.В Vals Index модель вторая с результатом 70,87%, а в индексах Finance и Legal занимает первые места.В SimpleBench у Neon второе место и 94,4% против 94,9% у Fable 5.2 и 95,4% у лучшего человека.В Terminal-Bench 4.1 Neon занимает восьмое место с 61,2% в связке с Antigravity CLI.По тарифу, указанному Artificial Analysis, миллион входных токенов стоит $3, выходных — $15, а кэшированных входных — $0,15.В каких задачах Neon выходит вперёдВ LiveBench 2.0 Neon получила 87,4 балла в общем зачёте против 84,9 у Fable 5.2 в режиме xhigh и GPT-6.2 Astra. Она также первая в Browser Use с 95,6 балла, а в Research с 94,5 балла делит первое место с Fable 5.2 (xhigh). Разделы имеют разные веса; по методике LiveBench на каждый набор задач приходится один прогон, поэтому разброс не оценён.Скриншот: LiveBench 2.0, Abacus AI (выделение — StatsWire)Стоимость успешной задачи в LiveBench составляет $2,654 для Neon против $9,850 для Fable 5.2 и $6,723 для Opus 5.5. Метрика делит стоимость задачи на балл и умножает результат на 100, учитывая неудачи и частичные решения. При этом Astra стоит $1,941 за успешную задачу, а Sol и Carbon тоже дешевле Neon.В Vals модель в режиме xhigh занимает второе место из 43 в общем индексе с 70,87%. В Finance Index она первая с 68,31%, в Legal Index — первая с 78,36%; в Legal Research Bench она лидирует среди 100 моделей с 56,25%, а в Tax Agent Bench — среди 91 модели с 54,89%. В Science Index Neon четвёртая с 62,63%, а в Harvey's Legal Agent Benchmark восьмая из 44 с 19,58%.В SimpleBench Neon набрала 94,4% и занимает второе место после Fable 5.2 с 94,9%. Лучший результат человека в той же таблице — 95,4%: обе модели остаются ниже этого ориентира.ЗамерМесто и результат NeonКто измерилОговоркаLiveBench 2.0, общий зачёт1-е место, 87,4 баллаLiveBenchОдин прогон на набор задачVals Index2-е место, 70,87%ValsРежим xhighSimpleBench2-е место, 94,4%SimpleBenchЛучший человек — 95,4%LiveBench, Coding3-е место, 89,7 баллаLiveBenchAstra и Carbon вышеTerminal-Bench 4.18-е место, 61,2%Terminal-BenchNeon xhigh с Antigravity CLIWebDev Arena6-е место, 1 765 балловLMArenaВариант Neon (High)Vals Science Index4-е место, 62,63%ValsРезультат для научных задачВ узких тестах другие команды тоже получили высокие показатели. В финансовом замере Surge AI Neon набрала 50,5% при $3,44 за задачу, а Fable 5.2 — 43,7% при $49,14; полный прогон стоил $1 378 и $19 263 соответственно. В p0 из Parallel назвали Neon лучшей из измеренных ими моделей для веб-исследований и сообщили о цене до 10 раз ниже следующей модели, но подробных баллов в публикации не привели.В авторском агентном isu-bench разработчик получил 54,7% для Neon против 43,2% для Opus 5.5 и 58,4% для Fable 5.2. По его подсчётам, счёт API для Neon составил около четверти счёта Fable 5.2; каждую модель запустили лишь раз.ИИ-аналитик Павел Хурын 19 ноября сообщил о первом месте Neon в собственном испытании на 105 заранее внесённых багах в 2 репозиториях. Полную методику в посте он не приводит.Есть и оценки поставщиков. Компания Cognition, продающая доступ к Neon в Devin, сообщает о 46,2% в своём FrontierCode 2.0 и результате в пределах одного пункта от Opus 5.5 примерно за треть стоимости; Tulsee Doshi из Google тоже называет модель быстрой и экономичной. Обе оценки исходят от вендоров.Почему первое место не означает лидерство в кодингеВ разделе Coding LiveBench Neon с 89,7 балла занимает третье место после Astra с 91,9 и Carbon с 91,0 (89,7 балла есть и у Fable 5.1). В Terminal-Bench 4.1 связка Neon xhigh и Antigravity CLI восьмая с 61,2%; первое место занимает Copilot Fusion с 71,2%, выше Neon также находятся Opus 5.5 и Astra. В WebDev Arena Neon шестая.Artificial Analysis ставит Neon xhigh на третье место в Intelligence Index с 61 баллом после Fable 5.2 и Astra в режимах max. В своём Coding Agent Index команда получила для Neon xhigh с Antigravity CLI 59 баллов при $6,86 за задачу, против $12,61 для Opus 5.5 max и $15,47 для Fable 5.2 xhigh. Результаты зависят от связки модели, режима и инструмента.Цена за токен сама по себе не показывает время и стоимость работы. По данным страницы Neon в Artificial Analysis, задача Intelligence Index занимает у Neon xhigh 22,8 минуты против медианы 12,7 минуты и стоит $6,44; при оценке модель сгенерировала 283 млн выходных токенов против медианы 65,4 млн.К заявлениям о первом месте в сводных индексах стоит относиться с осторожностью. В обсуждении на Hacker News участники раскритиковали Models Engineering Index: для Neon заполнены только 3 из 8 входящих в него бенчмарков. Поэтому надёжнее смотреть на отдельные результаты LiveBench, Vals и Artificial Analysis и их условия.Что разработчики хвалят и что перепроверяютВ том же обсуждении Hacker News разработчик рассказал, что использовал Neon high для длительного переноса языка в большом монорепозитории: по его впечатлению, она работала быстрее и дешевле Opus 5.5 medium при похожем результате. Другой участник похвалил документацию. Преподаватель материаловедения сообщил о близком к Carbon результате за половину времени в закрытом тесте.О текстах мнения тоже расходятся. Владелец агентства на Reddit рассматривает Neon для части письменной работы, а в ответах хвалят управление тоном; в другом обсуждении пользователь считает её хуже Argon в творческом письме. Физик-любитель на Hacker News жалуется на математические ошибки и чрезмерную похвалу его работе.Претензии к коду конкретнее. Разработчик на Hacker News сообщил, что в одном прогоне Neon Extra при работе с мостом OpenGL и Metal внесла 4 регрессии с приоритетом P1 и корректно исправила только 2 из примерно 10 найденных проблем, проверить это заявление нельзя. В другом обсуждении на Reddit модель назвали сильной, но небрежной.Расход подписочной квоты также вызывает противоположные отзывы. Один разработчик на Hacker News оценил расход Neon на своей задаче в 4% недельной квоты подписки Gemini за $20 в месяц против примерно 1% недельной квоты Claude за $20 в месяц для аналогичной работы; другой сообщил, что получает от подписки Google Ultra в 10–20 раз больше использования, чем от плана Claude 20x, который дороже. Причина разницы не установлена: это разные пользователи, планы и условия работы.Жалобы на лимиты появились 20 ноября, и в тот же вечер руководитель Antigravity пообещал расширить кэш и сбросить квоты, когда изменение раскатится; руководитель Antigravity признал, что до правки Neon сжигала квоту быстрее. Какая доля жалоб связана с этим, по сообщениям не установить. Об этом мы писали отдельно. Ещё один пользователь жалуется на поиск: модель не смогла открыть новые проекты GitHub, а в другом отзыве об Antigravity говорится о чтении и изменении файлов без промежуточных сообщений; последнее связано с поведением инструмента и модели.Как проверить Neon на своей работеДля первого прогона подойдут браузерные исследования, длинные агентные задачи и работа с текстом. Финансовые и юридические результаты Vals тоже дают повод для эксперимента, но ответы и ссылки на документы придётся проверять на собственных материалах. Для терминала и основной разработки имеет смысл сравнить Neon с Astra или Opus: в опубликованных тестах их позиции по кодингу выше по крайней мере в части дисциплин.Возьмите одну и ту же задачу и дайте её 2 моделям в сопоставимых условиях, затем проверьте результат и расход. В API учитывайте стоимость успешной задачи и неудачных попыток; в подписке — долю недельной квоты. Если используете кэширование, по данным Artificial Analysis кэшированный миллион входных токенов обходится в $0,15 вместо $3 со скидкой 95%, а выходные токены стоят $15.Начать можно с ревью собственного PR: один практик рассказал, что использует Neon для проверки кода, и предложил сравнивать модели на одном изменении. Сравните пользу замечаний, пропущенные ошибки и стоимость проверки.Каких измерений пока не хватаетNeon пока нет в таблице ARC-AGI и в Vision Arena; причина отсутствия неизвестна. В SWE-bench её тоже нет: последние записи в таблице датированы февралём 2026 года. Ждём независимых повторных прогонов с открытой методикой и результатов после обновлений модели и обвязки.Источники: Таблица LiveBench 2.0, Страница Gemini 4 Neon на Vals, Gemini 4 Neon на Artificial Analysis, Лидерборд Terminal-Bench, LMArena: WebDev Arena, Лидерборд SimpleBench, Анонс Gemini 4 Neon в блоге GoogleИзображение на обложке: Изображение: Google