В разговоре с Роном Бароном основатель xAI Илон Маск раскрыл подробности о Grok 5. Это ИИ обучают на новом суперкомпьютере Colossus 2 — он пока не вышел на полную мощность (1 млн GPU прогнозируют в 2026 году), но даже текущих возможностей хватает, чтобы разработчики размахнулись на модель с рекордными 6 трлн параметров. Для сравнения, Qwen3-Max и Kimi K2 состоят из 1 трлн параметров, GPT-4o оценивается в 1,7 трлн параметров, а Grok 4 - 1,7-3 трлн параметров в зависимости от оценки. Также важно добавить, что разработчики Grok всегда придерживались архитектуры MoE (Mixture of Experts), в которой на каждый токен активируется лишь часть параметров — это позволяет экономить ресурсы. Читать далее