8 октября компания JetBrains представила открытую языковую модель Mellum2.1. Новинка развивает предыдущую версию Mellum2, вышедшую в июне, и распространяется по лицензии Apache 2.0. В основе модели лежит архитектура mixture-of-experts объемом 12 млрд параметров, из которых при обработке запросов задействованы 2,5 млрд активных параметров. Разработчики сохранили прежнюю структуру сети, поэтому ключевые изменения затронули этап постобучения. Читать далее