Команда Moonshot AI показала очередной серьёзный шаг в сторону эффективных больших моделей. Новая архитектура объединяет два подхода (Gated DeltaNet и MLA-компрессию), создавая гибрид под названием KDA (Kimi Delta Attention). Это решение помогает модели лучше работать с длинным контекстом, сохраняя высокое качество рассуждений и при этом не раздувая вычислительные затраты. Читать далее