Thinking Machines Lab — стартап бывшего технического директора OpenAI Миры Мурати — представил свою первую модель Inkling, к которой компания шла почти полтора года. Inkling — мультимодальная модель с архитектурой "смесь экспертов" (MoE) на 975 млрд параметров, из которых на каждый токен активны 41 млрд. Она работает с текстом, изображениями и аудио, поддерживает контекст до 1 млн токенов и рассуждающий режим. Главное отличие от флагманов OpenAI, Anthropic и Google — открытые веса. Модель уже лежит на Hugging Face, и любой может скачать ее и дообучить под себя. Читать далее