«Тантор Лабс» и разработчик платформы контейнеризации и управления ИИ-инфраструктурой «Платформа Боцман» представили новую программно-аппаратную технологию хранения кэша ключей и значений (KV-cache) без использования памяти DRAM. В отличие от решений с программной оптимизацией кэширования, уникальная для российского рынка технология работает на уровне специализированного оборудования и позволяет использовать для кеша нейросетей специализированное NVMe-хранилище контекстной памяти (context memory storage), снижая зависимость от ограниченного объёма дорогостоящей HBM-памяти GPU и DRAM. Это резко увеличивает число одновременно обслуживаемых пользователей, ускоряет инференс и сокращает задержки обработки запросов, масштабируя корпоративные ИИ-сервисы без пропорционального увеличения количества ускорителей. При этом скорость доступа к данным сопоставима с показателями памяти DRAM, но с более низкой стоимостью за терабайт. Читать далее