Decart AI обновила Lucy 2.5: модель для редактирования видео в реальном времени

Wait 5 sec.

Компания Decart AI представила обновление модели Lucy, предназначенной для редактирования Full HD-видео в реальном времени. В версии 2.5 разработчики сосредоточились на повышении стабильности генерации между кадрами и оптимизации производительности. По заявлению компании, модель по-прежнему обрабатывает видео с разрешением Full HD при 30 кадрах в секунду и поддерживает изменение объектов сцены с помощью текстовых промптов или референсных изображений.Одним из основных нововведений стал механизм Self-Anchoring. В начале работы модель создает опорное представление сцены, которое затем используется в качестве ориентира при последующей генерации. По данным Decart, это позволяет лучше сохранять внешний вид объектов и персонажей между кадрами, в том числе в случаях, когда они временно покидают поле зрения камеры и затем возвращаются в кадр. Такой подход должен повысить временную согласованность (temporal consistency) результата.Также разработчики сообщили об оптимизации инференса. Для вычислений используются форматы квантования MXFP8 и NVFP4, что, по данным компании, обеспечило четырехкратный прирост скорости генерации по сравнению с предыдущей реализацией. Дополнительно производительность повышена за счет применения алгоритма sparse attention и оптимизации kernel fusion, уменьшающей расходы на запуск вычислительных ядер и использование памяти.Как и предыдущая версия, Lucy 2.5 поддерживает редактирование видеопотока в реальном времени. Пользователь может изменять внешний вид персонажей, окружение, отдельные объекты и визуальные эффекты без предварительного рендеринга, используя текстовые инструкции или референсные изображения. Читать далее