Это может уменьшить смену кадра без дополнительной задержки, характерной для некоторых технологий генерации кадров Sony запатентовала систему на основе искусственного интеллекта, которая генерирует следующий кадр игры, пока графический процессор ещё занят его отрисовкой. Такой подход должен помочь сгладить просадки частоты кадров и сделать изображение стабильнее, не добавляя задержку, которая возникает у некоторых технологий генерации промежуточных кадров. Пока речь идёт только о патенте: Sony не приводит результатов испытаний, поэтому реальная эффективность метода не подтверждена. Существующие технологии генерации кадров нередко используют два уже готовых изображения, чтобы создать дополнительный кадр между ними. Для этого приходится ждать завершения отрисовки второго изображения, что может увеличивать задержку между действиями игрока и реакцией игры. В предложенной Sony системе ИИ использует последний готовый кадр и предсказывает, как будет выглядеть следующий, не дожидаясь его полной отрисовки. Пока видеочип формирует новое изображение, нейросеть отправляет свою версию кадра в буфер вывода. Источник изображения: сгенерировано Muse В основе системы лежит совместно обученная пара моделей — кодировщик и декодировщик. Первая преобразует готовый кадр в компактное числовое представление, а вторая на его основе восстанавливает предсказанное изображение. Для повышения точности система может учитывать векторы движения, описывающие перемещение объектов между кадрами, и последние действия игрока с контроллера. Эти данные помогают модели оценить не только то, что уже находится на экране, но и то, как сцена может измениться дальше. Для обучения нейросеть получает последовательности видеокадров: по одному изображению пытается предсказать следующее, а затем сравнивает результат с реальным кадром и вычисляет ошибку. Патент предусматривает проверку этой ошибки относительно заданного порога. Размечать изображения вручную при таком обучении не потребуется — эталоном служат следующие кадры исходного видео. В документе также описан вариант, при котором декодировщик выдаёт больше цветовых каналов, чем получает кодировщик, что позволяет формировать несколько предсказанных кадров за один раз. Sony рассматривает и альтернативу без нейросети: такой алгоритм перемещал бы блоки пикселей в соответствии с их движением, создавая синтетические кадры на основе перемещения элементов изображения. В патенте заявлена возможность поддерживать стабильную частоту вывода кадров без снижения качества картинки, однако это пока лишь описание предполагаемых преимуществ. Главный вопрос — сможет ли система достаточно быстро и точно предсказывать изображение в динамичных сценах, особенно когда нагрузка на графический процессор резко возрастает. Сам по себе патент не подтверждает, что технология уже работает в играх или появится в будущих консолях PlayStation.