Remote Photoplethysmography (rPPG) — это технология бесконтактного измерения физиологических сигналов человека по видеозаписи. Изначально метод создавался для оценки пульса через обычную камеру, но позже стал одним из важных инструментов обнаружения дипфейков.Основная идея очень проста:Когда сердце перекачивает кровь, объем крови в капиллярах лица слегка меняется. Это вызывает микроскопические изменения отраженного света от кожи. Человеческий глаз их не замечает, но алгоритмы компьютерного зрения могут извлечь эти изменения из видеопотока и восстановить сигнал сердцебиения.Для настоящего человека физиологический сигнал присутствует всегда, однако его качество извлечения зависит от условий съемки. В синтетических видео rPPG-сигнал часто отсутствует, искажается или демонстрирует физиологически неправдоподобные характеристики. Почему дипфейки плохо проходят rPPGБольшинство генеративных моделей обучаются воспроизводить -форму лица, мимику, движения губ, моргание. Но, они обычно не моделируют - кровоток, сосудистые изменения, физиологические процессы. Поэтому при анализе возникают артефакты. Признак 1. Отсутствие пульсового сигналаВ некоторых дипфейках спектр выглядит как шум:Настоящее лицо:пик на 75 bpmДипфейк:хаотический спектрбез выраженного пика Признак 2. Несогласованность областей лицаУ живого человека:лоб,правая щека,левая щекапоказывают одинаковый пульс.Например:Лоб: 72 bpmПравая щека: 73 bpmЛевая щека: 71 bpm У дипфейка:Лоб: 62 bpmПравая щека: 91 bpmЛевая щека: 47 bpmчто физиологически маловероятно. Читать далее