Обратный поиск по видео: как найти человека из видео
Ни одна система поиска по лицу не обрабатывает видеофайл напрямую, а FaceSearch принимает только изображения JPEG, PNG и WebP. Чтобы найти человека, появляющегося в видео, поставьте паузу на кадре, где лицо чёткое и обращено к камере, сохраните этот кадр как изображение и запустите по нему обратный поиск по лицу.
Последняя проверка
Коротко
- Видео не является входными данными для поиска. Отдельный кадр из него является.
- Выберите кадр, где человек смотрит в камеру и не движется, затем обрежьте до головы и плеч.
- Кадры на паузе обычно мягче фотографий, поэтому выбирайте спокойный момент, а не эффектный.
- Найти человека в видео и найти источник видео являются разными задачами, и инструменты для них разные.
- Кадры из сильно сжатого или тёмного материала часто не срабатывают. Попробовать другой кадр дешевле, чем повторять тот же.
Можно ли выполнить обратный поиск по видео?
В виде видео нельзя. Не существует сервиса, который принимает видеофайл и возвращает людей на нём, и FaceSearch не исключение: загрузка принимает только изображения JPEG, PNG и WebP. То, что называют обратным поиском по видео, на практике является операцией из двух частей. Извлекается один кадр, и затем этот кадр ищется как обычное изображение. Всё, от чего зависит успех поиска, решается при выборе кадра.
Как получить из видео пригодный для поиска кадр?
Способ снять стоп-кадр есть на каждой платформе, и специальные программы не нужны. Метод важен меньше, чем выбранный момент.
- Воспроизведите видео и поставьте паузу на моменте, где лицо неподвижно, освещено и примерно обращено к камере.
- Если плеер позволяет, переходите по кадрам. Во многих веб-плеерах на паузе клавиши запятой и точки сдвигают на один кадр.
- Сделайте снимок экрана, затем обрежьте его до головы и плеч, чтобы лицо было самым крупным элементом изображения.
- Сохраните обрезку в PNG, а не в пересжатый JPEG: это избавит от второго слоя артефактов сжатия.
- Перед загрузкой посмотрите сохранённое изображение в полном размере. Если края глаз и рта выглядят замыленными, выберите другой кадр.
Какой кадр выбрать?
Лучший кадр является спокойным моментом, а не интересным. Движение является врагом совпадения по лицу, потому что движущееся лицо смазывается за время экспозиции и тонкая геометрия, на которую опирается сопоставление, стирается. Человек, который слушает, даёт лучший кадр, чем тот же человек на середине фразы.
| Предпочтительно | Избегать | Почему |
|---|---|---|
| Пауза или удерживаемое выражение | Середина жеста или слова | Смаз от движения полностью стирает детали черт |
| Лицо повёрнуто к камере | Профиль или отведённый взгляд | Профиль скрывает половину сравниваемой геометрии |
| Ровный устойчивый свет | Контровой свет или мигающая сцена | Силуэты и цветовые сдвиги сглаживают черты |
| Крупный или приближенный план | Общий план или толпа | Мелкое лицо плохо переносит сжатие |
| Исходное качество публикации | Запись экрана с воспроизводимым видео | Каждое перекодирование накапливает артефакты |
Почему кадры из видео сопоставлять труднее, чем фотографии?
Кадр видео является худшей фотографией, чем фотография. Сжатие видео отдаёт детализацию тому, что меняется между кадрами, а не резкости отдельного кадра, поэтому остановленный кадр несёт заметную блочность и замыливание, которых не было бы у снимка той же сцены. Роллинг-шаттер способен исказить движущееся лицо, тёмный материал шумнее тёмной фотографии, поскольку выдержка на кадр короткая, а любая повторная публикация сжимает всё ещё раз. Поэтому один и тот же человек может легко совпасть по аватару и не совпасть по кадру из видео, из которого этот аватар взят.
Как найти источник видео, а не человека на нём?
Выяснить, откуда взялось видео, является другой задачей и требует другого инструмента. Поиск по лицу отвечает на вопрос, кто в кадре, поэтому он не поможет с фрагментом без указания источника, с перезалитой трансляцией или с происхождением предполагаемого дипфейка. Для установления происхождения возьмите ключевой кадр или обложку и прогоните через обычный обратный поиск по изображениям: он ищет копии файла и визуально похожие сцены по всему вебу. Когда важны оба вопроса, выполните их последовательно: поиск по изображению покажет, где материал публиковался, поиск по лицу покажет, кто в нём появляется.
Как быть с трансляциями и записями экрана?
Правило то же самое, но с дополнительной потерей качества, которую стоит учесть. Запись экрана перекодирует материал, уже сжатый для доставки, поэтому кадр из записи трансляции отстоит от оригинала на два поколения и обычно является самым слабым доступным входом. Там, где платформа это позволяет, снимайте стоп-кадр напрямую, а не записывайте экран с последующим извлечением кадра, и выбирайте момент, когда трансляция не снижала качество, чтобы успевать за каналом.