영상 역검색: 영상에서 사람 찾기

영상에서 검색 가능한 프레임을 어떻게 뽑는가?

정지 화면을 잡는 방법은 어느 플랫폼에나 있고 특별한 소프트웨어도 필요 없습니다. 방법보다 어떤 순간을 고르느냐가 중요합니다.

• 영상을 재생하다가 얼굴이 멈춰 있고, 빛을 받고 있으며, 대체로 카메라를 향한 순간에 일시정지하세요.
• 재생기가 지원하면 한 프레임씩 이동하세요. 많은 웹 재생기에서 일시정지 중 쉼표와 마침표 키가 한 프레임씩 움직입니다.
• 화면을 캡처한 뒤 얼굴이 이미지에서 가장 크도록 머리와 어깨까지 잘라내세요.
• 잘라낸 결과는 다시 압축된 JPEG 대신 PNG로 저장하세요. 두 번째 압축 흔적이 겹치는 것을 막아 줍니다.
• 업로드 전에 저장한 이미지를 원본 크기로 확인하세요. 눈과 입가의 윤곽이 뭉개져 보이면 다른 프레임을 고르세요.

어떤 프레임을 골라야 하는가?

가장 좋은 프레임은 흥미로운 순간이 아니라 정지된 순간입니다. 움직임은 얼굴 대조의 천적입니다. 움직이는 얼굴은 노출 시간 동안 번지고, 대조가 의지하는 미세한 기하 구조가 뭉개지기 때문입니다. 말하는 도중의 같은 사람보다 듣고 있는 장면이 더 나은 프레임이 됩니다.

영상 프레임이 사진보다 대조하기 어려운 이유는?

영상의 한 프레임은 사진으로서 사진보다 못합니다. 영상 압축은 한 장의 선명함이 아니라 프레임 사이의 변화에 정보를 배분하므로, 일시정지한 프레임에는 같은 장면의 정지 이미지라면 없었을 블록 현상과 번짐이 남습니다. 롤링 셔터는 움직이는 얼굴을 일그러뜨리고, 어두운 영상은 프레임당 노출이 짧아 어두운 사진보다 잡음이 많으며, 다시 올릴 때마다 전체가 한 번 더 압축됩니다. 같은 사람이 프로필 사진으로는 쉽게 일치하는데 그 사진이 나온 영상의 프레임으로는 실패할 수 있는 이유가 이것입니다.

인물이 아니라 영상의 출처를 찾으려면?

영상이 어디서 왔는지 알아내는 것은 다른 작업이고 다른 도구가 필요합니다. 얼굴 검색은 화면에 누가 있는지에 답하므로, 출처가 없는 클립이나 다시 올라온 방송, 딥페이크로 의심되는 영상의 기원에는 도움이 되지 않습니다. 출처를 쫓으려면 키프레임이나 썸네일을 뽑아 일반 이미지 역검색에 넣으세요. 그쪽은 파일의 사본과 시각적으로 비슷한 장면을 웹 전체에서 찾습니다. 두 질문이 모두 중요하다면 차례로 실행하세요. 그 영상이 어디에 게시되었는지는 이미지 검색으로, 거기 누가 나오는지는 얼굴 검색으로 알아냅니다.

실시간 방송과 화면 녹화는 어떤가?

같은 원칙이 적용되지만 감안해야 할 화질 손실이 한 단계 더 있습니다. 화면 녹화는 이미 전송용으로 압축된 영상을 한 번 더 인코딩합니다. 따라서 방송 녹화에서 뽑은 프레임은 원본에서 두 세대 떨어져 있고 대개 얻을 수 있는 가장 약한 입력입니다. 플랫폼이 지원한다면 화면을 녹화한 뒤 프레임을 뽑는 대신 정지 화면을 직접 캡처하세요. 또 방송이 속도를 맞추려고 화질을 낮추지 않았던 구간을 고르세요.