얼굴 역검색은 얼마나 정확한가?
얼굴 역검색은 최적 조건에서 약 95%의 일치 정확도를 보입니다. 최적 조건이란 가려지지 않은 한 사람의 얼굴이 정면을 향하고, 고르게 조명되며, 선명하게 찍힌 사진을 뜻합니다. 정확도는 어디서나 통하는 하나의 숫자가 아니어서 각도, 흔들림, 필터, 가림에 따라 떨어집니다. 신뢰도 점수는 두 얼굴의 유사도를 재는 값이지, 그 일치가 본인일 확률이 아닙니다.
최종 검토
요약
- 약 95%는 최적 조건에서의 수치이며, 모든 사진에 적용되는 보장이 아닙니다.
- 신뢰도 점수는 두 얼굴이 얼마나 닮았는지를 잽니다. 일치가 옳을 확률이 아닙니다.
- 놓친 결과보다 오탐이 더 중요합니다. 서로 다른 두 사람이 일치로 판정되는 것이 실제 피해를 낳는 오류입니다.
- 정확한 모델도 웹 규모에서는 엉뚱한 사람을 반환합니다. 어떤 색인이든 찾는 사람보다 낯선 사람이 훨씬 많기 때문입니다.
- 모든 일치는 따로 확인해야 할 단서이지, 신원의 증명이 아닙니다.
얼굴 역검색은 얼마나 정확한가?
얼굴 역검색은 최적 조건에서 약 95%의 일치 정확도에 이릅니다. 최적 조건은 면책 문구가 아니라 실제 제약입니다. 가려지지 않은 얼굴 하나가 카메라를 향하고, 조명이 고르며, 이목구비를 구별할 수 있을 만큼 해상도가 확보된 상태를 말합니다. 이 중 하나라도 어긋나면 밑바탕의 모델은 그대로여도 그 검색의 정확도는 떨어집니다. 이 수치는 좋은 사진을 받았을 때 시스템이 보이는 성능을 설명하는 것이지, 손에 있는 아무 사진의 평균 결과가 아닙니다.
- 이 수치는 모델을 설명하지, 당신의 검색을 설명하지 않습니다. 어느 쪽 끝에 놓이는지는 사진이 정합니다.
- 정확함과 유용함은 다릅니다. 아무도 열 수 없는 페이지의 올바른 일치는 여전히 아무것도 알려주지 않습니다.
- 어디에도 색인되지 않은 얼굴에는 정확도라는 수치가 없습니다. 그것은 정확도가 아니라 수집 범위의 문제입니다.
신뢰도 점수는 실제로 무엇을 재는가?
신뢰도 점수는 업로드한 얼굴과 찾아낸 얼굴이 모델의 수치 공간에서 얼마나 가까이 놓이는지를 잽니다. 검색 엔진 고유의 척도에서 매긴 유사도이지, 두 사진이 같은 사람이라는 확률이 아닙니다. 점수가 90이라고 해서 그 일치가 90% 확률로 옳다는 뜻은 아닙니다. 모델의 척도로 두 얼굴이 매우 비슷하다는 뜻이며, 사진이 좋을 때는 강한 근거이고 사진이 나쁠 때는 훨씬 약한 근거입니다.
정확한 시스템이 왜 엉뚱한 사람을 반환하는가?
검색 가능한 색인에는 찾고 있는 그 한 사람보다 낯선 사람이 비교할 수 없이 많이 들어 있기 때문입니다. 만 번에 한 번 잘못 짝짓는 모델은 정밀해 보이지만, 수백만 개의 색인된 얼굴과 대조하는 검색은 옳은 결과 옆에 여전히 엉뚱한 사람을 함께 내놓습니다. 한 번의 비교로 잰 정확도는 웹 규모 검색이 수행하는 비교 횟수를 곱하는 순간 의미를 잃습니다. 신뢰도 임계값이 존재하는 이유가 이것이고, 최상단 결과가 자동으로 옳은 사람이 아닌 이유도 이것입니다.
사진의 어떤 성질이 결과를 바꾸는가?
업로드한 이미지의 여섯 가지 성질이 깔끔한 일치와 쓸 수 없는 결과 사이 차이의 대부분을 설명합니다. 이들은 겹쳐서 작용합니다. 작고 옆을 보며 필터를 씌운 얼굴은 그 문제들 중 하나만 있는 경우보다 훨씬 나쁩니다.
| 성질 | 정확도에 유리 | 정확도에 불리 |
|---|---|---|
| 얼굴 각도 | 정면, 두 눈이 보임 | 심한 옆모습이거나 고개를 돌린 상태 |
| 해상도 | 얼굴이 화면에서 큰 비중을 차지 | 넓은 장면에서 잘라낸 작은 얼굴 |
| 조명 | 얼굴 전체에 고른 빛 | 강한 그림자, 역광, 뚜렷한 색조 치우침 |
| 가림 | 얼굴을 가리는 것이 없음 | 선글라스, 마스크, 손, 두꺼운 머리카락 |
| 보정 | 편집하지 않은 원본 파일 | 뷰티 필터, 강한 보정, 증강현실 효과 |
| 인원 | 사진에 얼굴이 하나 | 단체 사진, 다른 얼굴이 읽힐 수 있음 |
얼굴 인식 정확도는 어떻게 독립적으로 측정되는가?
미국 국립표준기술연구소는 Face Recognition Vendor Test를 운영하며, 제출된 알고리즘을 통제된 데이터셋으로 평가하고 오류율을 공개합니다. FRVT는 얼굴 인식의 전반적 수준을 가늠하는 기준점이며, 두 사진이 같은 사람인지 확인하는 일대일 검증과, 얼굴 검색이 실제로 수행하는 일대다 식별을 구분합니다. FaceSearch는 이 데이터셋에 대한 자체 평가를 공개하지 않았고, 공개된 FRVT 수치는 선별된 이미지에서 나온 값이므로, 웹 규모 검색이 실제로 달성하는 수준이 아니라 상한을 설명합니다.
일치를 믿어서는 안 되는 때는 언제인가?
얼굴 일치는 확인해야 할 근거이며, 사람에게 영향을 주는 어떤 결정도 그것만으로는 뒷받침하지 못합니다. 피해를 낳는 오류는 오탐입니다. 찾는 사람과 닮은 낯선 사람이 높은 점수로 올라오고, 신원이 이미 확정된 것처럼 다뤄지는 경우입니다.
- 일치 하나만 보고 행동하지 마세요. 사이트마다 같은 사용자명, 공통 지인, 두 번째 사진처럼 독립적인 근거로 확인하세요.
- 일치를 근거로 누군가의 고용, 주거, 신용을 결정하지 마세요. 이런 용도는 여러 관할권에서 규제됩니다.
- 결과가 비어 있다고 해서 그 사람에게 온라인 흔적이 없다는 증거로 읽지 마세요.
- 점수가 낮다고 다른 사람이라고 단정하지 마세요. 낮은 점수는 대개 사진이 나쁘다는 뜻일 뿐입니다.
출처
- Face Recognition Vendor Test (FRVT) 1:1 Verification, National Institute of Standards and Technology
- Face Recognition Vendor Test programme, National Institute of Standards and Technology