Насколько точен обратный поиск по лицу?
Обратный поиск по лицу даёт около 95% точности совпадений в оптимальных условиях, то есть на резкой, фронтальной, равномерно освещённой фотографии одного открытого лица. Точность не является единым числом, справедливым везде: она падает при повороте, размытии, фильтрах и перекрытиях. Оценка уверенности измеряет сходство двух лиц, а не вероятность того, что совпадение относится к нужному человеку.
Последняя проверка
Коротко
- Около 95% относится к оптимальным условиям и не является гарантией для любой фотографии.
- Оценка уверенности измеряет, насколько похожи два лица. Это не вероятность того, что совпадение верное.
- Ложные срабатывания важнее пропусков: именно совпадение двух разных людей причиняет реальный вред.
- Даже точная модель возвращает не тех людей в масштабе всего веба, потому что в любом индексе посторонних несравнимо больше, чем искомого человека.
- Любое совпадение является зацепкой, требующей проверки, а не доказательством личности.
Насколько точен обратный поиск по лицу?
Обратный поиск по лицу достигает примерно 95% точности совпадений в оптимальных условиях. Оптимальные условия являются реальным ограничением, а не юридической оговоркой: это одно открытое лицо, обращённое к камере, равномерно освещённое, с разрешением, достаточным для различения черт. Стоит утратить любое из этих условий, и точность именно этого поиска падает, хотя сама модель не изменилась. Цифра описывает работу системы на хорошей фотографии, а не средний результат для произвольного снимка, оказавшегося под рукой.
- Цифра описывает модель, а не ваш поиск. На каком конце диапазона вы окажетесь, решает фотография.
- Точность и полезность различны. Верное совпадение на странице, которую никто не может открыть, по-прежнему ничего не сообщает.
- Для лица, не проиндексированного нигде, цифры точности не существует. Это вопрос охвата, а не точности.
Что на самом деле измеряет оценка уверенности?
Оценка уверенности измеряет, насколько близко загруженное лицо и найденное лицо расположены в числовом пространстве модели. Это мера сходства по собственной шкале движка, а не вероятность того, что на двух фотографиях один и тот же человек. Оценка 90 не означает, что совпадение верно с вероятностью 90%. Она означает, что по мере модели два лица очень похожи, и это сильное свидетельство при хорошей фотографии и значительно более слабое при плохой.
Почему точная система всё равно возвращает не того человека?
Потому что в любом доступном для поиска индексе посторонних несравнимо больше, чем того единственного человека, которого ищут. Модель, ошибочно связывающая одно лицо из десяти тысяч, звучит точно, но поиск, сравнивающий с миллионами проиндексированных лиц, всё равно выдаст не тех людей рядом с верным результатом. Точность, измеренная на одном сравнении, не выдерживает умножения на число сравнений, которые выполняет поиск в масштабе веба. Именно поэтому существует порог уверенности и поэтому верхний результат не является автоматически нужным человеком.
Какие свойства фотографии меняют результат?
Шесть свойств загружаемого изображения объясняют большую часть разницы между чистым совпадением и непригодным результатом. Они накапливаются: маленькое лицо в профиль да ещё под фильтром намного хуже, чем любая из этих проблем по отдельности.
| Свойство | Помогает точности | Вредит точности |
|---|---|---|
| Ракурс лица | Анфас, оба глаза видны | Резкий профиль или отвёрнутая голова |
| Разрешение | Лицо занимает значительную часть кадра | Лицо является мелким фрагментом общего плана |
| Освещение | Ровный свет по всему лицу | Жёсткая тень, контровой свет, сильный цветовой сдвиг |
| Перекрытие | Лицо ничем не закрыто | Солнечные очки, маски, руки, густые волосы |
| Обработка | Исходный файл без правок | Бьюти-фильтры, сильная ретушь, эффекты дополненной реальности |
| Количество людей | Одно лицо на снимке | Групповые снимки, где может быть прочитано чужое лицо |
Как точность распознавания лиц измеряется независимо?
Национальный институт стандартов и технологий США проводит Face Recognition Vendor Test, который оценивает представленные алгоритмы на контролируемых наборах данных и публикует частоты ошибок. FRVT является точкой отсчёта для общего уровня распознавания лиц и разделяет верификацию один к одному, подтверждающую, что на двух снимках один человек, и идентификацию один ко многим, которую и выполняет поиск по лицу. FaceSearch не публиковала собственную оценку на этих наборах данных, а опубликованные показатели FRVT получены на отобранных изображениях, поэтому они описывают верхнюю границу, а не то, чего достигает поиск в масштабе веба на практике.
Когда на совпадение полагаться нельзя?
Совпадение по лицу является свидетельством, которое нужно проверить, и само по себе недостаточно ни для какого решения, затрагивающего человека. Вред причиняет ложное срабатывание: посторонний, похожий на искомого человека, поднятый наверх с высокой оценкой и принятый так, будто личность уже установлена.
- Не действуйте на основании единственного совпадения. Подтвердите его независимо: совпадающим на разных сайтах именем пользователя, общим знакомым или второй фотографией.
- Не используйте совпадение для решений о трудоустройстве, жилье или кредите. Такие применения регулируются в ряде юрисдикций.
- Не читайте пустой результат как доказательство того, что у человека нет присутствия в сети.
- Не считайте, что низкая оценка означает другого человека. Чаще она означает лишь плохую фотографию.
Источники
- Face Recognition Vendor Test (FRVT) 1:1 Verification, National Institute of Standards and Technology
- Face Recognition Vendor Test programme, National Institute of Standards and Technology