顔画像による逆検索の精度はどのくらいか
顔画像による逆検索の照合精度は、最適な条件下でおよそ 95% です。最適な条件とは、遮るもののない一人の顔が正面を向き、十分な明るさで鮮明に写っている状態を指します。精度はどこでも通用する固定値ではなく、角度、ぶれ、フィルター、遮蔽によって下がります。信頼度スコアが測っているのは二つの顔の類似度であり、その一致が本人である確率ではありません。
最終確認
要点
- およそ 95% は最適な条件下での数値であり、どの写真にも当てはまる保証ではありません。
- 信頼度スコアは二つの顔がどれだけ似ているかを測るもので、一致が正しい確率ではありません。
- 見逃しよりも誤検出のほうが重大です。別人どうしが一致と判定されることこそ、実害を生む誤りです。
- 精度の高いモデルでも、ウェブ規模では別人を返します。どの索引にも、探している本人よりはるかに多くの他人が含まれているからです。
- 一致はすべて裏づけを取るべき手がかりであり、身元の証明ではありません。
顔画像による逆検索の精度はどのくらいか
顔画像による逆検索は、最適な条件下でおよそ 95% の照合精度に達します。最適な条件というのは免責の但し書きではなく、実際の制約です。遮るもののない顔が一つだけ写っていて、カメラのほうを向き、光が均一に当たり、目鼻立ちが判別できるだけの解像度がある状態を指します。このうちどれか一つでも欠ければ、モデル自体は何も変わっていなくても、その検索の精度は下がります。この数字は良い写真を与えたときのシステムの挙動を表すものであって、手元にある任意の写真の平均的な結果ではありません。
- この数字が表しているのはモデルであって、あなたの検索ではありません。範囲のどちら側に着地するかは写真が決めます。
- 精度と有用性は別物です。誰も開けないページ上の正しい一致は、やはり何も教えてくれません。
- どこにも索引されていない顔に精度という数字は存在しません。それは網羅性の問題であって、精度の問題ではありません。
信頼度スコアは実際に何を測っているのか
信頼度スコアが測っているのは、アップロードされた顔と見つかった顔が、モデルの数値空間上でどれだけ近い位置にあるかです。これは検索エンジン独自の尺度による類似度の測定であって、二枚の写真が同一人物である確率ではありません。スコアが 90 だからといって、その一致が 90% の確率で正しいという意味にはなりません。モデルの尺度で二つの顔が非常に似ているという意味であり、写真が良ければ強い証拠に、写真が悪ければずっと弱い証拠になります。
精度の高いシステムでも別人が返るのはなぜか
検索可能な索引には、探している特定の一人よりも、はるかに多くの他人が含まれているからです。一万件に一件しか取り違えないモデルは精密に聞こえますが、数百万件の索引済みの顔と突き合わせる検索では、正しい一致の隣に別人が並びます。一回の比較について測った精度は、ウェブ規模の検索が実行する比較回数を掛け合わせると意味を失います。信頼度のしきい値が存在するのはこのためであり、最上位の結果が自動的に正しい人物とは限らないのもこのためです。
写真のどんな性質が結果を左右するのか
アップロードする画像の六つの性質が、きれいな一致と使いものにならない結果との差のほとんどを説明します。これらは重なり合います。小さく、横向きで、フィルターのかかった顔は、そのうちどれか一つだけの場合よりはるかに悪くなります。
| 性質 | 精度に有利 | 精度に不利 |
|---|---|---|
| 顔の角度 | 正面を向き、両目が見えている | 極端な横顔、または顔をそむけている |
| 解像度 | 画面の中で顔が大きく写っている | 引きの構図から小さく切り出した顔 |
| 照明 | 顔全体に均一な光が当たっている | 強い影、逆光、目立つ色かぶり |
| 遮蔽 | 顔を覆うものがない | サングラス、マスク、手、厚い髪 |
| 加工 | 未加工の元ファイル | 美顔フィルター、強いレタッチ、AR エフェクト |
| 人数 | 写真に顔が一つだけ | 集合写真で、別の顔が読み取られる恐れがある |
顔認識の精度はどう独立に測定されているのか
アメリカ国立標準技術研究所は Face Recognition Vendor Test を運営しており、提出されたアルゴリズムを管理されたデータセットで評価し、誤り率を公開しています。FRVT は顔認識全体の水準を知るための基準であり、二枚の写真が同一人物かを確認する一対一の照合と、顔検索が実際に行う一対多の識別とを区別しています。FaceSearch はこれらのデータセットに対する自社の評価結果を公表しておらず、また公開されている FRVT の数値は選別された画像に基づくため、ウェブ規模の検索が実際に達成する水準ではなく上限を示すものです。
一致を根拠にしてはいけないのはどんなときか
顔の一致は確認すべき証拠であり、人に影響する判断をそれだけで支えることはできません。実害を生む誤りは誤検出です。探している人物に似た他人が高いスコアで浮上し、身元がすでに確定したかのように扱われる場合です。
- 一件の一致だけで行動しないでください。サイトをまたいで一致する利用者名、共通の知人、別の写真など、独立した材料で裏づけを取ってください。
- 一致を根拠に、その人の雇用、住居、信用に関する判断を下さないでください。これらの用途は複数の法域で規制されています。
- 結果が空だったことを、その人にネット上の痕跡がない証拠と読まないでください。
- スコアが低いことを別人の証拠と決めつけないでください。多くの場合それは写真が悪いだけです。
出典
- Face Recognition Vendor Test (FRVT) 1:1 Verification, National Institute of Standards and Technology
- Face Recognition Vendor Test programme, National Institute of Standards and Technology