LFW數據集主要測試人臉識別的準確率，該數據庫從中隨機選擇了6000對人臉組成了人臉辨識圖片對，其中3000對屬于同一個人2張人臉照片，3000對屬于不同的人每人1張人臉照片。測試過程LFW給出一對照片，詢問測試中的系統兩張照片是不是同一個人，系統給出“是”或“否”的答案。通過6000對人臉測試結果的系統答案與真實答案的比值可以得到人臉識別準確率。
這個集合被廣泛應用于評價 face verification算法的性能。