基于模型跟蹤的方法就是獲取目標的先驗知識，建立低價參數模型，對輸入的每一幀圖象通過滑動窗口進行模型匹配，實現人臉識別與跟蹤。常見的跟蹤模型有:膚色模型、橢圓模型、紋理模型及雙眼模板等。 基于膚色模型的跟蹤方法就是利用恰當的表色系統，把膚色作為實現人臉跟蹤的關鍵信息。由于膚色信息具有對放大和縮小以及對微小變形不敏感的優點，加上人臉相對鏡頭的變化對膚色信息本身的影響不大，該類方法很容易在前一幀圖象分析結果的基礎上跟蹤到后一幀圖象的人臉區域，因此具有速度快、姿態不變性等特點。目前的人臉跟蹤技術大都采用基于膚色模型的方法。