輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」
•
2 likes•1,290 views
2015年10月7日に使用した輪講用のスライドです． 使用した論文はYi Sun,Xiaogang Wang,Xiaoou Tang著「Deep Convolutional Network Cascade for Facial Point Detection」です
Recommended
Recommended
More Related Content
Similar to 輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」
Similar to 輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」 (10)
More from Saya Katafuchi
More from Saya Katafuchi (17)
輪講用資料「Deep Convolutional Network Cascade for Facial Point Detection」
- 1. Deep Convolutional Network Cascade for Facial Point Detection 輪講用資料 長崎県立大学 国際情報学研究科情報メディア専攻 M2215001 片渕 小夜
- 2. 目次 1. 研究背景 2. 従来手法 3. 提案手法 1. ネットワークの概要 2. Level1 3. Level2，Level3 4. CNNの構造 5. 学習を洗練させるために 6. 顔パーツの位置推定 4. CNN 4. 畳み込み層 5. プーリング層 6. 全結合層 5. ネットワーク構成図 6. 実験 1. 実験概要 2. 精度評価式 3. ネットワーク別の精度比較 4. カスケード接続の検証 5. 従来手法との精度比較 6. 最終の比較結果 7. まとめ
- 3. 研究背景 現在広く使用されている顔認識システム • 真顔で • 十分な照明の元で など，厳格に定められた条件下で撮影・認識している • 極端な表情でもきちんと認識できる • 照明に対しロバスト性のある • より柔軟な環境下でも十分に成果の出せる 顔認識システムが求められている
- 5. 提案手法 滝(カスケード)状にデータを流して結果を得る Deep Convolutional Network Cascade (全3層のうち) 1層目の出力 2,3層目の出力 従来手法の結果
- 7. 提案手法 (2)Level1 • F1:顔全体を算出 • EN1:目と鼻の位置を算出 • NM1:鼻と口の位置を算出 顔のパーツに合わせ3つのCNNを構築 全てのCNNの結果を平均化し， Level1の出力とする
- 8. 提案手法 (3)Level2,Level3 顔のパーツ毎に5つのCNNを構築 各パーツの局所的な特徴は 曖昧かつ信頼性が低いので， 2,3層目が加えることの出来る 調整はごく僅かに設定されている
- 11. 提案手法 (6)顔パーツの位置推定 𝑥 = 𝑥1 (1) + ⋯ + 𝑥𝑙1 (1) 𝑙1 + 𝑖=2 𝑛 ∆𝑥1 (𝑖) + ⋯ + ∆𝑥𝑙 𝑖 (𝑖) 𝑙𝑖 顔パーツ𝑥の位置は，Level1で得られた初期位置と， Level2,Level3で得られた微調整の結果の加算によって得られる Level1の出力 Level2,Level3の出力
- 12. CNN (1)畳み込み層 入力画像はグレースケール画像で，𝐼(ℎ, 𝑤)で示す． 畳み込み層が持つパラメータは𝐶(𝑠, 𝑛, 𝑝, 𝑞)，絶対値を使用した調整を加える場 合は𝐶𝑅(𝑠, 𝑛, 𝑝, 𝑞) 𝑠 = カーネルの辺の長さ 𝑛 = 畳み込むフィルタの数 𝑝, 𝑞 = 重み共有パラメータ フィルタは領域qの大きさでp個に分割され，それぞれ重みを共有している
- 13. CNN (1)畳み込み層 𝐶 𝑠, 𝑛, 𝑝, 𝑞 は以下の式で求められる，この結果をプーリング層に渡す 𝑦𝑖,𝑗 (𝑡) = tanh( 𝑟=0 𝑚−1 𝑘=0 𝑠−1 𝑙=0 𝑠−1 𝑥𝑖+𝑘,𝑗+𝑙 (𝑟) ∙ 𝑤 𝑘,𝑙 𝑟,𝑢,𝑣,𝑡 + 𝑏 𝑢,𝑣,𝑡 ) 𝑖 = ∆ℎ ∙ 𝑢, ⋯ , ∆ℎ ∙ 𝑢 + ∆ℎ − 1 𝑗 = ∆𝑤 ∙ 𝑣, ⋯ , ∆𝑤 ∙ 𝑣 + ∆𝑤 − 1 ∆ℎ = ℎ − 𝑠 + 1 𝑝 , ∆𝑤 = 𝑤 − 𝑠 + 1 𝑞 𝑢 = 0, ⋯ , 𝑝 − 1, 𝑣 = 0, ⋯ , 𝑞 − 1 𝑤: 重み 𝑏: バイアス 絶対値による調整𝐶𝑅(𝑠, 𝑛, 𝑝, 𝑞)を行う場合は，𝐶 𝑠, 𝑛, 𝑝, 𝑞 の絶対値をプーリング層 に渡す．
- 14. CNN (2)プーリング層 演算方法は最大プーリング，𝑃(𝑠)で表される Sはカーネルの辺，全てのカーネルは重複をしない プーリング層での演算は以下の式に沿って行われる 𝑦𝑖,𝑗 (𝑡) = tanh(𝑔 𝑢,𝑣,𝑡 ∙ max 0≤𝑘,𝑙≤𝑠 𝑥𝑖∙𝑠+𝑘,𝑗∙𝑠+𝑙 𝑡 + 𝑏 𝑢,𝑣,𝑡 ) ゲインgとバイアスbは畳み込み層から共有されたパラメータである
- 15. CNN (3)全結合層 全結合層はF(n)で表される 𝑦𝑖 = tanh( 𝑖=0 𝑚−1 𝑥𝑖 ∙ 𝑤𝑖∙𝑗 + 𝑏𝑗) j=0,…,n-1で，nとmは現在の層と前層の結合したニューロンを示す． Level1の全結合層 全結合層は3つ用意され，それぞれF1(顔全体)・EN1(目と鼻)・NM1(鼻と口)を抽出する Level2,Level3の全結合層 全結合層は左目・右目・鼻・左口角・右口角毎に用意され，Level1で得られた結果を中 心とした微妙な調整を行うために働く
- 17. 実験 (1)実験概要 様々なネットワーク構成，カスケード構成を試験し，市販システムとの 精度を比較する 精度評価は検出誤差と顔パーツの誤検出率によって行う 使用する画像 • 13466枚の顔画像を用意 • 5590枚はLFWと呼ばれるデータセットから取得，残りはWebからダウンロード • 全ての顔画像に対して，顔のパーツの位置をラベリング • 13466枚の中からランダムに10000枚を学習し，残りの3466枚を検証用に使用
- 18. 実験 (2)精度評価式 精度評価は検出誤差と顔パーツの誤検出率によって行う 𝑒𝑟𝑟 = (𝑥 − 𝑥′)2+(𝑦 − 𝑦′)2/𝑙 𝑥, 𝑦: ラベルデータ, 𝑥′, 𝑦′: 検出点 𝑙:顔面における顔パーツの位置 検出誤差errが5%よりも大きい場合は失敗としてカウントする ※目の位置は検出誤差正規化に使用される
- 19. 実験 (3)ネットワーク別の精度比較 顔の各パーツ別の平均誤差 • より多くの層を持つネットワークが誤差が少ない • ローカルの重みを共有した方がより精度が良い • 絶対値による調整を行ったほうが良い 顔認識においてCNNは有効であり， よりネットワークが深いほど精度が良い
- 21. 実験 (5)従来手法との精度比較 Luxand Face SDK, Microsoft Research Face SDK BioIDという顔認識用データセットを使用，23人の被験者による1521枚の画像セット で，全て前向き．均一な照明下で撮影 MS Research Face SDKは目と鼻の頂点を認識しないので口角部分を比較 水色が提案手法，その他が従来手法． 提案手法は誤差が非常に少なく，課題解決のためかなり有効と考えられる
- 22. 実験 (6)従来手法との精度比較 LFPW Webから1432枚の画像をダウンロード，うち1132枚を学習用，300枚を検証用画像に 割り当てる 照明，撮影角度などかなり制約の少ない画像を含む． 提案手法を用いた精度比較では，検証用画像にLFPWの中の学習用・検証用の画像を 使用 水色が提案手法，その他が従来手法． 提案手法は誤差が非常に少なく，課題解決のためかなり有効と考えられる