DeepPose論文メモ

関連研究

  • 人体をlocalなパーツが連結したものと見る手法
    • Figure Drawing
    • Pictorial Structures
    • Mixtures of Parts

  • 人体をパーツに分けずholisticに推定する手法
    • DeepPoseはこちら

手法

f:id:yusuke_ujitoko:20170717195026p:plain

  • モデルの構造はAlexNetを流用
    • 入力:画像(220x220)
    • 出力:各関節ごとの位置(2次元)

  • loss
    • 関節ごとの予測位置と真の位置のL2距離の和

  • 上記ネットワークを直列につなぎ多段stage化する。後ろのstageになるほど精密に関節位置を推定していく。(異なるstageのネットワークは異なるパラメータを持つ)
    • 一番目のstageでは、入力画像のうちで全関節の位置を特定する
    • 中間のstageでは各関節ごとに処理が分かれる
      • 各関節ごとに画像cropし高精細化する
      • 一つ前のstageで推定した関節位置と真の関節位置の差分を予測する。

f:id:yusuke_ujitoko:20170717204302p:plain

f:id:yusuke_ujitoko:20170717204310p:plain

  • 制限
    • stageの最初の方で真の位置との乖離が大きいと、予測がうまく行かなそう
    • 1つの画像に対して、関節位置候補が1つのみ

参考

以下の資料は素晴らしいです.
これを読めば論文読む必要はないです.
DeepPose: Human Pose Estimation via Deep Neural Networks