Multi-Resolution Heatmap Regressorによる姿勢推定メモ

• Efficient Object Localization Using Convolutional Networks
• https://arxiv.org/abs/1411.4280

関連研究

• DeepPose (DeepPose論文メモ - 緑茶思考ブログ)
  • Toshev et. al,は"FLIC"や"LSP"のデータセットでSOTA
  • 関節位置を回帰問題として直接解く
  • RGB画像からXY位置座標へのマッピングの学習が不必要に複雑であるため，high-precision regionで結果が良くない．
    • RGB画像入力に対して単一の出力を行う必要があるため，出力の自由度が小さい

Multi-Resolution Heatmap Regressor

Coarse Heat-Map Regression Model

• 異なる解像度の入力画像をConvNetに入力する，
  https://arxiv.org/abs/1406.2984のモデルの拡張
  • 関節ごとに関節位置の尤もらしさをピクセルごとのヒートマップで出力

さらに工夫を加えた点として

• Spatial Dropout
  • 通常のdropoutだと過学習を防げなかった
    • natural imageを入力としており，feature map activationの各ニューロンの関連度が強いため通常のdropoutが上手く行かなかったという説明
    • 
    • 右図のf2aとf2bの関連度が強い場合，f2bのactivationが0(dropouted)になってもf2aが残り，意味がない
  • feature map全体を0とするかactiveとするSpatialDropoutを使う
  • 

• Loss
  • 真のヒートマップと予測したヒートマップのMSEとする
  • 真ヒートマップは関節位置(x,y)を中心とする2D Gaussian

Fine Heat-Map Regression Model

• ネットワークを直列でつなぐときに各stageのパラメータを別とするDeepPoseと異なり，本研究ではパラメータを再利用する．
  • パラメータ数の軽減
  • coarseとfineモデルを両方学習することでregularizationとなる

• 関節の推定
  • coarse heat-map modelにおいて，関節位置(x,y)を推定し，
    その関節位置まわりを最初の2つの畳み込み層でcropする
  • fine heat-map modelにおいて，微小位置変位(Δx, Δy)を推定し，
    coarse modelで推定した関節位置(x,y)に加える

• このcascaded architectureはいくつも繋げても良いが，１つだけでも十分な精度が出た．

問題

• 人体の関節の階層構造を利用していない
• coarseモデルの時点でcropされた部分に真の関節が含まれてしまう問題（DeepPoseと同じ問題）