【MLP 深層学習】第6章 畳み込みニューラルネット

深層学習、通称青イルカ本の学習メモ。

深層学習 (機械学習プロフェッショナルシリーズ)

深層学習 (機械学習プロフェッショナルシリーズ)

知らなかったことや重要だと思ったところをQ&A形式にして自分が復習しやすい形にしてある。

CNNは生物の脳の視覚野のどこをヒントにしている?

  • 受容野(receptive field)の局所性
  • 単純型細胞(simple cell)と複雑型細胞(complex cell)の存在

単純型細胞と複雑型細胞はいずれも特定の入力パターンにのみ反応するが、位置選択性が異なる。 単純型細胞は位置選択性が厳密。 一方、複雑型細胞はそれほど厳密ではなく、入力パターンが少しずれても反応する。

畳み込みの積和演算とは?

{} $$ u_{ij} = \sum_{p=0}^{H-1} \sum_{q=0}^{H-1} x_{i+q,j+q}h_{pq} $$

Lpプーリング表記でMaxプーリングや平均プーリングを意味することが何故できるのか?

{} $$ u_{ijk} = \left( \frac{1}{H^{2}} \sum_{(p,q) \in P_ij} z_{pqk}^P \right)^{\frac{1}{P}} $$

上式でP=1とすると平均プーリングとなる。
上式でP=∞とするとMaxプーリングとなる。

局所コントラスト正規化層とは?

減算正規化と除算正規化がある。 減算正規化は領域内の濃淡値の平均を0にする操作。 除算正規化はさらに分散を正規化する手法。

yusuke-ujitoko.hatenablog.com