【MLP 深層学習】第6章畳み込みニューラルネット

深層学習、通称青イルカ本の学習メモ。

知らなかったことや重要だと思ったところをQ&A形式にして自分が復習しやすい形にしてある。

CNNは生物の脳の視覚野のどこをヒントにしている？

単純型細胞と複雑型細胞はいずれも特定の入力パターンにのみ反応するが、位置選択性が異なる。単純型細胞は位置選択性が厳密。一方、複雑型細胞はそれほど厳密ではなく、入力パターンが少しずれても反応する。

${}$ $$ u_{ij} = \sum_{p=0}^{H-1} \sum_{q=0}^{H-1} x_{i+q,j+q}h_{pq} $$

${}$ $$ u_{ijk} = \left( \frac{1}{H^{2}} \sum_{(p,q) \in P_ij} z_{pqk}^P \right)^{\frac{1}{P}} $$

上式でP=1とすると平均プーリングとなる。
上式でP=∞とするとMaxプーリングとなる。

減算正規化と除算正規化がある。減算正規化は領域内の濃淡値の平均を0にする操作。除算正規化はさらに分散を正規化する手法。