【MLP 深層学習】第7章再帰型ニューラルネット

深層学習、通称青イルカ本の学習メモ。

深層学習 (機械学習プロフェッショナルシリーズ)

作者: 岡谷貴之
出版社/メーカー: 講談社
発売日: 2015/04/08
メディア: 単行本（ソフトカバー）
この商品を含むブログ (13件) を見る

知らなかったことや重要だと思ったところをQ&A形式にして自分が復習しやすい形にしてある。

これまではサンプルの次元が固定のニューラルネットを扱ってきた。
しかし本章では、系列データの分類問題を扱う。
系列データとは、個々の要素が順序付きの集まりとして与えられたものであり、サンプルごとに系列の長さが異なる。

こうした系列データを扱うために以下のネットワークを使っていく。

Recurrent Neural Network（RNN）
- 系列長が異なるサンプルの予測・学習
Long Short-Term Memory(LSTM)
- 系列長が非常に大きいデータの予測

再帰型ニューラルネット（RNN）とは？

内部に閉路を持つニューラルネットの総称。 RNNは、過去のすべての入力から１つの出力への写像を表現する。

f:id:yusuke_ujitoko:20170318105635p:plain

入出力定義

入力層ユニット
- 入力 ${\boldsymbol{x^{t}} = (x_{i}^{t})}$
中間層ユニット
- 入力 ${\boldsymbol{u^{t}} = (u_{j}^{t})}$
- 出力 ${\boldsymbol{z^{t}} = (z_{j}^{t})}$
出力層ユニット
- 入力 ${\boldsymbol{v^{t}} = (v_{j}^{t})}$
- 出力 ${\boldsymbol{y^{t}} = (y_{j}^{t})}$

重み定義

入力層と中間層間の重み ${\boldsymbol{W^{(in)}} = (w_{ji}^{(in)})}$
中間層から中間層への帰還路の重み ${\boldsymbol{W} = (w_{jj^{\prime}})}$
中間層と出力層間の重み ${\boldsymbol{W^{(out)}} = (w_{kj}^{(out)})}$

RNNの順伝播計算は？

中間層の入力

時刻 ${t}$ における中間層の各ユニットへの入力は、 ${t}$ に入力層から伝達されるもの　+ 時刻 ${t-1}$ の中間層の出力、となる。 ${}$ $$ u_{j}^{t} = \sum_{i} w_{ji}^{(in)} x_{i}^{t} + \sum_{j^{\prime}} w_{jj^{\prime}} z_{j^{\prime}}^{t-1} $$

中間層の出力

中間層の出力は、活性化関数 ${f}$ を施したものとなる。 ${}$ $$ z_{j}^{t} = f(u_{j}^{t}) $$ よって、 ${}$ $$ \boldsymbol{z_{t}} = \boldsymbol{f}(\boldsymbol{W}^{(in)} \boldsymbol{x}^{t} + \boldsymbol{W} \boldsymbol{z}^{t-1}) $$