深層学習、通称青イルカ本の学習メモ。
- 作者: 岡谷貴之
- 出版社/メーカー: 講談社
- 発売日: 2015/04/08
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (13件) を見る
知らなかったことや重要だと思ったところをQ&A形式にして自分が復習しやすい形にしてある。
80年台に誤差逆伝播法を使ったときに、多層のNNだと汎化性能があがらなかったのはどんな理由？
入力層から離れた深い層では勾配が急速に小さくなったり、急速に大きくなって発散する「勾配消失問題」が起こったため。
自己符号化器(autoencoder)ってなに？
入力に対し計算される出力が、入力になるべく近くなるように訓練されるNNのこと。
自己符号化器の目標出力は入力そのものであり、したがってその学習は教師なし学習で行われる。
近年、多層NNが高い性能を発揮できるようになった理由は？
現実の問題は複雑であり、その問題を特にはその複雑さに見合う規模のNNが必要。
そんな大きなNNが過学習を起こさず学習できるためには、一定以上の規模のデータを要する。
90年台と違って今は、十分な学習データを集められる。
また一方で、GPUやメニーコア化されたCPUなど、計算機の計算能力が飛躍的に向上していることも大きな理由。
