読者です 読者をやめる 読者になる 読者になる

【MLP 深層学習】第1章 はじめに

機械学習

深層学習、通称青イルカ本の学習メモ。

深層学習 (機械学習プロフェッショナルシリーズ)

深層学習 (機械学習プロフェッショナルシリーズ)

知らなかったことや重要だと思ったところをQ&A形式にして自分が復習しやすい形にしてある。

80年台に誤差逆伝播法を使ったときに、多層のNNだと汎化性能があがらなかったのはどんな理由?

入力層から離れた深い層では勾配が急速に小さくなったり、急速に大きくなって発散する「勾配消失問題」が起こったため。

自己符号化器(autoencoder)ってなに?

入力に対し計算される出力が、入力になるべく近くなるように訓練されるNNのこと。
自己符号化器の目標出力は入力そのものであり、したがってその学習は教師なし学習で行われる。

近年、多層NNが高い性能を発揮できるようになった理由は?

現実の問題は複雑であり、その問題を特にはその複雑さに見合う規模のNNが必要。
そんな大きなNNが過学習を起こさず学習できるためには、一定以上の規模のデータを要する。
90年台と違って今は、十分な学習データを集められる。

また一方で、GPUやメニーコア化されたCPUなど、計算機の計算能力が飛躍的に向上していることも大きな理由。