ResNet論文を読んだメモ（arXiv:1512.03385）

機械学習

今更ながらResNet論文を読んだメモ Deep Residual Learning for Image Recognition arXiv:https://arxiv.org/abs/1512.03385 概要深いネットワーク勾配消失や勾配爆発によって収束しない問題は、初期値の正規化や中間層の正規化によって解決しつつある一…

2017-06-04

Cramér GANでいらすとや画像生成してみる

機械学習

Cramér GAN arXiv:https://arxiv.org/abs/1705.10743v1 このGANは数日前(5/30)に投稿されたもの。これまでGANのベースラインとして， vanilla GAN，DCGAN，WGAN，WGAN-gpなどが使われてきた．この中のWGANやWGAN-gpより優れているという主張が論文内でされ…

2017-06-01

リグレット解析のメモ

機械学習

MLP オンライン機械学習本でリグレット解析について勉強した際のメモ．リグレット解析の概要リグレット解析(regret analysis)はアルゴリズムが最適な戦略をとった場合と比べてどの程度悪かったのか，そのリグレット（後悔）を測ることでアルゴリズムの性…

2017-05-30

Boundary Equilibrium GAN（BEGAN）でいらすとや画像を生成してみる

機械学習

Boudary Equilibrium GAN，略してBEGANと呼ばれる Arxiv: https://arxiv.org/abs/1703.10717 このBEGANを使って以下のようないらすとや画像を生成するというのが本記事の主旨。完全にmode collapseしてしまった。結構いろいろ試しているものの、パラメータ…

2017-05-28

"How to Train a GAN" at NIPS2016 workshopのメモ

機械学習

NIPS2016でのWorkshop on Adversarial Training「How to train a GAN」での， GANを学習させるTipsのまとめ。 Workshopの動画（30分程度で軽めなので観てみると良いと思います） www.youtube.com 以下は登壇者による↓のメモ https://github.com/soumith/gan…

2017-05-26

Tutorial on Variational Autoencodersを読む

機械学習

Variational Autoencoders，略してVAEsと呼ばれる Arxiv: https://arxiv.org/abs/1606.05908 Tutorial on Variational Autoencoders(VAEs)を読み解いていこうと思う。先人たちによる日本語の詳細な解説はネット上にゴロゴロあるので、本記事は自分自身の理…

2017-05-20

Wasserstein GAN（WGAN）でいらすとや画像を生成してみる

機械学習

Wasserstein GAN，略してWGANと呼ばれる Arxiv: https://arxiv.org/abs/1611.02163 著者によるコード: https://github.com/martinarjovsky/WassersteinGAN このWGANを使って以下のようないらすとや画像を生成したというのが本記事の主旨。本論文のcontribut…

2017-05-17

UnrolledGANでいらすとや画像を生成してみる

機械学習

Unrolled GAN Arxiv: https://arxiv.org/abs/1701.07875 これまで実装してきたGAN、DCGANでは学習の際にDiscriminatorが早く学習しすぎてしまうという問題があった．これに対するアプローチとして，Generatorに先取り学習をさせて，学習を促進させようとい…

2017-05-12

CS224dのTensorflow Tutorialを読んでみる

機械学習

Tensoflowの公式のtutorialは眺めたことはあるが，今一度確認のため， CS224dのTensorflow tutorialを読んでみる．このメモは単なる写経です． CS224dが気になる人は上のリンクを直接たどって見てみると良いと思います． Tensorflowはnumpyと文法がそっく…

2017-05-12

TensorFLowの基本演算

機械学習

定数 import tensorflow as tf # 定数 a = tf.constant(2) b = tf.constant(3) with tf.Session() as sess: print("a: %i" % sess.run(a), "b: %i" % sess.run(b)) print("Addition with constants: %i" % sess.run(a+b)) print("Multiplication with consta…

2017-05-09

Deep Convolutional GANs(DCGAN)をkerasで実装して、いらすとや画像を生成する

機械学習

前回，GANを勉強して実装したので、その取り組みの続きとして、 DCGAN(Deep Convolutional GAN(DCGAN)を実装して遊んでみる。生成結果はこのようになった。 (2017/9/7 追記) DCGANの論文を読んでみたところ、GANの論文よりも読みやすかった。またGANのとき…

2017-05-08

Generative Adversarial Networks(GAN)を勉強して、kerasで手書き文字生成する

機械学習

Generative Adversarial Nets（GAN）はニューラルネットワークの応用として、結構な人気がある。たとえばYann LeCun（現在はFacebookにいる）はGANについて以下のように述べている。 “Generative Adversarial Networks is the most interesting idea in the …

2017-04-28

【はじめてのパターン認識】第8章サポートベクトルマシン

機械学習

サポートベクトルマシン(SVM)とは、2クラス線形識別関数の学習法のこと。サポートベクトルマシンの導出 SVMでは標準座標系を用いて考える。クラスラベル付き学習データの集合をとする。は教師データ、マージンをとすると、 $$ |w^{T}x_{i} + b| \geq K $$…

2017-04-25

【はじめてのパターン認識】第7章パーセプトロン型学習規則

機械学習

2クラスの線形識別関数を求める古典的な手法に、パーセプトロンの学習規則がある。識別関数のパラメータを逐次的に求めるこのアルゴリズムは、2クラスの学習データが線形分離可能であれば収束することが知られている。これをパーセプトロンの収束定理とい…

2017-04-24

【はじめてのパターン認識】第6章線形識別関数

機械学習

はじめてのパターン認識を読んでいる。その個人的メモ。はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人クリック: 7回この商品を含むブログ (3件) を見る線形判別分析 1次…

2017-04-14

【はじめてのパターン認識】第5章 k最近傍法

機械学習

はじめてのパターン認識を読んでいる。その個人的メモ。はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人クリック: 7回この商品を含むブログ (3件) を見る漸近仮定とkNN誤り…

2017-04-11

LSTMで三角関数を組み合わせた周期関数を予測してみる

機械学習

簡単な周期関数をLSTMネットワークに学習させ、予測させてみる。環境 python:3.6.0 (Anaconda 4.3.1) keras:2.0.1 tensorflow: 1.0.1 予測させる周期関数今回予測させる周期的な関数は、周期の異なるsinとcosの和で作る。 (下図上段のオレンジと黄の曲線…

2017-04-10

福くんと鈴木一真さんの画像分類問題をCNNで解く（訓練・テスト編）

機械学習

これまではMNISTやIris等の既成のデータセットをもとにして問題を解いてきたが、機械学習で一番苦労する部分は「データセットを作るところ」と噂でよく聞くので、今回はデータセットを自分で作って分類問題を解いてみようと思う。鈴木福くんと鈴木一真さ…

2017-04-10

福くんと鈴木一真さんの画像分類問題をCNNで解く（データセット作成編）

機械学習

これまではMNISTやIris等の既成のデータセットをもとにして問題を解いてきたが、機械学習で一番苦労する部分は「データセットを作るところ」と噂でよく聞くので、今回はデータセットを自分で作って分類問題を解いてみようと思う。題材は何にすべきか、結…

2017-04-03

【はじめてのパターン認識】第4章確率モデルと識別関数

機械学習

はじめてのパターン認識を読んでいる。その個人的メモ。はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人クリック: 7回この商品を含むブログ (3件) を見る標準化学習データ…

2017-04-02

【はじめてのパターン認識】第3章ベイズの識別規則

機械学習

はじめてのパターン認識を読んでいる。その個人的メモ。はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人クリック: 7回この商品を含むブログ (3件) を見る本章では、ベイズ…

2017-04-01

【はじめてのパターン認識】第2章識別規則と学習法の概要

機械学習

はじめてのパターン認識を読んでいる。その個人的メモ。はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人クリック: 7回この商品を含むブログ (3件) を見る識別規則の構成法 …

2017-03-31

【はじめてのパターン認識】第1章はじめに

機械学習

特徴の型パターン認識は、対象を観測し、識別に有効な特徴を抽出することから始まる。観測される特徴は以下のように分類できる。定性的特徴（非数値データ）名義尺度（分類のための単なる名前）順序尺度（順序関係を表す）定量的特徴（数値データ）比…

2017-03-29

【読書メモ】深層学習（機械学習プロフェッショナルシリーズ）

機械学習

深層学習（機械学習プロフェッショナルシリーズ）を読んだ。コンパクトにまとまった良書。その分、行間をある程度読む必要がある。少し覚悟が必要。深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04…