機械学習

【cs231n】深度画像をもとにCNNで姿勢推定する手法メモ

cs231nの授業レポートを読んだ。 http://cs231n.stanford.edu/reports/2016/pdfs/426_Report.pdf Li 2014のモデルをほぼそのまま使っている 上記との違う点は 入力が3チャンネルではなく、1チャンネルであること conv2の後の正規化をしないこと 出力は各関節…

深層学習の認識タスクにおいて、データ量を増やすと精度がどの程度向上するか

Revisiting Unreasonable Effectiveness of Data in Deep Learning Era https://arxiv.org/abs/1707.02968 データを増やすとどうなるか (a)モデルサイズや(b)計算力は向上しているが、(c)データセットサイズの変化は小さい。 データセットが大きくなれば、…

DRAGANでいらすとや画像を生成してみる

DRAGAN arXiv:https://arxiv.org/abs/1705.07215 “How to train your DRAGAN"というタイトルの論文で、 変なタイトルだなぁ..と思っていたが、 このタイトルの元ネタとして、アメリカの3DCGアニメがあるのを知った。 (日本名はヒックとドラゴンというらしい…

誕生日のパラドックスを応用してGANによる生成データの分布の多様性を評価する

Do GANs actually learn the distribution? An empirical study https://arxiv.org/abs/1706.08224 GANによって生成されたデータの分布の多様性を評価する論文。 この論文では誕生日のパラドックスを使った少しトリッキーな分析をしている。 実際のGANの生成…

Conditional GANをMNISTとCIFAR-10で試してみる

Conditional Generative Adversarial Nets https://arxiv.org/abs/1411.1784 cGANは条件付き確率分布を学習するGAN。 スタンダードなGANでは,指定の画像を生成させるといったことが難しい. 例えば0,1,…9の数字を生成させるよう学習させたGANに対しては, …

cGANによるマンガの色付け論文メモ

cGAN-based Manga Colorization Using a Single Training Image arXiv:https://arxiv.org/abs/1706.06918 概要 学習データとしてマンガを集めるのが難しい 普通マンガは白黒しかない copyrightの問題 自動色つけ手法としてpix2pixがあるが,大量の訓練データ…

maxoutに関するメモ

DeepLearningBookで読んだmaxoutについてのメモ. MaxoutはReLUを一般化したもの. Maxoutユニットは個の値からなるユニットの集合である. 他の活性化関数と違ってmaxoutでは,前層ユニットからmaxout内の各ユニットへの線形変換のパラメータを学習する. …

pix2pixで白黒動画に色をつけてみる

Image-to-Image Translation with Conditional Adversarial Networks arXiv:https://arxiv.org/abs/1611.07004 project:https://phillipi.github.io/pix2pix/ 白黒動画のcolorizationをpix2pixを使って行ってみたというのが本記事の主旨 pix2pixの概要 画像…

BatchNormalizationの初出論文メモ

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift arXiv:https://arxiv.org/abs/1502.03167 Internal Covariance Shiftの問題 ニューラルネットワークでは,入力となるデータの分布が白色化されていると学習…

ResNetは様々な長さのパスをもつネットワークのアンサンブルとみなせる

Residual Networks Behave Like Ensembles of Relatively Shallow Networks arXiv:https://arxiv.org/abs/1605.06431 ResNetの初出の論文を読んだが、 なぜ深層の学習がうまく行ったのか不明瞭だった。 本論文ではその「なぜ?」の部分に対する解釈を与えて…

ResNet論文を読んだメモ(arXiv:1512.03385)

今更ながらResNet論文を読んだメモ Deep Residual Learning for Image Recognition arXiv:https://arxiv.org/abs/1512.03385 概要 深いネットワーク 勾配消失や勾配爆発によって収束しない問題は、初期値の正規化や中間層の正規化によって解決しつつある 一…

Cramér GANでいらすとや画像生成してみる

Cramér GAN arXiv:https://arxiv.org/abs/1705.10743v1 このGANは数日前(5/30)に投稿されたもの。 これまでGANのベースラインとして, vanilla GAN,DCGAN,WGAN,WGAN-gpなどが使われてきた. この中のWGANやWGAN-gpより優れているという主張が論文内でされ…

リグレット解析のメモ

MLP オンライン機械学習本でリグレット解析について勉強した際のメモ. リグレット解析の概要 リグレット解析(regret analysis)はアルゴリズムが最適な戦略をとった場合と比べてどの程度悪かったのか, そのリグレット(後悔)を測ることでアルゴリズムの性…

Boundary Equilibrium GAN(BEGAN)でいらすとや画像を生成してみる

Boudary Equilibrium GAN,略してBEGANと呼ばれる Arxiv: https://arxiv.org/abs/1703.10717 このBEGANを使って以下のようないらすとや画像を生成するというのが本記事の主旨。 完全にmode collapseしてしまった。 結構いろいろ試しているものの、パラメータ…

"How to Train a GAN" at NIPS2016 workshopのメモ

NIPS2016でのWorkshop on Adversarial Training「How to train a GAN」での, GANを学習させるTipsのまとめ。 Workshopの動画 (30分程度で軽めなので観てみると良いと思います) www.youtube.com 以下は登壇者による↓のメモ https://github.com/soumith/gan…

Tutorial on Variational Autoencodersを読む

Variational Autoencoders,略してVAEsと呼ばれる Arxiv: https://arxiv.org/abs/1606.05908 Tutorial on Variational Autoencoders(VAEs)を読み解いていこうと思う。 先人たちによる日本語の詳細な解説はネット上にゴロゴロあるので、 本記事は自分自身の理…

Wasserstein GAN(WGAN)でいらすとや画像を生成してみる

Wasserstein GAN,略してWGANと呼ばれる Arxiv: https://arxiv.org/abs/1611.02163 著者によるコード: https://github.com/martinarjovsky/WassersteinGAN このWGANを使って以下のようないらすとや画像を生成したというのが本記事の主旨。 本論文のcontribut…

UnrolledGANでいらすとや画像を生成してみる

Unrolled GAN Arxiv: https://arxiv.org/abs/1701.07875 これまで実装してきたGAN、DCGANでは学習の際にDiscriminatorが早く学習しすぎてしまうという問題があった. これに対するアプローチとして,Generatorに先取り学習をさせて,学習を促進させようとい…

CS224dのTensorflow Tutorialを読んでみる

Tensoflowの公式のtutorialは眺めたことはあるが, 今一度確認のため, CS224dのTensorflow tutorialを読んでみる. このメモは単なる写経です. CS224dが気になる人は上のリンクを直接たどって見てみると良いと思います. Tensorflowはnumpyと文法がそっく…

TensorFLowの基本演算

定数 import tensorflow as tf # 定数 a = tf.constant(2) b = tf.constant(3) with tf.Session() as sess: print("a: %i" % sess.run(a), "b: %i" % sess.run(b)) print("Addition with constants: %i" % sess.run(a+b)) print("Multiplication with consta…

Deep Convolutional GANs(DCGAN)をkerasで実装して、いらすとや画像を生成する

前回,GANを勉強して実装したので、その取り組みの続きとして、 DCGAN(Deep Convolutional GAN(DCGAN)を実装して遊んでみる。 DCGANの論文を読んでみたところ、GANの論文よりも読みやすかった。 またGANのときには省略されていたモデルの構造も書かれていた…

Generative Adversarial Networks(GAN)を勉強して、kerasで手書き文字生成する

Generative Adversarial Nets(GAN)はニューラルネットワークの応用として、結構な人気がある。たとえばYann LeCun(現在はFacebookにいる)はGANについて以下のように述べている。 “Generative Adversarial Networks is the most interesting idea in the …

【はじめてのパターン認識】第8章 サポートベクトルマシン

サポートベクトルマシン(SVM)とは、2クラス線形識別関数の学習法のこと。 サポートベクトルマシンの導出 SVMでは標準座標系を用いて考える。 クラスラベル付き学習データの集合をとする。 は教師データ、マージンをとすると、 $$ |w^{T}x_{i} + b| \geq K $$…

【はじめてのパターン認識】第7章 パーセプトロン型学習規則

2クラスの線形識別関数を求める古典的な手法に、パーセプトロンの学習規則がある。 識別関数のパラメータを逐次的に求めるこのアルゴリズムは、2クラスの学習データが線形分離可能であれば収束することが知られている。 これをパーセプトロンの収束定理とい…

【はじめてのパターン認識】第6章 線形識別関数

はじめてのパターン認識を読んでいる。 その個人的メモ。 はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本(ソフトカバー)購入: 1人 クリック: 7回この商品を含むブログ (3件) を見る 線形判別分析 1次…

【はじめてのパターン認識】第5章 k最近傍法

はじめてのパターン認識を読んでいる。 その個人的メモ。 はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本(ソフトカバー)購入: 1人 クリック: 7回この商品を含むブログ (3件) を見る 漸近仮定とkNN誤り…

LSTMで三角関数を組み合わせた周期関数を予測してみる

簡単な周期関数をLSTMネットワークに学習させ、予測させてみる。 環境 python:3.6.0 (Anaconda 4.3.1) keras:2.0.1 tensorflow: 1.0.1 予測させる周期関数 今回予測させる周期的な関数は、 周期の異なるsinとcosの和で作る。 (下図上段のオレンジと黄の曲線…

福くんと鈴木一真さんの画像分類問題をCNNで解く(訓練・テスト編)

これまではMNISTやIris等の既成のデータセットをもとにして問題を解いてきたが、 機械学習で一番苦労する部分は「データセットを作るところ」と噂でよく聞くので、 今回はデータセットを自分で作って分類問題を解いてみようと思う。 鈴木福くんと鈴木一真さ…

福くんと鈴木一真さんの画像分類問題をCNNで解く(データセット作成編)

これまではMNISTやIris等の既成のデータセットをもとにして問題を解いてきたが、 機械学習で一番苦労する部分は「データセットを作るところ」と噂でよく聞くので、 今回はデータセットを自分で作って分類問題を解いてみようと思う。 題材は何にすべきか、結…

【はじめてのパターン認識】第4章 確率モデルと識別関数

はじめてのパターン認識を読んでいる。 その個人的メモ。 はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本(ソフトカバー)購入: 1人 クリック: 7回この商品を含むブログ (3件) を見る 標準化 学習データ…

【はじめてのパターン認識】第3章 ベイズの識別規則

はじめてのパターン認識を読んでいる。 その個人的メモ。 はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本(ソフトカバー)購入: 1人 クリック: 7回この商品を含むブログ (3件) を見る 本章では、ベイズ…

【はじめてのパターン認識】第2章 識別規則と学習法の概要

はじめてのパターン認識を読んでいる。 その個人的メモ。 はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本(ソフトカバー)購入: 1人 クリック: 7回この商品を含むブログ (3件) を見る 識別規則の構成法 …

【はじめてのパターン認識】第1章 はじめに

特徴の型 パターン認識は、対象を観測し、識別に有効な特徴を抽出することから始まる。 観測される特徴は以下のように分類できる。 定性的特徴(非数値データ) 名義尺度(分類のための単なる名前) 順序尺度(順序関係を表す) 定量的特徴(数値データ) 比…

【読書メモ】深層学習(機械学習プロフェッショナルシリーズ)

深層学習(機械学習プロフェッショナルシリーズ)を読んだ。 コンパクトにまとまった良書。 その分、行間をある程度読む必要がある。 少し覚悟が必要。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04…

【MLP 深層学習】第8章 ボルツマンマシン

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第7章 再帰型ニューラルネット

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第6章 畳み込みニューラルネット

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第5章 自己符号化器

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第4章 誤差逆伝播法

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第3章 確率的勾配降下法

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第2章 順伝播型ネットワーク

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第1章 はじめに

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

LeNetのパラメータの可視化

LeNetは1998のLeCunによって発表されたネットワーク。 MNISTに対して、このLeNetの類似ネットワークを適用した時の、パラメータを可視化してみるというのが本記事の主旨。 今回使ったネットワーク構成を示す。 畳み込み層2つに、全結合層が2つ連なったもの。…

Keras(Tensorflow)でMNIST

KerasでMNIST手書き文字分類問題を試した。 実行環境 Python 3.6.0 Keras 1.2.2 Tensorflow 1.0.1 GeForce 780Ti コード ライブラリのインポート import numpy as np np.random.seed(123) from keras.models import Sequential from keras.layers import Den…

Python機械学習プログラミングを読んで覚えておきたいと思ったこと

Python機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear)作者: Sebastian Raschka,株式会社クイープ,福島真太朗出版社/メーカー: インプレス発売日: 2016/06/30メディア: 単行本(ソフトカバー)この商品を含むブログ …

誤差逆伝播法の数式を簡単なニューラルネットで理解する

誤差逆伝播法の数式をニューラルネットで追ってみる。 時々忘れてしまうので、備忘録として残しておく。 今回考えるニューラルネット 下記のニューラルネットを例に取る。 層への入力を、 層のアクティべーションを、 層から層への重みをとしている。 なお入…

Michael Nielsen著のオンライン書籍「ニューラルネットワークと深層学習」の翻訳に参加しました

日本語訳に参加させていただいた書籍は下記のリンクから読めます! オリジナル書籍:Neural Networks and Deep Learning 日本語版書籍:ニューラルネットワークと深層学習 量子コンピューティング分野の物理学者Michael Nielsenという方の執筆したオンライン…

機械学習入門(ボルツマン機械学習から深層学習まで)を読んで、覚えておきたいと思ったこと

平易な言葉で本質を教えてくれる本書のような情報源は貴重。 この類の本をどんどん読んで吸収していきたい。 鏡に美しさを示す関数を教えよう、というところから始まるのだが、 鏡が博識&有能すぎて教えるどころではないというところ。 順問題と逆問題 順問…

Michael NielsenのNeural Networks and Deep Learningを読んで、覚えておきたいと思ったこと

Michael Nielsen著のオンライン書籍Neural Networks and Deep Learningを読んで、 覚えておきたいと思ったことのメモ。 ゼロから作るディープラーニングのネタ元は、 CS231nとばかり思っていたけど、 今となっては、真のネタ元はこのオンライン書籍だと確信…

非線形領域をlinear classifierと2層Neural Networkで分類してみる

3種のラベルのうち1種が付与されている点列データを、 linear classifierと2層NNでそれぞれ分類させてみる。 Stanfordのオンライン教材CS231n Convolutional Neural Networks for Visual Recognitionを参考にしている。 Linear Classifier 入力データとパラ…