読者です 読者をやめる 読者になる 読者になる

【はじめてのパターン認識】第8章 サポートベクトルマシン

サポートベクトルマシン(SVM)とは、2クラス線形識別関数の学習法のこと。 サポートベクトルマシンの導出 SVMでは標準座標系を用いて考える。 クラスラベル付き学習データの集合をとする。 は教師データ、マージンをとすると、 $$ |w^{T}x_{i} + b| \geq K $$…

k近傍法でMNISTを解く

k近傍法分類器(k-nearest neighbor classifier)、略してKNNは、 lazy learnerの代表例である。 lazyと呼ばれるのは、その見かけの単純さからでなく、訓練データから識別関数を学習せず、 訓練データを暗記するため。 KNNのアルゴリズムそのものは非常に単純…

numpyでコサイン類似度を計算する

コサイン類似度は以下の式で計算できる。 $$ \begin{align} \cos{ (\boldsymbol{a}, \boldsymbol{b} ) } &= \frac{\boldsymbol{a} \cdot \boldsymbol{b}}{|\boldsymbol{a}| |\boldsymbol{b}|} \\ &= \frac{\boldsymbol{a} \cdot \boldsymbol{b}}{\sqrt{\sum^…

【はじめてのパターン認識】第7章 パーセプトロン型学習規則

2クラスの線形識別関数を求める古典的な手法に、パーセプトロンの学習規則がある。 識別関数のパラメータを逐次的に求めるこのアルゴリズムは、2クラスの学習データが線形分離可能であれば収束することが知られている。 これをパーセプトロンの収束定理とい…

【はじめてのパターン認識】第6章 線形識別関数

はじめてのパターン認識を読んでいる。 その個人的メモ。 はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本(ソフトカバー)購入: 1人 クリック: 7回この商品を含むブログ (3件) を見る 線形判別分析 1次…

Numpy array演算操作メモ

numpy arrayの演算操作についての自分用メモ numpy arrayのサイズ numpyにおけるarrayのサイズはなかなか直感的に理解するまで時間がかかると思う。 ベクトルとそれ以外でとりあえず分ければよいのだなと感じた. import numpy as np a = np.array([1]) a.sh…

【はじめてのパターン認識】第5章 k最近傍法

はじめてのパターン認識を読んでいる。 その個人的メモ。 はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本(ソフトカバー)購入: 1人 クリック: 7回この商品を含むブログ (3件) を見る 漸近仮定とkNN誤り…

LSTMで三角関数を組み合わせた周期関数を予測してみる

簡単な周期関数をLSTMネットワークに学習させ、予測させてみる。 環境 python:3.6.0 (Anaconda 4.3.1) keras:2.0.1 tensorflow: 1.0.1 予測させる周期関数 今回予測させる周期的な関数は、 周期の異なるsinとcosの和で作る。 (下図上段のオレンジと黄の曲線…

福くんと鈴木一真さんの画像分類問題をCNNで解く(訓練・テスト編)

これまではMNISTやIris等の既成のデータセットをもとにして問題を解いてきたが、 機械学習で一番苦労する部分は「データセットを作るところ」と噂でよく聞くので、 今回はデータセットを自分で作って分類問題を解いてみようと思う。 鈴木福くんと鈴木一真さ…

福くんと鈴木一真さんの画像分類問題をCNNで解く(データセット作成編)

これまではMNISTやIris等の既成のデータセットをもとにして問題を解いてきたが、 機械学習で一番苦労する部分は「データセットを作るところ」と噂でよく聞くので、 今回はデータセットを自分で作って分類問題を解いてみようと思う。 題材は何にすべきか、結…

【はじめてのパターン認識】第4章 確率モデルと識別関数

はじめてのパターン認識を読んでいる。 その個人的メモ。 はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本(ソフトカバー)購入: 1人 クリック: 7回この商品を含むブログ (3件) を見る 標準化 学習データ…

【はじめてのパターン認識】第3章 ベイズの識別規則

はじめてのパターン認識を読んでいる。 その個人的メモ。 はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本(ソフトカバー)購入: 1人 クリック: 7回この商品を含むブログ (3件) を見る 本章では、ベイズ…

【はじめてのパターン認識】第2章 識別規則と学習法の概要

はじめてのパターン認識を読んでいる。 その個人的メモ。 はじめてのパターン認識作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本(ソフトカバー)購入: 1人 クリック: 7回この商品を含むブログ (3件) を見る 識別規則の構成法 …

【読書メモ】データ解析のための統計モデリング入門のまとめ

データ解析のための統計モデリング入門を読んだ。 一般化線形モデル 階層ベイズモデル MCMC って何それという状態だったので大変勉強になった。 筆致が軽く、数学の素養が必要ないため読みやすく、誰にでも薦められる。 この本を読む前に線形モデルだけは勉…

【データ解析のための統計モデリング入門】10章 階層ベイズモデル

データ解析のための統計モデリング入門を読んでいる。 その読書メモ。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購…

【データ解析のための統計モデリング入門】9章 GLMのベイズモデル化と事後分布の推定

データ解析のための統計モデリング入門を読んでいる。 その読書メモ。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購…

【データ解析のための統計モデリング入門】8章 マルコフ連鎖モンテカルロ(MCMC)法とベイズ統計モデル

データ解析のための統計モデリング入門を読んでいる。 その読書メモ。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購…

【データ解析のための統計モデリング入門】7章 一般化線形混合モデル(GLMM)

データ解析のための統計モデリング入門を読んでいる。 その読書メモ。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購…

【データ解析のための統計モデリング入門】6章 GLMの応用範囲をひろげる

データ解析のための統計モデリング入門を読んでいる。 その読書メモ。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購…

【データ解析のための統計モデリング入門】5章 GLMの尤度比検定と検定の非対称性

データ解析のための統計モデリング入門を読んでいる。 その読書メモ。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購…

【データ解析のための統計モデリング入門】4章 GLMのモデル選択

データ解析のための統計モデリング入門を読んでいる。 その読書メモ。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購…

【データ解析のための統計モデリング入門】3章 一般化線形モデル(GLM)

データ解析のための統計モデリング入門を読んでいる。 その読書メモ。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購…

超立方体について

超立方体(hypercube)とは、2次元の正方形、3次元の立方体、4次元の正八胞体を各次元に一般化した正多胞体である。なお、0次元超立方体は点、1次元超立方体は線分である。(wikiから引用) 4次元超立方体の例(wiki引用) 性質 性質としてwikiに述べてある事例を…

【はじめてのパターン認識】第1章 はじめに

特徴の型 パターン認識は、対象を観測し、識別に有効な特徴を抽出することから始まる。 観測される特徴は以下のように分類できる。 定性的特徴(非数値データ) 名義尺度(分類のための単なる名前) 順序尺度(順序関係を表す) 定量的特徴(数値データ) 比…

python上でunixコマンドを実行する。

python上でunixコマンドを実行する。 import subprocess subprocess.run('ls')

【データ解析のための統計モデリング入門】2章 確率分布と統計モデルの最尤推定

データ解析のための統計モデリング入門を読んでいる。 その読書メモ。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購…

【データ解析のための統計モデリング入門】1章 データを理解するために統計モデルを作る

データ解析のための統計モデリング入門を読んでいる。 その読書メモ。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購…

【読書メモ】深層学習(機械学習プロフェッショナルシリーズ)

深層学習(機械学習プロフェッショナルシリーズ)を読んだ。 コンパクトにまとまった良書。 その分、行間をある程度読む必要がある。 少し覚悟が必要。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04…

【MLP 深層学習】第8章 ボルツマンマシン

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第7章 再帰型ニューラルネット

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第6章 畳み込みニューラルネット

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第5章 自己符号化器

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第4章 誤差逆伝播法

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第3章 確率的勾配降下法

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第2章 順伝播型ネットワーク

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

【MLP 深層学習】第1章 はじめに

深層学習、通称青イルカ本の学習メモ。 深層学習 (機械学習プロフェッショナルシリーズ)作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本(ソフトカバー)この商品を含むブログ (13件) を見る 知らなかったことや重要だと思ったと…

jupyter notebook上でmatplotlibで描画するときに必要な記述

忘れるのでメモ。 %matplotlib inline import matplotlib.pyplot as plt

LeNetのパラメータの可視化

LeNetは1998のLeCunによって発表されたネットワーク。 MNISTに対して、このLeNetの類似ネットワークを適用した時の、パラメータを可視化してみるというのが本記事の主旨。 今回使ったネットワーク構成を示す。 畳み込み層2つに、全結合層が2つ連なったもの。…

Keras(Tensorflow)でMNIST

KerasでMNIST手書き文字分類問題を試した。 実行環境 Python 3.6.0 Keras 1.2.2 Tensorflow 1.0.1 GeForce 780Ti コード ライブラリのインポート import numpy as np np.random.seed(123) from keras.models import Sequential from keras.layers import Den…

CUDA 8.0とcuDNN 5.1をUbuntu 16.04にインストールする

CUDA Toolkit 8.0のインストール GPUが認識されてるか事前にチェック lspci | grep -i nvidia CUDA ToolkitからCUDA Toolkit 8.0を導入する。 CUDA Toolkitを以下のようにインストールする。 sudo dpkg -i cuda-repo-ubuntu1604_8.0.61-1_amd64.deb sudo apt…

Python機械学習プログラミングを読んで覚えておきたいと思ったこと

Python機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear)作者: Sebastian Raschka,株式会社クイープ,福島真太朗出版社/メーカー: インプレス発売日: 2016/06/30メディア: 単行本(ソフトカバー)この商品を含むブログ …

主成分分析(PCA)がなぜ分散共分散行列を対角化する固有値問題となるか

主成分分析(principal component analysis:PCA)とは? 教師なし学習の一つ。 データの分散(ばらつき)が大きいところ(主成分)を見つける操作。 つまり分散が大きいところが大事で、小さいところは気にしないようにする。 既存の特徴を組み合わせて分散…

誤差逆伝播法の数式を簡単なニューラルネットで理解する

誤差逆伝播法の数式をニューラルネットで追ってみる。 時々忘れてしまうので、備忘録として残しておく。 今回考えるニューラルネット 下記のニューラルネットを例に取る。 層への入力を、 層のアクティべーションを、 層から層への重みをとしている。 なお入…

Michael Nielsen著のオンライン書籍「ニューラルネットワークと深層学習」の翻訳に参加しました

日本語訳に参加させていただいた書籍は下記のリンクから読めます! オリジナル書籍:Neural Networks and Deep Learning 日本語版書籍:ニューラルネットワークと深層学習 量子コンピューティング分野の物理学者Michael Nielsenという方の執筆したオンライン…

機械学習入門(ボルツマン機械学習から深層学習まで)を読んで、覚えておきたいと思ったこと

平易な言葉で本質を教えてくれる本書のような情報源は貴重。 この類の本をどんどん読んで吸収していきたい。 鏡に美しさを示す関数を教えよう、というところから始まるのだが、 鏡が博識&有能すぎて教えるどころではないというところ。 順問題と逆問題 順問…

Michael NielsenのNeural Networks and Deep Learningを読んで、覚えておきたいと思ったこと

Michael Nielsen著のオンライン書籍Neural Networks and Deep Learningを読んで、 覚えておきたいと思ったことのメモ。 ゼロから作るディープラーニングのネタ元は、 CS231nとばかり思っていたけど、 今となっては、真のネタ元はこのオンライン書籍だと確信…

【CS231n】Understanding and Visualizing Convolutional Neural Networks

Stanford大の教材CS231nを使ってNNやCNNを学んでいる. Visualizing what ConvNets learn NNで学習した特徴量が解釈できないという批判に対し、 CNNを理解し、可視化するアプローチが提案されてきた。 本記事ではこれらを紹介していく Visualizing the activ…

【Survey】Maxout Networks

Maxout Networks pdf Ian J. Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio Abstract モデルの汎化のためのdropoutというテクニックがある. 我々はdropoutに加えるテクニックとして, maxout というシンプルなモデルを考案…

【CS231n】Convolutional Neural Networks: Architectures, Convolution / Pooling Layers

Stanford大の教材CS231nを使ってNNやCNNを学んでいる. この記事では、CNNの概要を学ぶ。 CNNはこれまで学んできたNNとほとんど変わらない。 CNNの特徴は、入力データがほぼ決まって画像であることである。 画像の性質を使ったエンコードを用いて特徴量を抽…

非線形領域をlinear classifierと2層Neural Networkで分類してみる

3種のラベルのうち1種が付与されている点列データを、 linear classifierと2層NNでそれぞれ分類させてみる。 Stanfordのオンライン教材CS231n Convolutional Neural Networks for Visual Recognitionを参考にしている。 Linear Classifier 入力データとパラ…