読者です 読者をやめる 読者になる 読者になる

【はじめてのパターン認識】第3章 ベイズの識別規則

はじめてのパターン認識を読んでいる。
その個人的メモ。

はじめてのパターン認識

はじめてのパターン認識

本章では、ベイズの識別規則とROC曲線についての説明がメインになされている。

ベイズの識別規則

観測データを{x}、識別クラスを{C_i}とする。
ベイズの識別規則は次式で定義される事後確率が最大なクラスに観測データを分類する、というもの。

  • 事後確率 {P(C_i | x)}
  • クラス条件付き確率(尤度) {p(x|C_i)}
  • 周辺確率 {p(x)}
  • 事前確率 {P(C_i)} として、 {} $$ P(C_i | x) = \frac{p(x|C_i)}{p(x)} \times P(C_i) = (修正項) \times (事前確率) $$

この式から、事前確率が尤度と周辺確率で修正されて事後確率が得られることがわかる。
具体的には、

クラスを指定した時のxの生起確率である尤度{p(x|C_i)}が、 クラスを指定しない時の生起確率{p(x)}よりも

  • 大きければ、事後確率は事前確率より大きくなり、
  • 小さければ、事後確率は事前確率より小さくなる

クラス{C_i}とクラス{C_j}の識別境界は、事後確率が等しくなるところ、すなわち、 {} $$ P(C_i|x) = P(C_i | x) = \frac{p(x|C_i)}{p(x)} \times P(C_i) = \frac{p(x|C_j)}{p(x)} \times P(C_j) = P(C_j | x) $$ が成り立つところとなる。 式からわかるように周辺確率は{p(x)}はどちらのクラスにも共通に現れているため、識別規則に含める必要はない。 したがって、ベイズの識別規則は、(識別クラス) = {arg max p(x|C_i)P(C_i)}で与えられる。

ベイズの識別規則は誤り率最小

2クラス{C_1, C_2}の識別問題を用いて、ベイズの識別規則が誤り率を最小にすることを示す。

ベイズの識別規則によれば、クラス{C_2}の事後確率がクラス{C_2}の事後確率より

  • 大きい時、入力ベクトル{x}をクラス{C_1}に識別する
  • 小さい時、入力ベクトル{x}をクラス{C_2}に識別する

したがって、ベイズの識別規則のもとでの誤り率{\epsilon(x)}は事後確率の小さい方になるので、 {} $$ \epsilon(x) = min[P(C_1|x), P(C_2,x)] $$ となる。

受信者動作特性曲線(ROC曲線:receiver operator characteristics curve)

ROCに関しては下記の記事が詳しく、大変参考になる。
【統計学】ROC曲線とは何か、アニメーションで理解する。 - Qiita