読者です 読者をやめる 読者になる 読者になる

【データ解析のための統計モデリング入門】8章 マルコフ連鎖モンテカルロ(MCMC)法とベイズ統計モデル

データ解析のための統計モデリング入門を読んでいる。
その読書メモ。

現実のデータ解析では、第7章よりも複雑な、例えば個体差だけでなく場所差なども同時に考慮した統計モデルが必要になる。
統計モデルに組み込まれたランダム効果の発生源の種類が増えるにつれ、パラメータの推定は困難になる。
発生源の種類がK個のときは、K回の多重積分が必要となる。

このような複雑な統計モデルのあてはめで威力を発揮するのが、マルコフ連鎖モンテカルロ法(MCMC method)。

例題:種子の生存確率(個体差なし)

ふらふら試行錯誤による最尤推定

MCMCアルゴリズムのひとつ:メトロポリス

メトロポリス法では、尤度を勾配にしたがって最大にしていくのだが、 ランダムに説明変数を動かして、尤度を計算する。
現在よりも尤度が大きくなる場合、そのまま説明変数を動かす。
現在よりも尤度が小さくなる場合、尤度比(=動かした先の尤度/動かす前の現在の尤度)を確率として、尤度が小さくなる方向へすすめる。

ひとつのステップの中で前の状態に基づいて新しい状態を作り出しているので、マルコフ連鎖(Markov chain)になっている。
また一般に、乱数を利用した計算アルゴリズムモンテカルロ法と呼ばれる。

メトロポリス法などMCMCアルゴリズムの目的は、何か特定の値の探索ではない。
ステップ数とともに変化するパラメータ値の生成にある。

定常分布は何を表すのか?

メトロポリス法で生成されたパラメータ値の分布を定常分布と呼んでいる。
この例題では、定常分布は尤度に比例する確率分布となる。

メトロポリス法と定常分布の関係

まとめ

  • 最尤推定法は尤度最大になるパラメータを探索する最適化である
  • これに対して、MCMCアルゴリズムは定常分布からのランダムサンプリングが目的である。
  • 今扱っている統計モデルがベイズ統計モデルだとすると、定常分布は事後分布であるとみなせる。

yusuke-ujitoko.hatenablog.com