pix2pixの枠組みを利用した動画の異常検知

• Abnormal Event Detection in Videos using Generative Adversarial Nets
• https://arxiv.org/abs/1708.09644

• 異常検知の難しさ
  • 既存の異常データセットのサンプルサイズが小さいこと
  • 異常の定義がはっきりしていないこと

• これらの課題に対して、正常なパターンのみ学習させた生成モデルで対処
  • 学習時には（集めやすい）正常データのみ用意
  • 正常データとの距離により異常を判定

• 生成モデルとしてGANを利用
• GANを使った異常検知としては， https://arxiv.org/abs/1703.05921 もあったが，こちらとは異なる利用方法をしている

動画内の正常パターンを学習

時刻tにおけるフレームとそのときのオプティカルフローをデータとし，
pix2pixと同じ枠組みのネットワークを構築し正常パターンを学習させる．

２つのネットワークを組み，以下の変換をそれぞれ学習させる

• ()
• ()

正常の場合のみのデータで学習させておけば、
異常データとしてやを入力したときには、変換が上手く行かないはず。

上の画像がその例になっている。
上部ではによって、車を含むフレーム (異常パターン)からオプティカルフロー を再構成しようとしているが、 車の部分のオプティカルフローがうまく再構成できていない。
下部ではによって、車を含むオプティカルフローからフレームを再構成しようとしているが，こちらも変な塊ができてしまっている。

テスト動画の判定はどのように行うかというと，テスト動画の各フレームからオプティカルフローを計算し， フレームとオプティカルフローの組を作る．
そして，2つのネットワークでそれぞれ変換し，変換後のフレームとオプティカルフローと変換前の両者の差分から判定する．

具体的には，以下の2つを組み合わせて行う．

• オプティカルフローとフレームから変換したオプティカルフローの差分
• フレームとオプティカルフローから変換したをAlexNetへ入力し，AlexNetの中の5つ目の畳込みの結果の差分

教師なし学習で生成画像を制御できそうなinfoGANを試す

• InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets
• https://arxiv.org/abs/1606.03657

教師なし学習で生成画像を制御できそうなinfoGANを試してみる。
生成してみた画像がこちら

背景

• GANの学習ではG(Generator)とD(Discriminator)がせめぎ合いながら、ナッシュ均衡を目指す。
  結果として、
  • DはGによる生成画像と真の画像を区別するよう最適化される。
  • GはDを騙すように最適化される。

• Gはノイズをもとに画像を生成
  この潜在変数群は画像生成の種のようなもので、
  画像生成に使われる全情報を含んでいる。
• GANが収束したとき、の各変数は生成画像の特徴に対応しているはず
  • 光源の強さや線の太さなどの意味が分かりやすい特徴に対応していてほしい
  • 実際にはそうなっておらず、人間には紐解けない

• CGANやAC-GANなどのConditional GAN
  • ラベルをノイズと合わせてGへ入力し、ラベルに対応した画像とセットで学習させる
  • 生成画像の条件をラベルで指定可能なGを構築できる。
  • しかし、画像とラベルを対応付ける手間が発生する。
• こういった教師あり学習ではなく、教師なし学習で生成画像の特徴をコントロールできるGを構築できると面白い。
  そしてそれを試みるのがinfoGAN。

infoGAN

infoGANの構造は以下のように構築する。

• Gに入力するノイズを、意味を獲得させる要素としてのlatent variables とそれ以外の要素noiseに分ける。
  例えばMNISTの場合には、次のように分けると上手く行く（と書いてある）
  • noise (通常のGANの場合よりも要素数を小さくする）
  • latent variables
    • (0〜9)の離散値を表現するcategorical variables
    • 線の太さ、傾きなど連続値を表現するcontinuous variables

• 通常のGANの要領で学習させると、上で述べたlatent variablesを無視して、 noiseとして生成画像を作るようになってしまう。それを避けるために、Gの生成画像とlatent variables の相互情報量最大を目指すようNNの構造と誤差関数を設計する。

• 実装は割と単純
• Dの出力として以下を用意
  • 通常の画像が本物か偽物かを示す値
  • latent variablesに対応した値
• Gに入力したlatent variablesとの誤差を計算

生成画像を確認

infoGANはパラメータチューニングが大変。
(0〜9)を区別して生成するのすらできなかった。

縦軸:categorical variables, 横軸: continuous variables 1

一応右にいくほど文字が太くなっていっているので、
continuous variables 1が文字の太さを示すよう学習できている…?っぽい

縦軸:categorical variables, 横軸: continuous variables 2

continuous variables 2が文字の傾きを示すよう学習できている…?っぽい

その他

このinfoGANの発表の後，
semi-supervisedなinfoGANも提案されている．

https://arxiv.org/abs/1707.04487

GANによる医療画像の異常検知

• Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery
• https://arxiv.org/abs/1703.05921

まず下準備として，正常な画像を訓練データとして使い，GANを学習させる． 学習後のGANの はlatent space representations から正常な画像 への写像を学習している．

そしてテスト画像 に対する異常さを評価するために， とみて， から を探す． でも の逆写像は簡単にはできない．

そこで から を探すために， をランダムにサンプリングして， を生成し，との誤差が小さくなるよう を学習させる． このときはもちろんGやDのパラメータは固定． 学習させて収束した後の誤差をテスト画像の異常さの度合いとして評価する。

その他

誕生日のパラドックスを使ってGANの多様性を評価する研究とアイデアが似ている。

また、この論文では前半部のGの学習はできていて、Gが正常画像の分布を生成できる前提のもとで、後半の異常検知の話が進んでいるが、 そもそも論文で使っているDCGANだとあまり訓練データの多様な分布を生成できないのではと感じた。

この論文は会社の方に教えていただいたもの．
今のところ仕事として機械学習には関わったことがないが， 趣味として勉強している様子が遠回りで会社の方に伝わったようで最終的に繋がりが持てたのは嬉しい． と、ブログっぽいことを書いてみる。

シミュレータで生成した画像に現実感を付与する（SimGAN）

• Learning from Simulated and Unsupervised Images through Adversarial Training
• https://arxiv.org/abs/1612.07828

概要

学習のための画像がない場合や不足している場合，シミュレータ等を使い人工的に画像を生成することがある． しかしシミュレータで生成した画像（以下シミュレータ画像と呼称）は，現実の画像に現実感の観点で及ばない． そのためシミュレータ画像に過学習してしまうと，実際の画像に対して効果を発揮しないことがある．

だからと言ってシミュレータ画像の質をチマチマ向上させるのは大変． そこでラベルなしの現実画像を訓練画像として使い，GANの枠組みでシミュレータ画像を洗練させる． その際，シミュレータ画像に付随するannotationの情報は保持するように， 大きな改変にはペナルティをかける(self-regularization loss)など工夫を施す．

SimGAN

SimGANの目的は現実の画像 を使って， シミュレータ画像を を洗練させて現実感を付与する変換 を学習させること．

adversarial loss with self-regularization

その際の要件として，シミュレータ生成した際のannotation情報は保持させるというものがある．

例えば，視線推定のための画像データを拡張する場合には， シミュレータで画像生成する際に視線方向のannotationは与えておくが， そのannotationした情報は で変換した後も保持していないと，教師データとして視線推定に使えない．

そこで通常のGANのLossに加えて， self-regularization lossを加えることを提案． self-regularization lossは，ピクセルごとの変換前後のL1距離とする．

local adversarial loss

SimGANのdiscriminatorの学習の際， ある画像特徴量を過度に評価してしまうようになると，ゴミを生成することとなる．

画像を局所領域に分割したときの各領域ごとdiscriminatorに区別させた． 各局所領域においてもSimGANで変換した画像に現実感が付与されている状態では，現実の画像の局所領域と区別がつかないはず．

いくつかの特徴量による評価が組み合わさるので，ある１つの特徴量への依存が小さくなる．（ここは自信がない）

検証

視線推定タスク

視線推定の学習に使うデータセットは質が低い． そこでSimGANでannotation付きデータを大量生成して学習させたところ， sota達成

データセットに対するuser studyも行った． 50個の現実のデータと50個のSimGANによる生成データをrandomに提示してどちらが本物か答えさせたら正答率は51.7%だった．

距離画像による手姿勢推定タスク

通常，現実の距離画像にはノイズが入っている． そのノイズがシミュレータ画像にはないので，変換してノイズを再現．

Voxel heatmapで三次元姿勢推定

• Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose
• https://arxiv.org/abs/1611.07828

3次元関節推定問題に対して、

• volumetric heatmapを回帰させる
• 反復的なネットワークで段階的に精度を上げる

関連研究

• CNNによる三次元姿勢推定でよく行われるアプローチは、
  三次元関節座標(x,y,z)を直接回帰問題として解くこと（Li et al.とTekin et al.）
  • 難しい問題となる
  • Tompson et al.の論文やPfisterの論文にこのアプローチの欠点が記述されているようなので読みたい
  • 伝統的な2段階で三次元姿勢推定する手法にも劣る
    • こちらの手法ではCNNは2次元関節位置推定にのみ使われ、3次元姿勢は事後処理で別途推定される。

手法

Volumetric representation

volumetric representationを使う。 三次元空間をのvoxelに分割し、 関節が各voxelに存在する確率を推定させる。 教師データは三次元正規分布で作り、教師データとのL2距離を誤差関数とする。

volumetric representationの利点は、各関節の座標を直接回帰させる問題を、voxel ごと関節が存在する信頼度の推定問題とできること。 こちらの方がネットワークとしては勾配情報を伝搬しやすく学習しやすい。 二次元姿勢推定でも全く同じ話があった。

ネットワークの構造としては、hourglass型を使う。

Coarse-to-fine prediction

多段のstageを利用して反復的に精度を上げていく。 二次元姿勢推定で有効性が確認されている手法だが、 三次元の場合、例えばのvoxelを16個の関節分推定する必要があるとすると、400万voxel分推定することになる。 次元の呪いを避けるため、coarse-to-fine predictionの枠組みを使う。 最初の方のstageではvoxelのz次元(距離方向)に対する解像度を低くし、 後ろの方のstageでは解像度を徐々に上げていく。

評価

従来の座標を回帰させる方法（Coordinate Regression)と比べて、voxelの確率を回帰させる提案手法の有効性が明らかとなった。

他の代表的手法と比べてもSOTAであった。