テクスチャの識別に関する以下の読み物を読んでいたら， 加速度信号をCNNへ入力する前にフーリエ変換してスペクトログラムにしていたので、自分でも真似てみる．
- Deep Learning for Surface Material Classification Using Haptic And Visual Information
- https://arxiv.org/abs/1512.06658
今回はLMT Haptic Texture Databaseの音声信号(.wav)を可視化する．
この音声信号はテクスチャをスタイラスでなぞった際に集音したデータセット．
http://www.lmt.ei.tum.de/downloads/texture/
STFTでspectrogramを作った。
窓関数はハミング窓。
spectrogramからiSTFTで元の信号への変換も行ってみた．
サンプル1
サンプル2
音声信号にSTFTかけるのは一般的なようだが、 今回のように加速度や音声に対してもSTFT掛けてCNNに入力するのも常套手段のよう。 これでテクスチャ識別器を作れる。
