音声信号をスペクトログラム化してみる

テクスチャの識別に関する以下の読み物を読んでいたら, 加速度信号をCNNへ入力する前にフーリエ変換してスペクトログラムにしていたので、自分でも真似てみる.

今回はLMT Haptic Texture Databaseの音声信号(.wav)を可視化する.
この音声信号はテクスチャをスタイラスでなぞった際に集音したデータセット
http://www.lmt.ei.tum.de/downloads/texture/

STFTでspectrogramを作った。 窓関数はハミング窓。
spectrogramからiSTFTで元の信号への変換も行ってみた.

サンプル1

f:id:yusuke_ujitoko:20170930230803p:plain

サンプル2

f:id:yusuke_ujitoko:20171001000809p:plain

音声信号にSTFTかけるのは一般的なようだが、 今回のように加速度や音声に対してもSTFT掛けてCNNに入力するのも常套手段のよう。 これでテクスチャ識別器を作れる。