新規に開発した触覚ディスプレイの評価の基本方針について

新規に開発した触覚ディスプレイの評価って難しいな〜と最近感じる。

心理物理の評価手法はHong Tanのこれを見たりすると良いのかもしれないけど、これを参照して細かい評価手法を定義する前に、基本方針としてザックリとどういう方針で評価を考えたらよいかを定義するフェーズがあるはず。大学の研究室だったら、実験を細かく詰める前の、実験を実施するかどうかが決まるくらいのタイミングの打ち合わせで「基本方針としては大体こんな感じでいかがでしょうか？」みたいに実験者が提案して、粗があったらその場で指摘するような感じで決まるのだと思う。まともに考えたらそうなるよね、みたいなある意味"常識"的なことなので文書化されているものを見たことない。

でも最近論文を読んでいると、出版されてる論文でも、そういう基本方針レベルで評価方法に違和感があるものが結構あるな〜と感じる。IEEE ToH論文を査読する件数が年々増えてきて、良い例だけではなく査読で落とされるような良くない例も見たことで、見る目が厳しくなってきて余計にそう感じるのかもしれない。自分で昔書いた論文に関しても、当然そのときはこれがベストと思ってやってるんだけど、今読むとそんなに良くないものもあったりする。せっかくの機会なので整理してみる。

評価の仕方は触覚ディスプレイの目的により大きく変わる。触覚ディスプレイの目的としてはここでは大きく２つに分けてみることにする。タイトルとして「○○のための触覚ディスプレイを開発した」という研究の論文であれば○○という目的の部分に入るのは

A: 人の触覚を使った外界認識機能っぽい文言が入るか（例：形状認識）
B: その触覚による外界認識機能を活用することを前提にした、アプリケーションっぽい文言が入るか（例：ゲーム体験向上）

が多いかなと思う。この2つに分けて整理してみる。

Aの場合(人の触覚を使った外界認識機能)

Aの場合は、開発した触覚ディスプレイを使うことで、

A-1: これまでの触覚ディスプレイよりも認識がうまくいく
A-2: これまでの触覚ディスプレイと同程度に認識できるけど、触覚ディスプレイの他の観点（コストとか使いやすさとか汎用性とか）がこれまでのものよりも優れている
A-3: そもそも、これまでそのような触覚による外界認識が可能な触覚ディスプレイはなかったけど、開発した触覚ディスプレイであれば(ある程度)できる

のいずれかを示す必要がある。評価の難易度的には簡単な順で、A-3, A-2, A-1という感じかな。評価の基本的な方針がそれぞれ全然違うので、途中で切り替える羽目になるととても大変。そうならないためにも、事前にどれなのかきっちりfixしておきたい。

A-1(認識が従来よりもうまくいくことを示す場合)

A-1の場合は、従来の触覚ディスプレイによる認識結果とできるだけ条件を揃えて比較したいところ。

刺激の種類（例えば2Dの図形の形状認識のタスクであれば、認識対象の図形の形を揃えたい）
触り方（例えば利き手の人差し指だけで触るかどうかなど）
制限時間（例えば時間無制限かどうかなど）
...

条件の細かい違いで結果が変わってしまうことを誰もがよく分かっているので、教示で指定できる範囲であれば揃えたい。揃えることができる条件なのに揃っていない場合、後からjustifyするのは難しいので、再実験となるケースが少なくない。しっかり詰めておかないと後悔する。

先行研究で明示的に書かれていない条件についてはどうしようのないので諦めて推定していくしかない。でも、実験してみて先行研究と乖離した結果になったときに、書いてない条件の違いが影響していたりするとツライ。そのような場合には、Limitationで「もしかしたら、この条件の違いがあって、それが結果に影響したのかもしれない」みたいな感じで書くという方法はあるが、曖昧性が高くてこういう文章を書いていくのはツライ。あるトピックで、同じ著者のほうが効率的に研究を進められるのは、こういう共有されてない暗黙のノウハウの有無が大きいように思われる。

なので、自分が実施した評価の条件はできるだけ漏れがないように書いておくことや、査読者となったときには条件について細かく書いてもらうように促すことが重要なんだろうなと思う。

A-2(触覚ディスプレイのなにかの設計項目が従来よりも良いことを示す場合)

A-2の場合には、A-1と違って既存の触覚ディスプレイによる認識結果を上回ることは必須ではない。また条件もそこまで厳密に揃っていなくてもよいはずである。「認識結果としてはだいたい同等だね〜」とみなせて、あとは星取表（DA表）かなにかで、別の設計項目（コストとか軽さとか）で、提案するディスプレイが明確に良いことを示せばよい。

このA-2で気にするべきポイントとしては、

星取表で取り上げる設計項目（コストとか）が恣意的になってないかどうか
星取表で取り上げる比較対象となる先行研究が恣意的になっていないかどうか

かな〜。ここで「恣意的かどうか」というのは「みんなが納得できるかどうか」と言い換えられる。でもこれも曖昧な基準で正直難しい。

設計項目についてはMECEなものを自分で抽出できると良いけど、それは簡単でない。先行研究から項目群を引用できれば楽。例えばUnderstanding Virtual Realityの180ページ目に「Haptic Presentation Properties」という一覧が載っているのでこれを引用するとか。

Haptic Presentation Properties

・Kinesthetic cues

・Tactile cues

・Grounding

・Number of display channels

・Degrees of freedom

・Form

・Fidelity

・Spatial resolution

・Temporal resolution

・Latency tolerance

・Size

Logistic Properties

・User mobility(体験中にユーザが移動できるかどうか。Grounded-displayを使う場合だと移動できない。モバイルなら動ける)

・Interface with tracking methods (ユーザの身体のセンシング方法)

・Environment requirements (環境への要件。コンプレッサとか必要とするかとか)

・Associability with other sense displays (他の提示ディスプレイとの兼ね合い。視覚ディスプレイの配置など)

・Portability

・Throughput (ここでは装置の着脱にかかる時間のこと。一般的なスループットではないことに注意)

・Encumbrance (装着の負荷)

・Safety

・Cost

A-3(比較対象となる先行研究が存在しない場合)

A-3の場合で気をつけておくべきポイントの1つは、既存のディスプレイがないことを厳密に示すのは難しいということ。自身で調査したりサーベイ論文に載っていなくても、見落としはありうる。複数の方法を使って洗い出すのがベストエフォートなのかな。

少し脱線するけど「なんでかな？」と最近気になっているのは、論文というフォーマットの場合、こういうsearchの結果を証跡として残すことがあまり一般的でないこと。顧客へのレポートとして考えると、例えば最低「○○というキーワードで検索した結果、AAがBB件、CCがDD件出てきた。次にXXというキーワードで検索した結果、、、、」という調査結果を表形式でまとめて提出すると提出された側も再現できるので良いはずなんだけど、論文の場合一般的ではない。本文に載せなくても良いのでサプリメントにも載せてあると嬉しい。

もう1つ意識しておきたいポイントは、コントロールを設定するということ。コントロールがないと「だから何が言いたいの？」という感じになってしまうことがある。例えばコントロールなしで2Dの形状認識評価を実施して、複数の形状を区別するタスクの80%の成功率だったとする。この場合、この数値が何を意味するのかを言わないと意味がないのだが、この数値自体は条件(区別する形状の種類など)によって大きく変わるのではっきり言って意味がない。例外的に100%とか0%とかだったら数値自体に意味はあるが、その場合評価が簡単すぎる or 難しすぎるので評価設計が良くないということになる。

1つの方法としては、開発したディスプレイに工夫点があったとして、その工夫点をdisable/enableしたときに結果に差が生まれることを示すことである。これにより、「その工夫が意義があること」と「ある程度認識ができること」をセットで主張でき貢献を強めることができる。

Bの場合(アプリケーション)

Aを書いて力尽きたのでBについては後日やる気が出たら書く。このブログは単なる雑記帳なのでこういうこともよくある。公開することが大事という哲学で運営している。