Leap Motionを手話認識として使う為には。

現在卒業研究で手話認識の研究を進めています。

たまたま紹介でこの機器を紹介してもらったのですが、

生憎時期が合わず、研究費では買わず、個人的に扱うことにしました。

 

まあ趣味で楽しもうかなぁ...って思ったんですが、これが意外と精度がよかったんですね。

 

f:id:eight-seven:20130723004332j:plain

 

ちゃんと指先まで捉えてくれます。

さらに手の裏表や、指の動き(スワイプ)も認識してくれるので、これはもしかしたら本当に研究材料として使えるかもしれない!

 

と思ったんですが、それがどうもうまくいかないわけでして。

結局趣味の範囲でやってることで、研究室の進捗報告でも発表できなく、お流れになってしまう可能性大なのでざざっとこっちで書いてしまおうか。

 

 

f:id:eight-seven:20130723232721j:plain

 

 

下から撮っているという特性上、LEAP Motionはこういう手の形はしっかりとくれます。

LEAP Motion機器と平行にあるような向きの形です。

 

f:id:eight-seven:20130723233337p:plain

セッティングのビジュアライザを使うとこんな感じ。  指先までクッキリです。

 

この手の形を縦にしてみましょう。

 

f:id:eight-seven:20130723232728j:plain

 

こんな感じ。 今度はモニターに平行になる形です。

 

すると...

 

f:id:eight-seven:20130723233410p:plain

んー、なかなかいい精度は出てこないようです...

手の裏表は正確に捉えているようですが...。

 

実は手話はこの手の向きの形の単語が多いです。

つまり、LEAP Motion機器と垂直の位置にある形です。

もちろん、前者のように、平行になる形の手の形もあるのですが... むしろどちらも捉えられなければ。

 

また、手話の一種である、指のポーズで文字1文字を表す、指文字も、多くがこの形です。

しかし、自分が調べた中では、指文字はほとんどがLEAP Motion機器に垂直の位置の手の形がほとんどです。

手話のようにオールマイティである必要性は少ないので、もしかしたら有用性はあるのかも...?

動きが必要である「の」や「ん」も捉えられるので、うまくいけばかなり精度がいいものが作れるのかもしれません。問題は指文字をどうつかうのーってところなんですが。

 

んー、しかしLEAP Motionを置く位置を変えたとして、

キャリブレーションの設定はいかにすればいいのか。

 

f:id:eight-seven:20130723235131j:plain

こうなればいいのかな...

 

はてさて。どうすればいいのやら。

 

もしかしたら自分の動作環境(Mac OS X Snow Lepard<推奨環境対象外>)なのが悪いのかもしれませんが、

記憶が正しければ、研究室のPC(Windows 7Core i7<推奨環境対象>)

でも同じだったような感じだったと思います。

 

 

んー、どうしましょ。