Research Content
卒業論文
「モーションセンサを用いた外国語単語学習システムの有効性」
背景
日本人の英語力不足に着目し、その一因として日本人の外国語に対する取っ付きにくさがあると考えました。外国語学習の入り口として、動きを用いた学習が優れているが、ICTへの利用を考えた外国語単語学習システムは存在しないことが判明し、研究テーマとしました。
ディスプレイに動きを反映する方法としてモーションセンサを採用しました。理由としては、(今回の研究ではセンサは一つのため、どの方法でも実現可能であるが)将来、手先の動きを反映する際に最も精度を高く反映できる方法であると考えたからです。
概要
卒業論文の制作を通して日本人の英語力不足という問題に対して一つの解決策を提案しました。
具体的には、下の動画のように、左上のワイプにあるセンサをつけた手の動きに合わせて、ディスプレイ上の手も動き、外国語単語を学習できるシステムを開発しました。
また、完成したシステムに対して有効性を検証するための実験を行いました。実験の結果、システムの有効性を示すと同時に幾つかの問題点が見つかりました。（問題点については院進後、改善中）
再生時の様子
製作の詳細
モーションセンサは実際に回路図を設計し、はんだ付けを行ない、自作しました。
理由としては、現在のモーションキャプチャは一つ数十万円と高額で、ICT教育としての利用を考えた場合、現実的ではなく、自作すると数千円程度で制作することができるためです。
作成したモーションセンサと装着時の様子
「切る」「拭く」「投げる」の三単語を学習できるシステムを制作しました。
Mayaを用いて手、包丁などの単語学習に必要なものをモデリングし、Unityにインポートする。Unity上で、UIの設定やモーションセンサとの接続のためのコード、動作をした時の処理を行うコード等を書き込み、システムの完成としました。
完成した三単語を学習する際の画面
論文要項
卒業論文
現在の研究内容
卒業論文において開発したシステムを拡張するため（肩だけでなく、指先まで動くようにするため）、手の細かい動きを表現できるようにMayaを用いて作成した手オブジェクトにリギングを施しました。
現在は、16個のセンサがついたモーションキャプチャを製作し、Unity上で上図の手オブジェクトが連動して動くようにコードの作成に取り組んでいます。是非下の動画をご覧ください。
16個のセンサをつけたモーションキャプチャ
上の写真のモーションキャプチャの動きと連動して動くようにキャリブレーションを行った。（０：２０〜０：３８）
手の動きの軌跡を表示できるようにした。（０：５５〜）