ブログ

簡易的なモーションキャプチャーシステムを作ってみた(その後)(デザイン学科 廣瀬伸行)

研究室からこんにちは(デザイン学科)
2018.10.12の研究室からこんにちはで書かせていただいた「簡易的なモーションキャプチャーシステムを作ってみた」を実際に授業で使ってみました。
今回はキャラクターにモーションをつける演習で受講者に使ってもらうため、簡易的なモーションキャプチャーシステムで出力したCSVデータを、授業で使用している3DCGソフトウェアに取り込む仕組みが必要でした。
授業で使用している3DCGソフトウェアには、python(パイソン)というプログラム言語で機能を拡張できる仕組みがあり、今回はCSVデータを読み取り、それをキャラクターに割り当てる処理を自作しました。
ところで、メジャーなモーションデータの形式には、BVH(bounding volume hierarchy)という形式があります。以前2012年、歌手グループの「Perfume」がダンスのモーションデータをBVH形式で公開していました。残念ながら当時これに気が付かず私はこのデータを入手できていません。私もいずれは、BVH形式の出力に対応したいところです。
さて、途中、発注していた腰と両足用の追加のモーショントラッカーが届き、これで、頭、右手、左手、腰、左足、右足の位置と方向が記録できるようになりました。
3DCGソフトウェア側ではキャラクターに、あらかじめ、手首の位置と方向から、繋がる腕と肩の動きまでを補間する仕組みIK(インバースキマティクス)を設定しておきます。同様に頭-首-背-腰、足-膝-腿-腰にもIKを設定しておけば、ほぼ全身の関節の動きを表現することができるようになります。間の関節は計算で補間しているため、残念ながら元の動きの再現性はありません。その代わり、3DCGソフトで補間の仕方を編集することができますので例えば、足を内股に、脇も閉めた動きに編集することで、男性の動きを女性っぽく、逆に女性の動きを男性っぽく見せることができます。
授業では、この仕組みを使って、受講者が演習で作成した体格の異なるパンダのキャラクターに、各自の動きを適用してみました。人の動きが付いたパンダの動きを見ていると、映画「ベイマックス」のシーンを見ているようでなかなか楽しい授業回になりました。
授業やってみてわかったことは、あたりまえですがキャプチャー元の人の演技力が表れてしまうことです。それを理想の動きにするには、現実(自分の動き)との間を修正して埋めていく作業が必要です。しかし、モーションデータの編集作業が思いのほか大変で、授業時間をかなり占めてしまいます。表現のために当然の作業ですが、動作によっては手で付けたほうが早い場合もありました。授業内でしっかりとした表現を出させるには、モーションの編集作業をもっと簡略化する仕組みが必要になりそうです。(Autodesk社のMotionBuilderを併用するとよさそうですが)
とはいえ以前のモーションキャプチャーの機材に比べて簡単に扱えるようになったのは大変よかったです。VR用のセンサーや機材をPC教室に直接運び込んで設営から人への装着、動作チェックまで10分もあればできてしまいます。CSVデータをキャラクターに適用したり、編集する作業が簡略化できれば、もっと簡単に使いやすくなりそうです。
キャラクターを躍らせるだけでなく、例えば、様々な場所や状況に応じたバーチャル受付のキャラクターの動作をデザインすることや、人の動きをコンピュータに覚えさせて、何らかの認識、判断、反応させる材料にも使えるかもしれません。今後学生の皆さんが、この表現技術をデザイン事案にどう活かしていくのか楽しみにしています。

愛知産業大学通信教育部
デザイン学科講師 廣瀬伸行