『Hitogata』でVTuberへ…フェイストラッキングとキャラ作成が可能!

『Hitogata』に関する前回の記事では、フェイストラッキングを使わないで、単純にキャラを反応させる方法や、ソフトの動作環境、ダウンロードついてまとめました。

『Hitogata』は、フェイストラッキングが出来るソフトウエアで、Webカメラを使わなくても、動画から取り込んだり、音声に合わせ口パク対応させることも可能。さらに、キャラを作ることができるので、差別化を図りやすい上、さらに無料で利用できます。

今回はこの『Hitogata』の本来のフェイストラッキングを利用して、キャラを動かしてみます。

また、他の『Hitogata』を使うバーチャルYouTuberとの差別化を図るべく、キャラの編集をしてみますが、これらの作業をフリーソフトでできるのは、大変ありがたいことです。

フェイストラッキングとモーションでポーズを作る

まずは、以下の映像をご覧ください。

フェイストラッキングで表情や上半身の動きを読み取って、さらにモーションで手の動きや、部分的に顔の動きを追加しています。

ちょっと体が左右に揺れすぎで、気になるとは思いますが、フェイストラッキングで、どの程度キャラクターが動くのかを見たかったので、ご勘弁ください。

また、途中でカメラ切り替えを行って、アングルを変更しています。

なお、モーションについては右にあるようなメニューが用意されていますが、今後も増えていくかもしれませんね。

キャラクターを作成してみる

現時点でスマホアプリでバーチャルYouTuberになれる系のもので、このレベルでキャラクターを作れるものはないと思いますが、いかがでしょうか?

キャラクターは作るというよりも、編集するという感覚で、部分ごとに変えていきます。

取りあえず見本のキャラクターを作ってみましたので、下記のGIFアニメをご覧ください。

声を変えたい場合はどうする?

ここまでくれば、他の『Hitogata』利用者と差別化できるキャラクターで、フェイストラッキングとモーションを活用し、動画を作成できますが、男性の場合は声が問題ですよね?

最初のフェイストラッキングでマイク入力する際に、リアル変換する方法は試したことがないので、今回は録音された音声の変換で対応します。

フリーのアプリケーションソフトを利用しますので、下記の記事を参考にしていただければと思います。

『恋声』は簡単に男声を女声に簡単チェンジ…逆も可能です。リアルタイムで、声の高さと声の性質(フォルマント)を変えるられ、ファイル(wav、mp3)から変換することもできるWindows用のフリーソフト(Wineを介してLinuxでも利用可能)です。

PCのパワーが不足していたら

実はここに来て、PCのパワー不足に悩むことがあると思います。

たとえば、今更ですが…

  • フェイストラッキングを使っていると、動きがスローになってしまうとか…
  • 動画を編集しようとしたら、スライドショー動画と比較にならないほど、書き出しに時間がかかったとか…

このような問題に出くわしてしまったら…素直にスマホアプリにするか、またはフェイストラッキングを使わないで作成するか、もしくはスマホアプリ+PC動画編集に切り替えるかというようなことが考えられます。

もちろん、PCの買い替えや、一番費用対効果が出やすいと思われるメモリの増設という方法もあります。

まとめ

フェイストラッキングとモーションでポーズを作る

フェイストラッキングで、表情や上半身の動きを読み取って、さらにモーションで手の動きや、部分的に顔の動きを追加することが可能です。

キャラクターも作成できる

キャラクター編集するという感覚で、部分ごとに変えていきます。

声を変えたい場合はどうする?

折角女性キャラにしても、男性の場合は声が問題ですよね?

フリーのアプリケーションソフトを利用し、動画編集時点でボイスチェンジした音声と差し替える方法でやることが出来ます。

PCのパワーが不足で動きがぎこちない場合

素直にスマホアプリにするか、またはフェイストラッキングを使わないで作成する

もしくは、スマホアプリ+PC動画編集に切り替える

また、PCの買い替えや、メモリの増設という方法での対応もあります。