音声からフェイシャルアニメーションを生成する「Magical VEngine」
WBS の「トレたま」で取り上げられていましたので、メモしておきます。セガがフェイシャルアニメーションの作成をサポートするツール「Magical VEngine」を来年から販売するとの発表をしたようです。ぐぐってみると、どうも開発自体は3年以上前からしていたようですね。実際に他社に提供可能になって、来年に20万円程度でボーンデジタルから発売になる、というのが新しいニュースだったようでした。
Maya や max などのプラグインとして提供され、あらかじめ母音や感情ごとの表情を設定しておくと、あとは音声データを流し込むだけで、母音や感情を解析して自動的にアニメーションを付けてくれる、というもののようです。どんな音声、いかなる言語でも解析できるそうで。
母音はともかく、感情の解析の精度が気になりますね（＾＾；テンポや音の高さ、声質の時間方向の変化なんかを見ているらしいのですが、どの程度それらしい表情が自動で付くのかは気になります。3年前の記事を見る限りでは、独自の解析エンジンのようですので、某"ST" とは関係なさそうですが……*1。
なお、実際の所は、ある程度まで自動でアニメーションが付いてくれれば、あとは手動で作り込んでいけばいいだけですので、100%の精度は不要です。そういった点では、ツールチェインの中に導入しやすいツールかもしれませんね。
また、「トレたま」の映像で気になったのは、2D のアニメ調のキャラ絵に対して、この技術を適用して、表情や口パクを付けていたデモがあったこと。仮に、MotionPortrait とセットにして適用してみると、2D のキャラクターがうにょうにょ動くというこれまた不思議な演出ができそうです。
セガはサクラ大戦の頃から母音のリップシンクを自動で付けたりしていたはずですので、社内での技術研究をずっと積み重ねてきたのでしょう。そうした蓄積が、ツール販売という形で社外にも出て行くことは皆にとってハッピーなことですね。サポート作業とか考えると、なかなか簡単なことではないわけですが。
*1:ST は言語センシティブなはずですので、今回の技術とは異なるはずです
