ソニーのモバイルモーションキャプチャ「mocopi」と、2Dアニメーション技術のLive2Dが新たに組み合わさり、全身トラッキング機能を実現したことが発表されました。
この連携により、Live2Dのキャラクターがよりダイナミックに動き、ユーザーの表現の幅が一層広がります。この新しい技術は、VTuberやコンテンツ制作、ゲーム開発において大きな変革をもたらすことが期待されています。
mocopiとは
引用元：https://www.sony.jp/mocopi/
mocopi（モコピ）は、ソニーが開発したモバイルベースのモーションキャプチャシステムで、スマートフォンや専用センサーを使って、ユーザーの動きをリアルタイムで捉え、デジタルキャラクターに反映することができる技術です。
ユーザーはセンサーを装着することで、全身の動きを手軽にトラッキングでき、特別な設備を用意せずとも手軽に動作のキャプチャが可能となります。
このシステムの特長は、モバイル機器を活用した手軽さと、動きのトラッキング精度の高さです。
これにより、VR、AR体験やVTuber活動、ゲームなどで屋内外どこでもリアルタイムにキャラクターを操作することが可能になります。高額な専用機器を必要とせず、誰でも手軽に高品質なアニメーションを作成できる点が魅力です。
ソニー独自のモーションキャプチャ技術を一般ユーザーにも提供し、VTuberやコンテンツクリエイター、ゲーム制作などの分野で広く活用されることを目指しています。
Live2Dとは
Live2Dは、2Dのイラストに立体的な動きを加える技術で、静止したイラストをリアルタイムでアニメーション化させることができます。この技術により、キャラクターの表情や体の動きを、絵柄を保ったまま3Dのように表現することが可能になります。主にVTuberのアバターやゲーム、アニメのキャラクターに幅広く利用され、リアルタイムで動きや反応を実現することができ、3Dモデルを制作するよりも低コストで作ることができます。
また、Live2Dの制作には専用ソフト「Live2D Cubism」を使用し、イラストを細かく分解して動かす設定の後、モーションや表情差分の設定をします。
この技術は、ゲームやアプリのキャラクター表現、デジタルアートの活用など、さまざまな分野で広く利用されています。
mocopiとLive2Dによる全身トラッキング
Live2Dは、ソニーのモバイルモーションキャプチャ「mocopi」による全身トラッキングを、新たに「nizima LIVE」アプリのバージョンアップでサポートすることを発表。
「nizima LIVE」は、2021年9月にPC用フェイストラッキングアプリとしてリリースされ、iPhoneやWebカメラを使用して顔の表情や動きをトラッキングし、それをLive2Dモデルに反映させて動かすことができるアプリケーションです。2024年10月29日のアップデートでバージョン2.0になり、公式キャラクター「虹丸イブ」もお披露目されました。
バージョン2.0では、ソニーの「mocopi」モーションキャプチャを新たにサポート。mocopiで取得した3Dデータをnizima LIVEでLive2Dモデル用に最適化することで、顔の表情に加えて、全身の動きもトラッキングできるようになりました。
これにより、上半身の大まかな動きだけでなく腕の角度、膝の曲げ具合、腰の振り、足の位置などをLive2Dモデルに細かく反映できるようになり、これまで以上に広範囲なトラッキングが実現できます。顔の回転や手の動きなど、従来のパラメーターに加えて、体全体を使った大きな動きもカメラ画角外からでもキャプチャできるようになりました。
他にも、トラッキング感度を自動で調整するキャリブレーション機能、パラメーター設定の操作性向上、アプリ内でのアップデート完了機能、ショートカット機能の強化、新しいエフェクトの追加などが含まれています。
Live2Dは、ソニーが展開するモバイルモーションキャプチャ「mocopi」とのグループ内の協力関係を背景に、今回のコラボレーションを実現。この連携の目的は、Live2Dが「ユーザーの表現の幅を広げること」、mocopiは「利用ユーザーの増加」を目指している点にあります。
mocopiを用いた全身トラッキングによってLive2Dモデルを動かすためには、Live2Dモデル側もそのトラッキングパラメーターに対応させる必要がありますが、今回のアップデートに伴い、全身トラッキングに対応したサンプルモデルが公開される予定です。
また、イラストレーターのみふねたかし氏による「いらすとや」のLive2Dモデルもサンプルの一部として登場し、近日中に10体のモデルが利用可能になる予定だそうです。
まとめ
Live2Dとmocopiの連携により、ユーザーは全身の動きをリアルタイムでトラッキングし、よりリアルで表現豊かなアニメーションを作成できるようになりました。
mocopiとnizima LIVEを使えば、従来の高価な設備を必要とせず、誰でも手軽に高精度な動きのキャプチャが可能です。
今後のnizima LIVEのアップデートでさらに便利な新機能やサンプルモデルの追加が行われ、mocopiとの連携と共に活動の幅が広がることでしょう。これからのエンタメ業界に期待が高まります。