フェイシャルキャプチャーの精度と使いやすさを大きく左右するのが、AIトラッキングエンジンの品質です。3Dアニメーションソフトウェア「iClone」を開発するReallusionは、AIを活用したフェイシャルトラッキングプラグイン「AccuFACE」の新バージョン「AccuFACE 2」を発表しました。GPUアクセラレーションの導入や口元トラッキングの大幅な改善など、実制作現場での活用を意識したアップデートが行われています。
本記事では、AccuFACE 2の主な新機能と、フェイシャルキャプチャーの観点からその意義を紹介します。
AccuFACE 2 概要
| 項目 | 内容 |
| 製品名 | AccuFACE 2 |
| 開発元 | Reallusion |
| 動作環境 | iClone（3Dアニメーションソフトウェア）上で動作するプラグイン |
| 主な対応キャラクター | Character Creator 5（CC5）HDキャラクター |
| 入力ソース | 一般的なWebカメラ、スマートフォン、録画済み映像 |
| 主な新機能 | GPUアクセラレーション、口元トラッキング最適化、CC5 HD対応、単一映像からの顔と全身同時キャプチャー、表情カーブカスタマイズ |
AccuFACEとは
AccuFACEは、iClone上で動作するAI搭載のフェイシャルトラッキングプラグインです。Webカメラやスマートフォンの映像からリアルタイムに表情をキャプチャーし、3Dキャラクターの顔の動きに反映することができます。専用のヘッドマウント機材や厳密なキャリブレーションを必要とせず、一般的な機材で手軽に使えることが特徴です。今回発表されたバージョン2では、新たにトレーニングされたAIモデルの採用と、複数の機能強化が行われています。
主な新機能・強化点
GPUアクセラレーションによるパフォーマンス向上
AccuFACE 2は、トラッキングプロセス全体をGPUで処理するアクセラレーションエンジンを搭載しました。CPUへの負荷を抑えながら低遅延でフルフレームのトラッキングが可能になり、詳細なキャラクターを扱う負荷の高い作業環境でもビューポートの安定性が保たれます。
CC5 HDキャラクター向けの高精度フェイシャルキャプチャー
新バージョンはCharacter Creator 5（CC5）のHDキャラクターに向けて最適化されています。CC5に搭載された262のブレンドシェイプと128のコレクティブモーフで構成されるHD Expression Profileと直接連携し、顔全体の細かな動きをリアルタイムでキャプチャーすることができます。
口元トラッキングの精度向上とリップシンク改善
口元のトラッキングに特化した最適化が行われ、唇をすぼめる動きや発話時の微細な動きを精細に捉えられるようになりました。ラップのような高速音声や複雑な会話への対応精度も向上しており、リップシンクのズレを軽減して手動でのカーブ修正の手間を省きます。
表情カーブのカスタマイズ機能
プロジェクトのアートスタイルに合わせてトラッキング信号の変換を細かく制御できる「Expression Curves」システムが導入されました。顔の領域ごとに速度・強度・応答率を非線形で調整することで、写実的なキャラクターには解剖学的な忠実さを、デフォルメキャラクターには誇張表現を加えるといった対応が可能です。基本プリセットも用意されており、素早い適用にも対応しています。
単一映像からの顔と全身の同時キャプチャー
AccuFACE 2の大きな特徴のひとつが、1本の映像から表情と全身のモーションを同時に処理できる点です。顔が映像内で120×120ピクセル程度の小さな領域であっても表情を再構成でき、クローズアップ専用のカメラを別途用意する必要がありません。同じ映像から「iClone Video Mocap」による上半身モーションとフェイシャルデータを同時に取得できるため、個人制作でも1回の撮影で顔と身体が同期したモーションデータを生成することが可能です。
厳しい撮影環境への対応
AccuFACE 2は、実際の撮影現場で起こりうる様々な条件下でも安定したトラッキングを実現するよう設計されています。多様な肌の色・激しい頭の動き・暗い照明といった状況でも安定して動作します。また、引きの構図やミドルショットで撮影された映像からも顔の特徴を検出・トラッキングするため、ステージ全体を映したような映像に対しても有効です。モーションブラーへの耐性も備えており、素早い動きが含まれる映像でも演技の情報を保持できるとされています。
まとめ
今回は、ReallusionのフェイシャルトラッキングプラグインAIモデル「AccuFACE 2」について紹介しました。
GPUアクセラレーションによるパフォーマンス改善と口元トラッキングの精度向上は、リップシンクの品質に直接影響するアップデートとして制作現場にとって実用的な改善です。特に1本の映像から顔と全身を同時にキャプチャーできる機能は、撮影セットアップの簡素化という観点で個人クリエイターから小規模スタジオまで幅広い用途に影響を与えそうです。フェイシャルキャプチャーの精度と手軽さが同時に向上していく流れは、今後のコンテンツ制作のあり方を変えていくものとして注目されます。