Lamiyi

Unreal Engine は、リアルタイムの顔キャプチャーを提供する iPhone 向けの新しい「Live Link Face」アプリをリリースしました。

Live Link Faceは、iPhoneからUnreal Engineのキャラクターに、高品質なフェイシャルアニメーションをリアルタイムで直接ストリーミングします。このアプリのトラッキング機能は、AppleのARKitとiPhoneのTrueDepthフロントカメラを活用し、パフォーマーの顔をインタラクティブにトラッキングします。トラッキングデータは、ネットワーク経由でLive Linkを介してUnreal Engineに直接送信されます。複数の俳優がフルモーションキャプチャスーツを着用してプロ仕様のキャプチャステージで撮影する場合も、アーティストが一人で作業する場合も、このアプリは優れたパフォーマンスを発揮するように設計されており、あらゆる制作環境において、表情豊かで感情豊かなフェイシャルパフォーマンスを実現します。

ハイライト：
共同バーチャルプロダクションはこのアプリの特筆すべき点であり、マルチキャストネットワークを使用して、マルチユーザーエディターセッション内のすべてのマシンにLive Linkデータを同時にストリーミングすることで、レイテンシーを最小限に抑えます。堅牢なタイムコードサポートと正確なフレーム精度により、カメラやボディモーションキャプチャなどの他のステージコンポーネントとのシームレスな同期が可能になります。Live Link FaceにはTentacle Sync統合も備わっており、Bluetoothを使用してステージマスタークロックに接続できるため、撮影からの他のすべてのデバイス録画との完璧な編集ラインナップを確保できます。高度なプロダクションでは、OSC（Open Sound Control）プロトコルサポートも利用できます。これにより、外部アプリケーションからアプリをリモートコントロールし、1回のクリックまたはタップで複数のiPhoneで録画を開始するなどの操作が可能になります。

Live Link Face の機能セットはステージにとどまらず、他の重要なユースケースにも柔軟性を提供します。ストリーマーは、パフォーマーがモーションキャプチャースーツを備えたヘッドマウントリグを装着するのではなく、机に座っている場合でも、アプリのネイティブ調整機能の恩恵を受けることができます。Live Link Face は、顔のトラッキングストリームの一部として頭と首の回転データを含めることができるため、iPhone だけでデジタルアバターをより自由に動かすことができます。アニメーターは、生のブレンドシェイプデータ (CSV) と正面を向いたビデオ (MOV) の両方を記録するオプションも利用できます。それぞれにタイムコードが付けられており、エンジン内でさらに調整が必要な場合に、パフォーマンスの参照資料として使用できます。

機能:
フロントカメラと ARKit による顔のアニメーション:
● ネットワーク経由で Live Link を介してデータを Unreal Engine インスタンスにライブでストリーミングします。
● オプションで携帯電話のビデオ参照にオーバーレイして、3D プレビュー メッシュを駆動します。
● 生の顔のアニメーション データと前面のビデオ参照映像を記録します。

複数デバイスの同期のためのタイムコード サポート:
● iPhone のシステム クロック、NTP サーバーから選択するか、Tentacle Sync を使用してステージ上のマスター クロックに接続します。
● ビデオ参照はフレーム精度で、編集用に埋め込まれたタイムコードを使用します。

OSC を使用して Live Link Face をリモートで制御します。
● 俳優が演技に集中できるように、外部から録画をトリガーします。
● スレート名とテイク番号を一貫してキャプチャします。
● アーカイブ用にデータを自動的に抽出します。

Live Link Face 内でキャプチャしたテイクのライブラリを参照および管理します。
● テイクを削除し、AirDrop 経由で共有します。
● 電話で参照ビデオを再生します。

Live Link FaceはApp Storeから無料でダウンロードできます。

ダウンロード