Facemotion3d

1. インターフェイスやデザインの向上

iFacialMocapで表示されるアバターはシンプルなものでしたが、Facemotion3dでは追加のアバターも用意し、リッチなグラフィックを楽しめるようにしました。

ボタンを押した時のアニメーションを含め、ボタンデザインも刷新しました。

2. DAZ Studioとの通信

Facemotion3dはDAZ Studioとリアルタイムに通信できます。

3. Mayaとの直接通信

iFacialMocapではPC上のソフトを介してMayaと通信していましたが、Facemotion3dではPC上の中継ソフトを使わずにMayaと直接通信できます。

また、ストリーミング経由で記録したアニメーションのベイク速度も向上しました。アニメーションをベイクする際に、ストリーミング経由でタイムラインに音声をインポートすることもできます。

4. Blenderとの直接通信

iFacialMocapではPC上のソフトを介してBlenderと通信していましたが、Facemotion3dではPC上の中継ソフトを使わずにBlenderと直接通信できます。

また、ストリーミング経由で記録したアニメーションのベイク速度も向上しました。

5. Unityとの直接通信

iFacialMocapではPC上のソフトを介してUnityと通信していましたが、Facemotion3dではPC上の中継ソフトを使わずにUnityと直接通信できます。

さらに、Facemotion3dではUnity内のオブジェクト名を埋め込めるため、ゲーム制作が容易になります。ゲーム開始時に自動的にアプリと接続するオプションや、UDPに加えてTCP/IPで通信する方法も追加されました。

Facemotion3d × Unity — iPhoneとUnityでのフェイストラッキング解説。

6. 複数のVRMインポート

Facemotion3dでは、iOSアプリ内に2つ以上のVRMモデルをインポートして登録できます。ライトやカメラなどの設定も細かく調整できます。

7. BlendShapeのキャリブレーション

Facemotion3dはBlendShapeのキャリブレーションができます。アバターの目が大きく開かない、口がきっちり閉じないといった問題に対処できます。

8. 音声認識でBlendShapeを反応させる機能

アプリに登録した単語を発話すると、その単語に対応するBlendShapeを動かすことができます。例えば「hello」と発話すると、helloに割り当てたBlendShapeが動きます。

9. .scnファイルのインポート

独自フォーマットの.scn拡張子のアバターをFacemotion3dにインポートできます。

.scnファイルの作り方や使い方は以下の記事に記載されています。
https://note.com/pekochun/n/n69d6b093b1c7

10. アプリ内で複数の録画データを扱う

iFacialMocapではアプリ内で1つの録画アニメーションしか扱えませんでしたが、Facemotion3dでは複数のデータを扱えます。

使い方は以下の記事をご覧ください。
https://note.com/pekochun/n/ne89b6f5661f2

11. 録画時の画面録画

Facemotion3dには、アニメーション録画と同時に画面を録画するオプションがあります。

12. 要望への対応

追加機能の要望は、iFacialMocapよりFacemotion3dを優先して実装していきます。

13. 自動スクロール文字表示

Facemotion3dはフェイストラッキング中に自動スクロールするテキストを画面表示できます。歌詞を見ながら歌う等の用途で便利です。

Facemotion3d iOSアプリバージョン1.2.6がリリースされました。フェイストラッキング中に自動的にスクロールするテキストを表示することができます。

「設定」->「その他の機能」からこの機能をオンにすることができます。また、透明度やスクロール速度等を変更することができます。 pic.twitter.com/xm1GChqssH

— Facemotion3d.jp (@facemotion3d_jp) November 16, 2022