Facemotion3d


iFacialMocap 原本是我的个人项目,但在合作伙伴的邀请下,我开始开发一款名为 Facemotion3d 的新应用。

Facemotion3d 的发布不会让 iFacialMocap 被淘汰,而是会在部分功能上进行区分。到目前为止 iFacialMocap 已有的功能不会被取消。

关于 Facemotion3d 的信息可以在以下网页中确认。
https://www.facemotion3d.net/

[iFacialMocap 与 Facemotion3d 的比较]

1. 界面与设计改进

iFacialMocap 显示的头像比较简单,而 Facemotion3d 增加了一些头像,可以享受更丰富的图形表现。

按钮设计也得到了改进,包括按下按钮时的动画效果。

Interface and design improvements: comparison of avatars

2. 与 DAZ Studio 通信

Facemotion3d 可以与 DAZ Studio 实时通信。

与 DAZ Studio 通信

3. 与 Maya 直接通信

iFacialMocap 需要通过 PC 上的软件与 Maya 通信。Facemotion3d 则可以不使用 PC 上的中间软件,直接与 Maya 通信。

通过流式传输录制的动画在烘焙时速度也得到提升。烘焙动画时,还可以通过流式传输将音频导入时间轴。

与 Maya 直接通信

4. 与 Blender 直接通信

iFacialMocap 需要通过 PC 上的软件与 Blender 通信。Facemotion3d 则可以不使用 PC 上的中间软件,直接与 Blender 通信。

通过流式传输录制的动画在烘焙时速度也得到提升。烘焙动画时,还可以通过流式传输将音频导入时间轴。

与 Blender 直接通信

5. 与 Unity 直接通信

iFacialMocap 需要通过 PC 上的软件与 Unity 通信。Facemotion3d 则可以不使用 PC 上的中间软件,直接与 Unity 通信。

此外,Facemotion3d 可以在 Unity 内嵌入对象名称,因此更容易制作游戏。还新增了游戏启动时自动连接应用的选项,并增加了除 UDP 之外通过 TCP/IP 通信的方法。

Facemotion3d × Unity — 使用 iPhone 和 Unity 进行面部追踪。
与 Unity 直接通信

6. 导入多个 VRM

Facemotion3d 可以在 iOS 应用中导入并注册两个以上的 VRM 模型。也可以细调灯光和摄像机等设置。

导入多个 VRM

7. BlendShape 校准

Facemotion3d 可以校准 BlendShape。可以处理头像眼睛无法完全睁开、嘴巴无法紧闭等问题。

8. 让 BlendShape 响应语音识别的功能

当你说出在应用中注册过的词语时,可以移动与该词语对应的 BlendShape。例如说出 “hello” 时,可以移动 hello 的 BlendShape。

9. 导入 .scn 文件

可以将 .scn 格式扩展名的自定义头像导入 Facemotion3d 应用。

关于 .scn 文件的创建和使用方法,请参阅以下文章。
https://note.com/pekochun/n/n69d6b093b1c7

10. 在应用中管理多个录制数据

在 iFacialMocap 中,应用内只能处理一个录制动画。而 Facemotion3d 可以处理多个数据。

使用方法可以在以下文章中查看。
https://note.com/pekochun/n/ne89b6f5661f2

11. 录制时同时录屏

Facemotion3d 提供了在录制动画的同时录制屏幕的选项。

12. 响应用户请求

对于收到的追加功能请求,将优先在 Facemotion3d 中实现。

13. 自动滚动文本显示

Facemotion3d 可以在面部追踪时显示自动滚动文本。这在看歌词唱歌等场景中很有用。

Facemotion3d 还有许多 iFacialMocap 没有的功能。

Facemotion3d 可免费下载。请试试看。

关于发布 FACEMOTION3D 的背景
https://note.com/pekochun/n/n92910c023973