Facemotion3d

iFacialMocap은 제 개인 프로젝트였지만, 파트너의 제안을 계기로 Facemotion3d라는 새로운 앱 개발을 시작하게 되었습니다.

Facemotion3d가 출시되더라도 iFacialMocap이 폐지되는 것은 아니며, 기능적인 면에서 차별화될 예정입니다. 지금까지 iFacialMocap에 있던 기능을 없애지는 않을 것입니다.

Facemotion3d에 대한 정보는 다음 웹페이지에서 확인할 수 있습니다.
https://www.facemotion3d.net/

[iFacialMocap과 Facemotion3d 비교]

1. 인터페이스 및 디자인 개선

iFacialMocap에 표시되는 아바타는 단순했지만, Facemotion3d에는 더 풍부한 그래픽을 즐길 수 있는 추가 아바타가 있습니다.

버튼을 눌렀을 때의 애니메이션을 포함해 버튼 디자인도 개선되었습니다.

Interface and design improvements: comparison of avatars

2. DAZ Studio와의 통신

Facemotion3d는 DAZ Studio와 실시간으로 통신할 수 있습니다.

DAZ Studio와의 통신

3. Maya와 직접 통신

iFacialMocap은 PC 소프트웨어를 통해 Maya와 통신할 수 있었습니다. 반면 Facemotion3d는 PC의 중간 소프트웨어 없이 Maya와 직접 통신할 수 있습니다.

스트리밍으로 기록한 애니메이션을 베이크하는 속도도 향상됩니다. 애니메이션을 베이크할 때 오디오도 스트리밍으로 타임라인에 가져올 수 있습니다.

Maya와 직접 통신

4. Blender와 직접 통신

iFacialMocap은 PC 소프트웨어를 통해 Blender와 통신할 수 있었습니다. 반면 Facemotion3d는 PC의 중간 소프트웨어 없이 Blender와 직접 통신할 수 있습니다.

스트리밍으로 기록한 애니메이션을 베이크하는 속도도 향상됩니다. 애니메이션을 베이크할 때 오디오도 스트리밍으로 타임라인에 가져올 수 있습니다.

Blender와 직접 통신

5. Unity와 직접 통신

iFacialMocap은 PC 소프트웨어를 통해 Unity와 통신할 수 있었습니다. 반면 Facemotion3d는 PC의 중간 소프트웨어 없이 Unity와 직접 통신할 수 있습니다.

또한 Facemotion3d는 Unity 안에 오브젝트 이름을 내장할 수 있어 게임 제작이 쉬워집니다. 게임 시작 시 앱에 자동으로 연결하는 옵션과 UDP뿐 아니라 TCP/IP로 통신하는 방법도 추가되었습니다.

Facemotion3d × Unity — iPhone과 Unity를 이용한 얼굴 추적.
Unity와 직접 통신

6. 여러 VRM 가져오기

Facemotion3d에서는 iOS 앱 안에서 두 개 이상의 VRM 모델을 가져와 등록할 수 있습니다. 조명이나 카메라 같은 설정도 세밀하게 조정할 수 있습니다.

여러 VRM 가져오기

7. BlendShape 보정

Facemotion3d는 BlendShape를 보정할 수 있습니다. 아바타의 눈이 충분히 크게 뜨이지 않거나 입이 제대로 닫히지 않는 문제 등에 대응할 수 있습니다.

8. 음성 인식에 BlendShape를 반응시키는 기능

앱에 등록한 단어를 말하면 해당 단어에 대응하는 BlendShape를 움직일 수 있습니다. 예를 들어 "hello"라고 말하면 hello BlendShape를 움직일 수 있습니다.

9. .scn 파일 가져오기

.scn 형식 확장자를 가진 커스텀 아바타를 Facemotion3d 앱으로 가져올 수 있습니다.

.scn 파일을 만들고 사용하는 방법은 다음 글에 설명되어 있습니다.
https://note.com/pekochun/n/n69d6b093b1c7

10. 앱 내 여러 녹화 데이터 관리

iFacialMocap에서는 앱 안에서 하나의 녹화 애니메이션만 다룰 수 있었습니다. 하지만 Facemotion3d에서는 여러 데이터를 다룰 수 있습니다.

사용 방법은 다음 글에서 확인할 수 있습니다.
https://note.com/pekochun/n/ne89b6f5661f2

11. 녹화 시 화면 녹화

Facemotion3d에는 애니메이션 녹화와 동시에 화면을 녹화하는 옵션이 있습니다.

12. 요청 사항 대응

추가 기능 요청은 iFacialMocap보다 Facemotion3d를 우선하여 구현될 예정입니다.

13. 자동 스크롤 텍스트 표시

Facemotion3d는 얼굴 추적 중 자동으로 스크롤되는 텍스트를 표시할 수 있습니다. 가사를 보며 노래할 때 등에 유용합니다.

Facemotion3d에는 iFacialMocap에는 없는 다양한 기능이 더 있습니다.

Facemotion3d는 무료로 다운로드할 수 있습니다. 꼭 사용해 보세요.

FACEMOTION3D 출시 배경에 대해
https://note.com/pekochun/n/n92910c023973