Facemotion3d


iFacialMocap era meu projeto pessoal, mas fui convidado pelo meu parceiro a começar o desenvolvimento de um novo aplicativo chamado Facemotion3d.

O lançamento do Facemotion3d não tornará o iFacialMocap obsoleto; ele apenas o diferenciará em alguns aspectos funcionais. Não descontinuarei nenhuma função que já existia no iFacialMocap.

As informações sobre o Facemotion3d podem ser consultadas na página web a seguir.
https://www.facemotion3d.net/

[Comparação entre iFacialMocap e Facemotion3d]

1. Melhorias de interface e design

Os avatares exibidos pelo iFacialMocap eram simples, mas o Facemotion3d adiciona alguns avatares que permitem aproveitar gráficos mais ricos.

O design dos botões também foi melhorado, incluindo animação ao pressioná-los.

Interface and design improvements: comparison of avatars

2. Comunicação com DAZ Studio

O Facemotion3d pode se comunicar em tempo real com o DAZ Studio.

Comunicação com DAZ Studio

3. Comunicação direta com Maya

O iFacialMocap se comunicava com Maya por meio de um software no PC. Já o Facemotion3d permite comunicação direta com Maya sem usar software intermediário no PC.

Ele também melhora a velocidade de baking de animações gravadas via streaming. Ao fazer baking da animação, também é possível importar áudio para a timeline via streaming.

Comunicação direta com Maya

4. Comunicação direta com Blender

O iFacialMocap se comunicava com Blender por meio de um software no PC. Já o Facemotion3d permite comunicação direta com Blender sem usar software intermediário no PC.

Ele também melhora a velocidade de baking de animações gravadas via streaming. Ao fazer baking da animação, também é possível importar áudio para a timeline via streaming.

Comunicação direta com Blender

5. Comunicação direta com Unity

O iFacialMocap se comunicava com Unity por meio de um software no PC. Já o Facemotion3d permite comunicação direta com Unity sem usar software intermediário no PC.

Além disso, o Facemotion3d facilita a criação de jogos porque permite incorporar nomes de objetos dentro do Unity. Também foi adicionada uma opção para conectar automaticamente ao app no início do jogo e um método de comunicação por TCP/IP além de UDP.

Facemotion3d × Unity — rastreamento facial com iPhone e Unity.
Comunicação direta com Unity

6. Importação de vários VRM

O Facemotion3d permite importar e registrar dois ou mais modelos VRM no app iOS. Também é possível ajustar configurações como luzes e câmera.

Importação de vários VRM

7. Calibração de BlendShape

O Facemotion3d pode calibrar BlendShape. É possível lidar com problemas como olhos do avatar que não abrem bem ou boca que não fecha corretamente.

8. Capacidade de fazer o BlendShape responder ao reconhecimento de voz

Ao falar uma palavra registrada no app, é possível mover o BlendShape correspondente a essa palavra. Por exemplo, ao dizer “hello”, o BlendShape hello pode ser movido.

9. Importação de arquivos .scn

Avatares personalizados com extensão .scn podem ser importados para o aplicativo Facemotion3d.

O artigo a seguir explica como criar e usar arquivos .scn.
https://note.com/pekochun/n/n69d6b093b1c7

10. Gerenciamento de vários dados gravados no app

Com o iFacialMocap, apenas uma animação gravada podia ser gerenciada no app. Com o Facemotion3d, vários dados podem ser gerenciados.

As instruções de uso estão no artigo a seguir.
https://note.com/pekochun/n/ne89b6f5661f2

11. Gravação da tela durante a gravação

O Facemotion3d tem uma opção para gravar a tela ao mesmo tempo em que grava a animação.

12. Resposta a solicitações

As solicitações de funções adicionais serão implementadas dando prioridade ao Facemotion3d em relação ao iFacialMocap.

13. Exibição de texto com rolagem automática

O Facemotion3d pode exibir texto com rolagem automática durante o rastreamento facial. Isso é útil, por exemplo, para cantar olhando a letra.

O Facemotion3d tem muitos outros recursos que o iFacialMocap não possui.

O Facemotion3d pode ser baixado gratuitamente. Experimente.

Sobre o contexto do lançamento do FACEMOTION3D
https://note.com/pekochun/n/n92910c023973