Facemotion3d


iFacialMocap был моим личным проектом, но по приглашению партнёра я начал разрабатывать новое приложение под названием Facemotion3d.

Выпуск Facemotion3d не сделает iFacialMocap устаревшим; приложения будут различаться по некоторым функциям. Я не буду удалять функции, которые уже существовали в iFacialMocap.

Информацию о Facemotion3d можно посмотреть на следующей веб-странице.
https://www.facemotion3d.net/

[Сравнение iFacialMocap и Facemotion3d]

1. Улучшения интерфейса и дизайна

Аватары в iFacialMocap были простыми, но в Facemotion3d добавлены аватары, позволяющие использовать более выразительную графику.

Дизайн кнопок также улучшен, включая анимацию при нажатии.

Interface and design improvements: comparison of avatars

2. Связь с DAZ Studio

Facemotion3d может обмениваться данными с DAZ Studio в реальном времени.

Связь с DAZ Studio

3. Прямая связь с Maya

iFacialMocap мог взаимодействовать с Maya через программу на ПК. Facemotion3d позволяет напрямую взаимодействовать с Maya без промежуточной программы на ПК.

Это также повышает скорость запекания анимаций, записанных через streaming. При запекании анимации можно импортировать звук на таймлайн через streaming.

Прямая связь с Maya

4. Прямая связь с Blender

iFacialMocap мог взаимодействовать с Blender через программу на ПК. Facemotion3d позволяет напрямую взаимодействовать с Blender без промежуточной программы на ПК.

Это также повышает скорость запекания анимаций, записанных через streaming. При запекании анимации можно импортировать звук на таймлайн через streaming.

Прямая связь с Blender

5. Прямая связь с Unity

iFacialMocap мог взаимодействовать с Unity через программу на ПК. Facemotion3d позволяет напрямую взаимодействовать с Unity без промежуточной программы на ПК.

Кроме того, Facemotion3d упрощает создание игр, поскольку имена объектов можно встроить внутри Unity. Добавлена функция автоматического подключения к приложению при запуске игры, а также способ связи через TCP/IP помимо UDP.

Facemotion3d × Unity — отслеживание лица с iPhone и Unity.
Прямая связь с Unity

6. Импорт нескольких VRM

Facemotion3d позволяет импортировать и регистрировать два или более VRM-моделей в приложении iOS. Также можно тонко настроить свет и камеру.

Импорт нескольких VRM

7. Калибровка BlendShape

Facemotion3d может калибровать BlendShape. Это помогает решить проблемы, например когда глаза аватара плохо открываются или рот плохо закрывается.

8. Возможность заставить BlendShape реагировать на распознавание голоса

Когда вы произносите слово, зарегистрированное в приложении, можно переместить соответствующий BlendShape. Например, сказав “hello”, можно запустить BlendShape hello.

9. Импорт файлов .scn

Пользовательские аватары в формате .scn можно импортировать в приложение Facemotion3d.

О том, как создавать и использовать файлы .scn, рассказано в следующей статье.
https://note.com/pekochun/n/n69d6b093b1c7

10. Работа с несколькими записанными данными в приложении

В iFacialMocap в приложении можно было работать только с одной записанной анимацией. В Facemotion3d можно работать с несколькими данными.

Инструкции по использованию приведены в следующей статье.
https://note.com/pekochun/n/ne89b6f5661f2

11. Запись экрана во время записи

В Facemotion3d есть опция записи экрана одновременно с записью анимации.

12. Реагирование на запросы

Запросы на дополнительные функции будут реализовываться с приоритетом для Facemotion3d, а не iFacialMocap.

13. Автопрокрутка текста

Facemotion3d может показывать автоматически прокручиваемый текст во время отслеживания лица. Это удобно, например, при пении по тексту.

В Facemotion3d есть множество функций, которых нет в iFacialMocap.

Facemotion3d можно скачать бесплатно. Попробуйте.

О причинах выпуска FACEMOTION3D
https://note.com/pekochun/n/n92910c023973