Especificaciones de comunicación de iFacialMocap

Si envía la cadena "iFacialMocap_sahuasouryya9218sauhuiayeta91555dy3719" desde el PC al puerto 49983 del lado iOS, iFacialMocap devolverá una respuesta por UDP al puerto 49983 a 60 FPS.

・ Ejemplo en Python

from socket import *
DstIP = "192.168.1.7"
DstPort = 49983
DstAddr = (DstIP,DstPort)
udpClntSock = socket(AF_INET, SOCK_DGRAM)
data = "iFacialMocap_sahuasouryya9218sauhuiayeta91555dy3719"
data = data.encode('utf-8')
udpClntSock.sendto(data,DstAddr)

server = socket(AF_INET, SOCK_DGRAM)
server.bind(("", 49983))
server.settimeout(0.05)

while True:
    try:
        messages, address = server.recvfrom(8192)
        print(messages.decode('utf-8'))
    except:
        pass

・ La cadena enviada por cada fotograma es la siguiente.

・ Las cadenas enviadas por cada fotograma son las siguientes.

BlendShape Name-Parameter (0 ~ 100) | … | BlendShape Name-Parameter (0 ~ 100) | … | = head # Euler angles X (degree), Euler angles Y, Euler angles Z, Position values X, Position values Y, Position values Z | rightEye # Euler angles X, Euler angles Y, Euler angles Z | leftEye # Euler angles X, Euler angles Y, Euler angles Z |

Los datos relacionados con ángulos se envían en grados, no en radianes.

Desde iOS ver. 1.1.8 se añadió un comando externo para compatibilidad con Facemotion 3d.
Si añade la cadena "|sendDataVersion=v2" como se muestra abajo, los valores del parámetro BlendShape enviado se separarán con "&".
iFacialMocap_sahuasouryya9218sauhuiayeta91555dy3719|sendDataVersion=v2

[Ejemplo]
Normal
mouthSmile_R-0
sendDataVersion = v2
mouthSmile_R & 0

La razón es que Facemotion 3d puede enviar valores negativos al valor de blendShape.
Esto se debe a que usar "-" como delimitador podía causar colisiones.

Con UDP pueden perderse fotogramas, por eso también existe un método para recibir con TCP/IP.
Si envía por UDP la cadena "iFacialMocap_UDPTCP_sahuasouryya9218sauhuiayeta91555dy3719" al puerto 49983 del lado iOS, los datos se enviarán al puerto 49986 del lado PC.

La cadena que se envía es simplemente la cadena "___iFacialMocap" añadida a la cadena enviada por UDP.

- ejemplo
BlendShape Name-Parameter (0 ~ 100) | BlendShape Name-Parameter (0 ~ 100) | … | = head # Euler angles X, Euler angles Y, Euler angles Z, moving values X, moving values Y, moving values Z | rightEye # Euler angles X, Euler angles Y, Euler angles Z | leftEye # Euler angles X, Euler angles Y, Euler angles Z | ___iFacialMocap

Al recibir de iOS al PC mediante TCP/IP, puede enviarse una cadena con frames divididos; use "___iFacialMocap" al final como delimitador.

Para detener el envío por TCP/IP, envíe la cadena "iFacialMocap_UDPTCPSTOP_sahuasouryya9218sauhuiayeta91555dy3719" al puerto 49983.

・ Ejemplo de uso en Python para recibir por TCP/IP

from socket import socket, AF_INET, SOCK_DGRAM, SOCK_STREAM

#UDP send
HOST = ''
PORT = 49983
ADDRESS = "192.168.1.7" #iOS address

s = socket(AF_INET, SOCK_DGRAM)
msg = "iFacialMocap_UDPTCP_sahuasouryya9218sauhuiayeta91555dy3719"
s.sendto(msg.encode(), (ADDRESS, PORT))

s.close()

#create tcp server
with socket(AF_INET, SOCK_STREAM) as tcp_server:
    tcp_server.bind(("192.168.1.5", 49986)) #192.168.1.5 is pc address
    tcp_server.listen(1)

    while True:
        conn, addr = tcp_server.accept()
        with conn:
            while True:
                data = conn.recv(10000)
                print(data.decode('utf-8'))

Desde iOS ver. 1.1.8 se añadió un comando externo para compatibilidad con Facemotion 3d.
Si añade la cadena "|sendDataVersion=v2" como se muestra abajo, los valores del parámetro BlendShape enviado se separarán con "&".
iFacialMocap_UDPTCP_sahuasouryya9218sauhuiayeta91555dy3719|sendDataVersion=v2

[Ejemplo]
Normal
mouthSmile_R-0
sendDataVersion = v2
mouthSmile_R & 0

La razón es que Facemotion 3d puede enviar valores negativos al valor de blend shape, y usar "-" como delimitador podía causar colisiones.

Si falla la conexión de red por Wi‑Fi, como UDP o TCP/IP, también puede usar Bluetooth como alternativa. Consulte el siguiente código de GitHub.

https://github.com/emoto-yasushi/iFacialMocap_Facemotion3d_Bluetooth

Si envía la cadena "iFacialMocap_bakeRecordedAnimation_start" al puerto 49983 del lado iOS por UDP, los datos grabados se enviarán al puerto 49987 del PC por TCP/IP.

La cadena enviada tiene el formato [".....", ".....", "....."] ___iFacialMocap.
La parte [".....", ".....", "....."] está en formato JSON y guarda las mismas cadenas usadas en UDP y TCP/IP.

Los datos grabados a 60 FPS siempre se almacenan. (Aunque el procesamiento baje a 30 FPS en iOS, se graba a 60 FPS.)

Esto no formaba parte del propósito original de iFacialMocap, pero los desarrolladores de terceros pueden usarlo libremente. En el futuro, el desarrollo se desplazará gradualmente hacia una app sucesora; iFacialMocap en sí no quedará obsoleto. Si usa esta función, tenga en cuenta que su tratamiento puede cambiar en la app sucesora.

Envíe la cadena "iFacialMocap_lookForward" al puerto 49983 de iOS.

Los siguientes scripts se pueden usar adjuntándolos a objetos del juego.
Puede hacer streaming tanto con iFacialMocap como con Facemotion3d.
https://drive.google.com/file/d/10cnZRlglrHmZIv-ECT66eqNZNsiWhMtf/view?usp=sharing

Funciona especificando el nombre del objeto como se muestra en la imagen siguiente.

Este script está pensado para archivos FBX, no para VRM.
Si desea usarlo con VRM, cree el suyo propio o envíeme un correo.