iFacialMocapの通信仕様

iFacialMocapにおいて3rdパーティーのツール開発者様は、UDPまたはTCP/IPを使用してPCソフトウェアを介さずにフェイシャルデータを受信できます。

UDPでデータを受信するには

PC上のソフトウェアを介すずにiOSアプリと通信するには、PC側からiOS側の49983番ポートにUDPで「iFacialMocap_sahuasouryya9218sauhuiayeta91555dy3719」という文字列を送信すると、PC側の49983番ポートにUDPで60FPSで送信が始まります。(長時間放置したり、暗ホされなくなると30FPSに低下します)

・ UDPで受信するPython使用例のサンプル

from socket import *
DstIP = "192.168.1.7"
DstPort = 49983
DstAddr = (DstIP,DstPort)
udpClntSock = socket(AF_INET, SOCK_DGRAM)
data = "iFacialMocap_sahuasouryya9218sauhuiayeta91555dy3719"
data = data.encode('utf-8')
udpClntSock.sendto(data,DstAddr)

server = socket(AF_INET, SOCK_DGRAM)
server.bind(("", 49983))
server.settimeout(0.05)

while True:
    try:
        messages, address = server.recvfrom(8192)
        print(messages.decode('utf-8'))
    except:
        pass

・ 1フレーム当たりに送られてくる文字列は以下のようなデータです。

・簡略化された記述は以下のようなデータです。

角度関連のデータは、ラジアンではなくdegreeで送られてきます。

・ iOS側 ver1.1.8 から Facemotion3dとの互換性を持たせるために外部コマンドが追加されました。
以下のように、「|sendDataVersion=v2」という文字列を付与すると、送られてくるBlendShapeパラメータの値が「&」で区切られるようになります。
iFacialMocap_sahuasouryya9218sauhuiayeta91555dy3719|sendDataVersion=v2

【例】
通常時
mouthSmile_R-0
sendDataVersion=v2
mouthSmile_R&0

何故このような処理になっているかというと、iFacialMocapの上位版となる、Facemotion3dアプリではブレンドシェイプの値にマイナスの値が送られてくる可能性があるためです。区切りの文字に「-」を使っていると衝突が起こってしまう可能性があったためです。

TCP/IPでデータを受信するには

UDPだとフレーム落ちすることもあるので、TCP/IPで受信する方法もあります。
iOS側の49983番ポートに「iFacialMocap_UDPTCP_sahuasouryya9218sauhuiayeta91555dy3719」という文字列を送信するとPC側の49986番ポートにデータが送信されてきます。

送信される文字列は、UDPの時に送信されてくる文字列に「___iFacialMocap」という文字を付加しただけのものです。

・簡略化された記述は以下のようなデータです。

TCP/IPでiOSからPCで受信するときコマになった文字列が送信されてくるため、末尾の「___iFacialMocap」を区切り文字として使用してください。

TCP/IPの送信を停止するには、「iFacialMocap_UDPTCPSTOP_sahuasouryya9218sauhuiayeta91555dy3719」という文字列を49983番ポートに送信します。

・ TCP/IPで受信するPython使用例のサンプル

from socket import socket, AF_INET, SOCK_DGRAM, SOCK_STREAM

#UDP send
HOST = ''
PORT = 49983
ADDRESS = "192.168.1.7" #iOS address

s = socket(AF_INET, SOCK_DGRAM)
msg = "iFacialMocap_UDPTCP_sahuasouryya9218sauhuiayeta91555dy3719"
s.sendto(msg.encode(), (ADDRESS, PORT))

s.close()

#create tcp server
with socket(AF_INET, SOCK_STREAM) as tcp_server:
    tcp_server.bind(("192.168.1.5", 49986)) #192.168.1.5 is pc address
    tcp_server.listen(1)

    while True:
        conn, addr = tcp_server.accept()
        with conn:
            while True:
                data = conn.recv(10000)
                print(data.decode('utf-8'))

・UDP同様、iOS側 ver1.1.8 から Facemotion3dとの互換性を持たせるために外部コマンドが追加されました。
以下のように、「|sendDataVersion=v2」という文字列を付与すると、送られてくるBlendShapeパラメータの値が「&」で区切られるようになります。
iFacialMocap_UDPTCP_sahuasouryya9218sauhuiayeta91555dy3719|sendDataVersion=v2

【例】
通常時
mouthSmile_R-0
sendDataVersion=v2
mouthSmile_R&0

Bluetoothでデータを受信するには

UDPやTCP/IPなど、Wi-Fiを使用したネットワーク接続に失敗する場合、Bluetoothを使った通信をする方法も利用できます。次のGitHubコードを参照してください。

https://github.com/emoto-yasushi/iFacialMocap_Facemotion3d_Bluetooth

iOS内で録画したデータを受信するには

iOS側の49983番ポートにUDPで、"iFacialMocap_bakeRecordedAnimation_start" という文字列を送信すると、録画済みのデータがTCP/IPでPC側の49987番ポートに送信されます。

送信されてくる文字列は、["......","......","......"]___iFacialMocap というような形式になっています。
["......","......","......"]の部分はJSON形式で、UDPやTCP/IPで使用したのと同じ文字列が格納されるようになっています。
常に60FPSで記録したデータです。(iOS内で30FPSに処理が落ちていた場合でも60FPSで送信されるようになっています)

PC上のソフトウェアを介さずに通信する方法は、iFacialMocapリリース当初に私が想定していた機能ではなかったのですが、仕様があきる範囲で3rdパーティーの開発者様は自由に使用して頂いて大丈夫です。ただ、開発者の私が他の方からお問い合わせを頂きつつしていたら、後継アプリの開発時にはiFacialMocapの位置づけが上位互換となる別のアプリに移行をして行きたい予定です。そして、iFacialMocap自体が廃止されることはありませんが、今後ここのアプリしも継続的にアップデートされます。

この機能をご使用して頂いている場合、今後リリースする後継アプリでどのような扱いになるかは未確定であることをご了承ください。
(具体的には、細かく各機能ごとに値段が分かれる設計になる予定です。)

lookForwardボタンを外部から実行するには

"iFacialMocap_lookForward"という文字列をiOSの49983番ポートに送信してください。

Unityへのダイレクトストリーミング

以下のスクリプトをゲームオブジェクトにアタッチして使用することができます。
iFacialMocapとFacemotion3dの両方でストリーミングが可能です。
https://drive.google.com/file/d/10cnZRlglrHmZIv-ECT66eqNZNsiWhMtf/view?usp=sharing

以下の画像のように、オブジェクト名を指定することで動作します。

Unityのインスペクタに表示されたiFacialMocapストリーミングスクリプト

これはVRMではなくFBXファイルを想定したスクリプトです。
VRMで使用したい場合は、ご自身で作成するか、メールでご相談ください。