データサイエンスの知見をUnityでも活かそう！ライブ配信アプリIRIAMの顔認識改善の取り組み

IRIAMではライバーの顔をUnityアプリ上でリアルタイムに認識し、視聴側でキャラクターを表情付きで再構築することで低遅延のネットワーク配信を実現しています。一方で端末スペックに起因する認識精度の差異が従来からの課題となっており、問題解決にむけDeNAはデータサイエンスとエッジAIの知見を活かした新しい顔認識の開発に取り組みました。
本発表ではその開発過程で得られた知見、具体的には教師データの制約や使途によって異なる機械学習モデルの設計指針、Barracudaなどの推論ランタイムを活かすためのモデル変換ノウハウ、そしてUnityとAIを実機上で効率良く連携するための周辺実装を中心にお伝えします。

こんな人におすすめ:
・純粋に、ライブ配信アプリIRIAMに興味のある方
・PyTorchやLightGBMを各種制約や使途に応じて使い分け、AIを実用化したい方
・Barracuda、ONNXRuntime、TFLiteをUnityで動かす上での課題と解決策を知りたい方

受講者が得られる知見:
・データサイエンスの知見を活かした機械学習フレームワークの活用およびモデルの設計指針
・機械学習モデルをBarracudaなどで動かすためのノード書き換えといったML寄りドメイン知識
・Native PluginsやComputeShaderを通じて実機上で効率よくAIを動かすための実装実装技術

出演:
竹村 伸太郎 (株式会社ディー・エヌ・エー)
大矢 隆 (株式会社ディー・エヌ・エー)

—
初出: SYNC 2022 #UnitySYNC
https://events.unity3d.jp/sync/