PFN、指先の向きや手の重なりまで認識できる3D姿勢推定技術を開発

このエントリーをはてなブックマークに追加

株式会社Preferred Networks(PFN)は7月27日、ディープラーニング(深層学習)を活用して身体の動きや指先の向きまで高精度に認識する3D姿勢推定技術を開発し、協業先を募集すると発表した。

これまでPFNではイラスト向けとして、動画撮影した人物のモーションをトラッキングし、2Dキャラクターに同じ動きを反映させる技術をコミックマーケット94(2018年)に出展するなど、スポーツ解析向けとしてサッカーのパスコース判定に姿勢推定技術を応用してきた。

今回、3DCGによる人体シミュレーションで大量の学習データを作成し、PFNのスーパーコンピュータで学習して、全身を総合的に認識できる高度な3D姿勢推定モデルを構築した。

専用カメラによる撮影やセンサーを装着せずに、これまでの技術で課題となっていた指先の向きや両手が重なる場面などでの誤検出を大幅に削減。スマートフォンなどで撮影した動画でも身体細部の動きを高精度にトラッキング可能になった。

これにより、これまでデジタル化が難しかった楽器演奏やスポーツの解析、細かな手作業の技術継承、遠隔診断・リハビリなどへの技術応用が期待できる。アバターアニメーション制作などの自動化も進められる。

本技術はソフトバンク株式会社が開発する、手話と音声による双方向コミュニケーションシステム「SureTalk(シュアトーク)」に採用されている。

ソフトバンクが集めた多様な手話動画から、指先の向きや身体(手首・肘・肩・首・鼻・腰)の動きをトラッキング。手話話者個人を特定しない、コンピュータグラフィックス(CG)による統一規格の手話アバター動画を生成するための基礎技術として活用されている。

手話は指の動きや手の重なりが語彙(ごい)の意味に影響するため、指先まで認識できる高度な3D姿勢推定技術が不可欠になる。本技術で自動生成した手話アバター動画は、手話話者によるオリジナル動画の再現性を複数の目でチェックし、正しい手話表現になるように微修正を加えて公開する。

PFNは今後、ソフトバンクとともに日本語音声から手話アバター動画を自動生成する技術の開発を進め、聴覚障がい者と健聴者との円滑なコミュニケーションの実現を目指すという。

>>ニュースリリース