スマホのカメラでもOK!ドイツの大学が発表した、単眼カメラで3D人体モデルを生成する機械学習手法がスゴい

このエントリーをはてなブックマークに追加

ドイツのブラウンシュヴァイク工科大学は「Computer Graphic Lab」から、一台の単眼カメラから人の3Dモデルを作成する機械学習の手法が発表されました。





なんと、複数カメラや、3D深度センサー搭載などの高度なカメラを使用しなくても、PCのカメラやスマホのカメラでも利用が可能だとか。

ユーザーはカメラの前で、ぐるっと一回転するだけでスキャンが完了。それだけでユーザーの3Dモデルが生成されます。

CNN(畳み込みニューラルネットワーク)ベースの手法でフレームを前景と後景に分けて、ユーザーを背景と分離。ポーズの計算、シルエットの切り抜きを最適化したり、表面の質感などをユーザーに合わせてシェイプモデルを作成するそうです。

髪や体、衣類、表面テクスチャと姿勢なども4.5mm以内の精度で読み取りの可能なのだとか。一方で、まだ長い髪やスカートはまだ難しいようです。

これからさまざまな場所で活用されそうな3D人体モデル。論文によると、活用可能性は多岐にわたるようで、

  • VRアプリ
  • オンラインファッションショッピングのバーチャル試着体験
  • などの活用法が考えられるとのこと。ほかにもいろいろ考えられそうですね。

    新しい体験を、飛躍的に実用に近づけてくれそうなイノベーションです。今後の動向にも期待です。

    論文へのリンクは以下から。

    Video Based Reconstruction of 3D People Models
    People Snapshot Dataset