2Dのイメージから3Dのイメージを作りだす。
この作業、今までだと専用ソフトを使用するため、それなりに知識や技術が必要であったり、手間や時間がかかったりしました。
しかし、今回ご紹介するツール「Volume」を使えば、ボタンを押すだけで自動に2Dイメージから3Dイメージの作成を行うことができます。
2Dから3Dへ。自動でイメージを変換するVolumeとは？
Volumeは、技術ディレクターのOr Fleisherと最先端技術や芸術、社会活動の分野でクリエーターとして活躍しているShirin Anlenが作った3Dイメージ作成ツールです。
まだ研究途中ではありますが、最先端の機械学習を用いて、2Dの写真や動画を3Dにすることができます。
一つの写真を読み込ませると、数秒でその写真を3Dに。ただボタンを押すだけで自動的に3Dイメージを作成してくれます。
このVolumeの技術の研究はまだ途中ではありますが、将来的には、誰でも簡単に3Dイメージをつくり、3D環境が使えることを目的にしています。
技術が整いしだい無料APIも公開するそうです。公開されしだいすぐに使いたいですね。
小さいものから風景まで。さまざまな写真を3Dに変換できた
実際にどのように3Dのイメージが作成されるか確かめるためにVolumeを使ってみました。
まずは、廊下の写真です。
このように数秒待つと、解像度は少し低いですが、3Dイメージを作成してくれます。
マウスをドラッグすることで回転することもできます。
これは回転させて横から見たときの写真です。
廊下の奥行きも表現できています。
以下のURLより、この写真を自分で動かしてみることができます。
https://volume.gl/#20180420-015031
ほかにもいろいろな写真をVolumeを用いて3Dにしてみました。
それぞれジャンルや規模が違いますが、3Dイメージを作成してくれます。
拡大してみると写真が細かい点状になっているので、人工知能が2Dの写真の深度推定を行い、三次元座標に点をプロットしているようです。
深度推定を行い、3Dイメージを作成する最先端技術
深度推定をもとに3Dイメージを作成してくれるVolumeですが、2つの研究内容をもとにしています。
1つ目の研究は、深度推定をおこない、2.5Dのイメージを作り出すアプリケーションRetouchの開発。
※2.5D・・・3次元的形状を1つの方向から見える範囲で表したもの。
2つ目は、「Inside Pulp Fiction」という研究で、1994年のアメリカの映画「Pulp Fiction」での役者の演技を任意の場所に立体的に写しだすというものでした。
このようにさまざまな過程を経て生まれたVolumeですが、ほかの3D作成ツールとは大きな相違点があります。
それは複数のモデルの使用です。はじめに対象物体が何であるかを認識し、その物体にあったモデルを選択。
このことにより、小さいものから風景までさまざまな写真を3Dにすることが可能なのです。
3Dがあたりまえに？日々進化する深度推定の技術
近年では、映画やテーマパークなど3Dを見る機会が増えていきましたが、人工知能による深度推定の技術によってその流れはさらに加速されそうですね。
近年、さまざまなデバイスで深度センサーが搭載されはじめ、AR/MRの技術なども身近になっていますが、2Dから3Dを生成できるのであれば、それらも必要なくなるかもしれません。
Volumeはまだ研究段階でこれからさらなる精度の向上が期待できます。無料APIも公開される予定なので、これからも引き続き注目していきましょう。
