「今後はシミュレーションが重要に」PFN岡野原氏が話す深層学習の展望

このエントリーをはてなブックマークに追加


エヌビディア合同会社が主催する「NVIDIA 秋のHPC Weeks」が開催された。HPC Weeksは、3週にわたり、HPC(ハイ・パフォーマンス・コンピューティング)の各分野や、機械学習の第一人者たちが登壇し、研究成果やGPUの活用どころ、今後の展望についての話を聞けるイベントだ。

本稿ではHPC Weeksで実施されたさまざまな講演のなかから、Ledge.ai読者にイチオシの講演をレポートする。

今回の記事では、Week2「HPC + Machine Learning」のなかで、Preferred Networks 代表取締役最高執行責任者 岡野原 大輔氏による「シミュレーターと深層学習」および、産業技術総合研究所 人工知能研究センター 研究院 片岡 裕雄氏による「自然法則に基づく深層学習」を取り上げる。

>> イベントページ

シミュレーションは今後の深層学習で重要になる

まず本稿で紹介するのは、PFNの岡野原氏による「シミュレーターと深層学習」だ。

深層学習は、シミュレーターを劇的に高速化させ、適用範囲を広げることに貢献すると同時に、その反対で、シミュレーターを使ってデータを生成することで深層学習のモデルを学習させたり検証させることができている。本講演ではシミュレーターと深層学習の関係を述べるとともに、その成功事例、そして今後の展望について紹介された。

まず、岡野原氏は「今後シミュレーションが重要となる」と話す。

これまで、深層学習の実用化はデータが容易に入手可能な分野に限られていた。だが、実世界の問題に深層学習をさらに導入するには、シミュレーションの利用がカギになると同氏は言う。データが21世紀の石油と言われるなかで、データ自身を作れるシミュレーションを揃えることが重要になるのではないか。 また、シミュレーション自体も深層学習を利用することで、高速化/多様化を達成できる、と話した。

現在の深層学習が成功する条件は、
・大量の教師データを利用できる
・学習時のデータ分布は、利用時のデータ分布と同じ
これらの条件がそろう問題にしか深層学習は適用できなかった。

そこで、もし、シミュレーションを使って上記の条件を満たせれば、深層学習の適用範囲は劇的に広がるのではないかと岡野原氏は言う。

岡野原氏が本講演で唱えるシミュレーションは、深層学習を相互に助ける役割を果たすそうだ。

深層学習側には、大量の学習データをタダで手に入れられる。つまりは、通常では入手できないようなデータを獲得し、それを学習できることだ。

たとえば、高速道路のなかで人が走っている動画。自動運転の実用化では必要不可欠な素材であるが、実際にこのようなデータの入手は難しい。また、世の中にまだ存在していない材料を使った場合の反応など、“稀”であったり、“入手困難”だったりするデータを手に入れられる点にメリットがあると話す。


一方で、シミュレーション側にも恩恵がある。たとえば、CGを使ったアセットを使う際、データからシミュレーションに必要なアセットやモデルを作れるようになる。また、数枚の写真から三次元復元や、自動生成が可能にもなる。



シミュレーションと深層学習は、相互に助け合う存在で今後は要注目。画像認識や創薬、音声認識、プラント最適化、原子/分子シミュレーションなどでの活用に期待されている。

今後はより多くの現象がシミュレーションできるようになり、シミュレーターはより操作が可能に、高速、高忠実になると岡野原氏は最後にまとめた。

実画像を使う上で避けられないAI倫理問題をどう解決するか

続いて本稿で取り上げるのは、産総研・片岡氏による「自然法則に基づく深層学習」だ。

まず、片岡氏は、深層学習の現状について、メリットは説明不要なほど恩恵を受けられているものの、膨大なアノテーションや画像の個人情報保護が必要などデメリットも少なくないという。

最近ではAI倫理問題として、公平性や透明性など、攻撃的なラベル問題などが取り上げられ、実用化に向けてAI倫理問題は無視できない課題になっている。

最近の学習戦略では、教師あり学習が主。人間のラベル付けによって学習の成功を確約させ、非常に強い特徴表現を獲得。また、自己教師あり学習も進展中で、これは、一定の法則によって画像にラベル付けをするもの。

自己教師あり学習は、一部で人間の教師を置き換える性能まで到達しているが、実画像を使う。そのため、実画像を使ううえではAI倫理問題を避けては通れない。

しかし、アノテーション問題、AI倫理問題、プライバシー問題を解決する壁はあまりにも高い。

そこで産総研では、実画像を用いずに視覚特徴の学習はできるのかどうかについて、取り組んでいる。まず、深層学習は視覚特徴をある種の自然法則から学んでいるのではないかと仮説を立てた。

産総研が提案するのは、「数式ドリブン教師あり学習」だ。

生成規則から画像とラベルを同時に生成することで、理論上は「無限」にデータ生成可能という。人間によるラベル付けや、実画像を一切用いずに基礎的な視覚特徴を獲得できる。

この手段として「FractalDB」を挙げた。これは、教師あり学習に近い、事前学習効果を享受できる方法だ。

FractalDBは再帰関数を用いて画像を生成する。ポイントはカテゴリ探索、フラクタル画像生成、インスタンス拡張の3つのフェーズがある。

カテゴリ探索は、ランダム生成・簡単なチェックにより判断する。

フラクタル画像生成は初期値設定と再帰的レンダリングをする。

そして画像インスタンス拡張は、パラメータセットの変動、画像回転、3×3のパッチパターンによる3種の画像インスタンス拡張手法を取り入れている。

紹介した数式ドリブン教師あり学習の性能をさらに向上できれば、画像データにおけるAI倫理の観点から、AI技術を容易に構築・導入が可能になるそうだ。

>> イベントページ