画像は背景美術制作ツールScenifyのAdobe Photoshop用ユーザーインターフェース(UI)
東映アニメーション株式会社と株式会社Preferred Networks(PFN)は3月12日、アニメの映像制作に、人工知能(AI)におけるディープラーニング(深層学習)による画像変換技術、セグメンテーション技術などを活用する取り組みを共同で実施すると発表した。
素材写真
Scenifyによる変換結果(アニメ調)
東映アニメ美術スタッフによる最終レタッチ結果(サイバーパンク調)
今回、本取り組みの一環として、東映アニメーションで背景美術を制作している製作部 美術課、AI活用に取り組むデジタル映像部 テクノロジー開発推進室、東映アニメの新規IP研究開発チーム「PEROs」が連携。2020年2月に公開した長崎県の佐世保市を舞台にする約5分間の実験映像『URVAN(ウルヴァン)』の背景美術制作に、PFNが開発しているアニメの背景美術制作支援ツール「Scenify(シーニファイ)を活用した。
実験映像作品『URVAN』におけるScenifyを利用した背景美術制作の例
同作品では、実在する佐世保の風景をアニメ調・サイバーパンク調の2つの画風で表現した。現地で実際に撮影された風景写真から、Scenifyでアニメ調の背景素材に自動変換することで、美術クリエイターが画像の前処理工程に要する時間を従来の約6分の1に短縮できたという。
Scenifyは、同作品で制作した背景美術の約3分の2に使用している。本技術の活用により、美術クリエイターは作業負担・工数を削減でき、クリエイティブの自由度・振れ幅が大きいサイバーパンク調の背景制作により多くの時間を充てられたとする。
Scenifyには、背景美術の制作に必須となる、背景画像からキャラクターに接する部分・手前にくる部分(BOOK)を自動的に切り出す「BOOK分け」機能および、画像の一部を除去した後の空白を自然に塗りつぶす「スマート塗りつぶし」機能を搭載している。また、クリエイターの制作ワークフローに組み込みやすくするためのプロトタイプUIも開発した。
今後は、東映アニメーションのTVアニメおよびアニメ映画制作にScenifyを導入することを目指し、さらに機能開発を進めるという。
©東映アニメーション
>>ニュースリリース
PFN、AIで好きなキャラのCGを自動生成 約6時間で200点以上生む3Dモデル生成も
PFNは機械学習やディープラーニングなどを活用し、イラスト・アニメ・ゲームなどのクリエイティブ産業向けに、キャラクター生成、イラスト自動着色、高精度3Dスキャンなどの技術開発を手がけるスタートアップ企業だ。
最近でも、3月10日に、ディープラーニング技術を活用し、制作者が定義する顔のパーツ、表情、髪の色などに合ったキャラクターのCGを自動生成できるキャラクター自動生成システムを発表したばかりだ。本システムを活用すると、上半身まで高い解像度で生成できる。
そのほか、詳細は以下の記事をチェックしてほしい。