描いた絵に自動で陰影をつけるAI技術が開発 人工知能で変わる制作現場

このエントリーをはてなブックマークに追加


Thumbnail photo by Kelly Sikkema on Unsplash

画像に関するAI技術は復元や合成など多方面にわたって進化が続いている。その中でも、最近注目をあつめる「2次元の画像」に関するAI技術を紹介していきたい。

ライティング効果を自動生成するアルゴリズム

Photo on [Generating Digital Painting Lighting Effects via RGB-space Geometry] ©

「Generating Digital Painting Lighting Effects via RGB-space Geometry」は、台湾・東呉大学と早稲田大学基幹理工学部のシモセラ・エドガー専任講師らによる研究チームが開発した照明自動生成アルゴリズムである。

このアルゴリズムでは、1枚のデジタル画像からその画像に見合った照明効果を自動生成してくれる。また、既存のデジタルペイントツールのプラグインとしてそのまま使えるようになっており、イラストレーターなどの仕事時間を50%削減できるという。

太陽などの光源の当たり方に左右される3D構図と違い、2次元で描かれる絵の陰影は書き手の表現によって変わる。そのため通常のアルゴリズムでは多様な表現を持つ書き手のニーズを満たすことは難しかった。
しかし、今回研究チームが開発したアルゴリズムでは、「書き手が新しく描く線は過去に描いた線と関連している」という前提に基づき、線が多い場所にはライティング効果も多いという傾向を捉えて画像を合成している。

もちろん、出来上がった画像から描いた線の履歴は見られないため、線の密度を推定するアルゴリズムも設計されている。
具体的には、入力画像から色を抽出して濃淡を推定し、書き手の描き方を模倣する。部分別にエフェクトをかけるマップ(仕様書的なもの)を生成し、最初は粗く、徐々に細かいライティング効果を合成していく。
最終的に出来上がった画像が以下の通りだ、上が書き手、下がアルゴリズムによる自動生成だ。自然な陰影が生成されている。

Photo on [Generating Digital Painting Lighting Effects via RGB-space Geometry] ©

このような技術が発展することにより、アーティストはより多くの時間を創造に活かせるのではないかと期待している。今後も要注目だ。

論文

手描きの顔に6つの感情表現をディープラーニングで自動生成

Photo on EmoG: Supporting the Sketching of Emotional Expressions for Storyboarding 2020

「EmoG」は同済大学iDVX Lab、香港科技大学による研究チームが開発した感情自動生成システムだ。顔を描きこむと、喜怒哀楽など6種類の感情表現を自動生成してくれる。

EmoGにはCharacter CreationページとStoryboard Creationページがある。まずはCharacter Creationで素の表情をした顔を描き、Storyboard Creationで表情や感情の強さなどを細かく設定可能だ。
どちらのページにもツールパネルとキャンバスがあり、自由度の高い捜索が可能になっているだけではなく、Suggestion Panelではユーザーが描いた絵に似た顔をAIが自動生成してくれる。これにより、絵を描く時間が短縮され、初心者でも簡単に多様な表情の絵が描けるようになる。

顔や表情の自動生成には、ディープラーニングで顔のデータを学習済みのAIが使われている。「FaceX」として公開されている独自のデータセットには、20万以上の顔スケッチデータとそれに紐づいた500万以上の感情や性別ラベルが収集されている。

Photo on EmoG: Supporting the Sketching of Emotional Expressions for Storyboarding 2020

使用実験では、21名の利用者から手書きで書いた絵に比べて、AIが自動生成して補助した絵の方が少ない時間で高クオリティという反響があった。一方で、AIが提供する絵に頼りすぎてしまっては初心者のオリジナリティーを阻害してしまうという意見もあった。

いずれにしても、AIによる補助はかなり高いレベルまできている。今後研究チームは実際のデザイン業界でも使えるレベルのシステムにするべく改良を続けていくという。

論文