線画の“塗り”をAIで自動化!進化する pixiv Sketch 中の人が語る『お絵かき体験の拡張』とは

このエントリーをはてなブックマークに追加

唐突ですが、以前Ledgeでも取り上げた『PaintsChainer』。皆さん覚えてますでしょうか(※関連記事

PaintsChainerとは
白黒の線画をアップロードすると、AIが勝手に着色してくれるというWebサービス。
公開とともに、国内外から大きな反響を得た。ピーク時はなんと1日38万PVだとか。

で、今回。このPaintsChainerの技術に国内最大規模のイラスト共有プラットフォーム『pixiv』が注目。

なんと自社で提供している無料のお絵かきコミュニケーションアプリpixiv Sketchに組み込んでしまったらしいのです。

既に上記の公式GIFでビビリますが、実際やってみると以下のような感じ。

これが

こうなっちゃう

作業としてもやたら簡単で、実際以下のような感じ。

  • ツールにログインして線画をアップロード
  • 自動着色のボタンをクリック
  • AIにより2種類提案される塗りパターンを選んで適用
  • あとは好みに合わせて仕上げ塗りをすれば完成

もともとの PaintsChainer 本体で塗ったモノと比べてみても、かなり進化していることが分かりますね。(※下はPaintsChainer単体で以前実験した時のもの)

ていうか、なんか背景っぽいのまでそれっぽく塗れています。なにこれどうなってんだ。

もともとの状態で充分トンデモだった PaintsChainer をさらに進化させた形で、見事にサービスリリースを果たした『pixiv Sketch』。

一体何をどうやってこんなことを可能にしたのか。さっそく中の人であるpixivの古賀さん、清水さんのお二人にお話を伺ってきました。

開発期間わずか2ヶ月。PaintsChainerブーム直後からスタートした『体験を進化させる』プロジェクト

―まず今回、サービスインがやたらと早かったような気がしてますが、もともと計画されていた話なんですか?

―清水
いえ。実は全然そんなことは無いんです(笑)PaintsChainerが年初に出て、2月後半くらいから『PaintsChainerで塗ってみたよー』的な投稿が増えはじめて…

僕らが「おお。これはイケるんじゃないか?」て検討しだしたのはその後でしたね。

―古賀
もちろん出たばっかりの頃から注目はしてたんですが、何よりキッカケになったのが『pixiv Sketch』サービス上で継続的にPaintsChainerユーザーが増えてきたことでした。

それまであんまり投稿してなかった人が、自動化ツールを使うことで投稿数が増えたり利用頻度が上がったりしていったんですね。

※pixiv Sketchには、イラストコミュニティであるpixiv本体とは別に『落書き用SNS』のような機能が存在する。しっかり仕上げた絵を皆で共有するのがpixivなら、文字通りスケッチやラフな線画などをもっと気軽にシェアするのがpixiv Sketch…という位置づけ(感覚)

なるほど。ちょっと仕上げに自信がなくて『人に見せるほどでもないか…』てな感じだったユーザーが、PaintsChainerによって行動を促進された…ってことなんですかね。

確かにそれを結果的なデータとして知ってしまえば、公式ドローイングツールでもっと誰でも使いやすい形にしよう!というプロジェクトが立ち上がるのも理解できます。

が、ちょっとまってください。

今6月ですよね?(※取材時)2月後半にプロジェクト発足…で、リリースが5月24日…えと、ちなみに開発期間は…?

―古賀
2ヶ月くらいですね。
それでも現場としては「遅い!もっと早く出したい!」でウズウズしてましたが(笑)

いや、(笑)じゃないです。笑えないです。

元の素体となるプロダクトはあった…。とは言え

  • 全く異なる環境下で
  • 機能強化を行った上で
  • 安定運用できるだけの基盤を作って
  • UI整えて
  • 開発・実装・テスト・リリース。。。
  • これを、2ヶ月ちょいでやったんですか。

    そうですか。。。

    『もっと塗れるはずだ!』開発陣の熱意が実現したPaintsChainerからpixiv Sketchへの進化

    ―実際、元のPaintsChainerと比べても機能的にもかなり進化してますよね?これも今回のプロジェクトで開発を?

    ―清水
    提携したPaintsChainerの開発元、Preferred Networksのエンジニアさんが『もっとしっかり塗れるはずだ!』みたいなノリで、今回、新しい塗りのモデルを追加してくれました。
    ―古賀
    もともとのPaintsChainerでは、どうしても淡い水彩風の着色メインになっていましたが、これに追加する形でよりパキっとした色塗りができるようになった感じですね。

    といってお二人が見せてくれた画面がこちら

    pixiv Sketchでは塗りのトーンを変えて2通りの候補を出してくれるんですが、これがまぁかなりの精度。というか完成度。

    先述のように、モノによっては背景まで『それっぽいもの』を提案してくれるようになっており、もはや「うん。これでいいじゃん」ってレベルまで一気に出力してくれる感じです。

    こわい。

    ただ「やってみた」だけのプロモーションではなく大きなプロジェクトのはじまりとして

    ―ちなみに今回、学習用のデータにpixivのイラストデータを使ったりはしてるんですか?

    ―古賀
    いえ。今回は全て、Preferred Networks側で準備してもらいました。

    が、いずれはpixivの絵描きさん達に素材協力してもらうなどして、さらに精度やバリエーションを増やしていけるといいな…とは考えています。

    なんと夢いっぱいな…!

    それはつまり、現在実装されている2パターン提唱だけではなく、例えば『人気絵師の●●さん風塗り』なんて指定ができる…!みたいな感じで?

    ―清水
    可能性としてはありえますね。まだまだ計画段階ですが、そうやって『お絵かきの概念』みたいなものを進化させていければいいなと思っています。

    なるほど。つまり今回のリリースはよくある『AIでこんなんやってみました!』というプロモーション的な実証実験ではなく

    あくまで『お絵かきという体験を概念ごとアップデートしていく』大きなプロジェクトの第一歩。てな位置づけになるんですね。

    これは今後の展開も楽しみですね!

    有料化はしない。『ユーザーの楽しさ』への徹底したコミット

    ―それこそ有料化すれば一気に収益確保できそうですが…しないんですか?

    ―古賀
    実は検討には何度か上がっています。

    具体的な数は言えませんが、それこそ今回のツールアップデート後は pixiv Sketch始まって以来のユーザー増加数・利用率を上げていますから。

    ―清水
    でも、必ず会議のどっかで『それってユーザーの楽しさに関係あるんだっけ?』てなっちゃうんです。

    なので、もしかしたらオプション機能などでの一部有料化はあるかもしれませんが、ツールの有料提供はしないつもりです。

    僕らのサービスは、ユーザーの作品で支えられているんですから。

    確かに。

    作品を投稿してもらう。それこそがサービスにとっての価値である。その通りですね。

    もっともっと気楽に“お絵かき”という体験を。
    その体験の先にある楽しさを感じて欲しい。
    だから無料のままで進めるべきなんだ!ですか…。

    ちょっと格好よすぎませんかね。

    終わらない進化の妄想。AI×お絵かきの可能性

    ―最後に、今後の具体的な展開などについて教えていただけますか?

    ―清水
    まず現実的なラインで言えば iOS・Android版への実装ですね。

    それから、もっとテクノロジーであれこれできるんじゃないか?!てのはいろいろ計画を進めてる所ではあります。

    ―古賀
    例えば、早稲田大学で発表されたラフスケッチから線画を抽出する技術(参考記事)のようなことができれば、

    「さらにラフな状態から絵の完成までをショートカットする」みたいなことが考えられます。

    それから先程触れたさまざまな着色モデルの構築。

    背景や風景に特化した着色モデルの提供なんかもできたら面白そうですよね。

    なんとも夢が広がるお話。

    ザッと描いたラフ画が線画になって、線画から人物と背景を検出 ⇒ 背景は背景として自動着色してもらい、人物は人物としてテイストを指定して着色 ⇒ そこからさらに自分で仕上げを行っていく…みたいなイメージですかね?

    ふぉおおおおおお。未来ですね…!

    ―古賀
    絵を描く。と一口に言っても、必要になるスキルって途方もなく多いんですよ。現状では。

    でも、だからこそ。その壁をテクノロジーで少し埋めることで、『“お絵かきの楽しさ”を感じられる人を増やせるんじゃないか?』という考えを常に持ち続けていきたいと思っています。

    ありがたい話で、この機能によって大きな反響をいただきましたが
    時々、「もう人間はいらないのでは」「今まで塗り作業をしていた事は一体なんだったんだ…」みたいなお声をみる事があります。

    ―古賀
    ですが、そのように捉えていただきたくはないと思っていて、自動着色機能はあくまで道具だと考えています。しかも、ある一工程を便利にする道具です。

    絵を描く事、上達していく事には、本当に大変で、途方もない努力と時間が必要です。(線画、色の知識、レイヤウトや躍動感、道具の習熟度、そもそもの制作時間…)

    この機能によって、絵を描く方々のハードルを下げて、裾野が広がり、イラストの制作時間が短くなることで、より多く人に、1枚でも多くの絵を描いていただきたいと思っています。

    是非もっと絵を描いていただきたいです!

    テクノロジーによって、何かを楽しむためのハードルを下げていく。ですか。

    んんーむ。何ともアツイお話、本当にありがとうございました!

    この記事読まれている方の中にも多分何人かはいるであろう『絵を描くなんてしばらくやってないなぁ』クラスタの皆さん!ぜひ一回で良いんで『pixiv Sketch』使ってみていただければ。

    なぜだか不思議と「あ、これ人に見せたい」って気持ちになれてしまいますよ!(AIが塗ったんだよーって言いたい気持ちもミックスされてるとは思いますが)