AI×ARという領域でなかなか面白いアプリを発見しました。
SketchARというアプリなのですが、ARとAIの技術を駆使して絵の描きかたを教えてくれるというワクワクする感じになっています。実際につかってレビューしてみます。
スマホの画面を通して見ながら描くSketchAR
SketchARは、技術と芸術の融合でよりよい絵画表現方法を提供している「SketchAR」が開発したARによって絵の描くスキルをあげるアプリです。
片手に鉛筆、もう片方の手にスマホといった新しい形の描画方法で、スマホの画面を通して自分が描いている様子を見ながら絵を描きます。
上の画像のように、私たちは画面上に表示された線をただなぞるだけでいいのです。
A4またはA5サイズの紙がオススメされていますが、壁にも描くこともできます。
そんな絵を描くスキルをあげるSketchARですが、いくつかの機能があります。
- ステップを踏んでなぞることで、またステップごとの説明で描く順序が学べるSchool機能
- 豊富なバリエーションの絵をなぞることで学べるLibrary機能
- 自分が撮った写真をなぞることができる機能
丁寧に進めていきたいという人はSchool機能を、一方たくさんの絵を描いて学んでいきたいという人はLibrary機能を使うといいでしょう。
実際にSketchARを使って絵を描いてみると
実際にユニコーンの絵でLesson機能を試してみます。
2. キャンバスを認識させます。
3. 表示された場所に十字マークを描きます。
4. そこからは、大まかな構造、細かな部分の順番で、表示された部分を順番に描いていきます。このユニコーンの絵の場合、およそ15個のステップで最後までたどり着きました。
下の左側の写真が完成したときの絵です。
右側のただお手本を見て描いたときと比べて上手に描けているように思いませんか？
全体のバランスが良く、躍動感もあり上手にかけたと言えるでしょう。
描いている絵、キャンバスを認識するAI技術
実際に使ってみると、描いている絵を認識してしっかり絵を描くサポートをしてくれますが、はじめはさまざまな問題があったようです。
- キャンバスの色、素材がさまざまである
- 手、鉛筆がキャンバス上に写りこむ
- ユーザーが示されたとおりになぞれるとは限らない
- スマホを持っている手がぶれたり、描くのを中断することがある
このように多くの問題がありました。
しかし、
- 独自に開発したComputer Vision（画像認識）とProgressive Markers（進歩したマーカー技術）に基づいた描かれた絵の認識
- 機械学習によるユーザーが描いた絵の癖の分析
- ニューラルネットワークによる学習をもとにしたアルゴリズムの向上
といった技術によりそれらの問題点を解決し、現在のSketchARが生まれました。
AIの画像認識とARによる可能性
AIの画像認識とARを組み合わせることで、絵の描き方を教えてくれるなんて近未来感にあふれていますね。
近い将来、このAIとARの技術によって、描画だけでなく、スポーツのときの姿勢やフォームやピアノの運指などを効率よく学べるようになるかもしれません。
