Sony、ピクスタと共同でオンラインハッカソン/アイデアソンを開催しました

このエントリーをはてなブックマークに追加


レッジは、ソニーネットワークコミュニケーションズ株式会社の技術協力のもと、企業データを用いてディープラーニングに挑むAI開発コンテスト「Neural Network Console Challenge sponsored by PIXTA(以下Neural Network Console Challenge)」を2020年3月4日(水)から2020年3月31日(火)の期間で開催しました。

本稿では、改めてNeural Network Console Challengeとは何なのか?から、実際に受賞した作品や、受賞者のコメントをを振り返ります。

「Neural Network Console Challenge」とは?

Neural Network Console Challengeは、与えられたお題に対して、ソニーネットワークコミュニケーションズ株式会社の提供する「Neural Network Console」を用いて自分なりの解を出す、ハッカソン/アイディアソンです。

Neural Network Consoleとは
コーディング無しでディープラーニング(深層学習)を用いた高度なAI開発を実現するAI開発ツールです。ブラウザ上で動作し、直感的なユーザーインターフェースが特徴です。ニューラルネットワークの構造を視覚的に確認しながら、ドラッグ&ドロップ等の操作で設計、学習、評価を行うことができます。予め用意された関数を組み合わせてニューラルネットワークのモデルを構築でき、学習したモデルの履歴を管理、性能比較まで同環境で行えるため、開発効率を大幅に向上できます。

参加者にはAIモデルの作成だけでなく、結果をプレゼンテーション形式にアウトプットし、TwitterやQiitaなどに投稿していただき、そのアウトプットによって以下の賞を決定します。

第一回となる今回は、スポンサーとしてデジタル素材のマーケットプレイス「PIXTA」を運営するピクスタ株式会社に協賛いただき、1万点の人物画像を提供していただきました。参加者は下記テーマのうちいずれかひとつを選び、Neural Network Consoleを用いてPIXTAの写真素材の画像分類に取り組みました。

  1. 人物画像をNeural Network Consoleで学習させ、新しいオノマトペ(擬音語/擬声語/擬態語)の画像カテゴリー分類を作り出す
    例:ニコニコ/バチバチ/ゴリゴリ

  2. 画像内人物をNeural Network Consoleで学習させ、画角/焦点距離による画像分類を作り出す
    例:正面向き/バストアップ/全身/背面

  3. Neural Network Consoleで画像を学習し、感情によって分類
    例:嬉しい/悲しい/恥ずかしい

  4. 上記以外のチャレンジテーマの自由設定も可(ただし、画像分類のテーマに限る)

うれしいことに、227名もの方に参加いただきました。ありがとうございます。

受賞者と受賞アウトプットについて

見事、受賞を勝ち取った3名は以下のとおりです。受賞にあたっていただいたコメントも全文を掲載します。

最優秀賞 sponsored by PIXTA

受賞者氏名:
五藤大介さん
チャレンジテーマ:
Neural Network Consoleで画像を学習し、感情によって分類
チャレンジタイトル:
「笑い顔と微笑み顔のニコニコ笑顔分類器」
タイトル概要:
人物の表情画像からNeural Network Consoleを用いて、「笑い声が聞こえてきそうな笑顔」「ニッコリ微笑む笑顔」「笑顔以外」の3種類に分類する笑顔分類器を製作した。
受賞にあたってのコメント:

  1. ご職業
    病院内の情報システム管理を担当しています。システム保守サポート、新システムの導入検討、ベンダーとの折衝、情報セキュリティ、ネットワーク設計など、幅広く携わっています。

  2. 全体を通しての感想・チャレンジを通して難しかったこと、チャレンジしたこと
    この度は最優秀賞という身に余る評価を頂き、大変光栄に思います。普段の仕事はAIや機械学習に縁がないのですが、仕事に役立てようと勉強しております。

    ディープラーニングは概要を知るのみでしたが、Neural Network Consoleではノンプログラミングで畳み込みニューラルネットワークを構築できるとのことで、この機会にとチャレンジに参加しました。
    難しかったのは具体的な分類内容を決めることでした。写真には被写体、背景、距離間、色合いなど、見れば見る程、様々な情報が読み取れたのですが、少しでも誰かの役に立つ、喜ぶ分類にしようと1週間ほど案を練っていました。笑顔の分類したのは、カメラの撮影後にFine、Goodなどと分類結果を表示する、ピント合わせの「ピピッ」音の代わりに、音声で「Good」などと分類結果を言わせる、このような機能できればカメラの楽しみが増えるかと思い、笑顔の分類に決めました。予測モデルで未知のデータを分類する試作品を目指して取り組みました。

    操作方法やCNN構築まではチュートリアル動画やサンプルが充実していてスムーズに進められました。ほぼマウス操作だけでネットワーク設計と学習結果が把握でき、サクサクと試行錯誤を繰り返せました。アノテーション作業は時間がかかり大変でしたが、ポジティブな写真が多かったこともあり、楽しく作業できました。発見だったことは優秀なディープラーニングのネットワークが公開されていて、思いのほか簡単に模倣できたことです。精度の高いデータを準備することの方が重要かと感じました。
    今後も学習を続け、仕事につなげたいと思います。このようなチャレンジの場を企画して頂きありがとうございました。

  3. お仕事に活かせそうなこと
    医療分野では画像診断や疾患診断等でAIを活用する研究が増えてきており、将来、診療支援ツールとして病院でも導入されるだろうと思います。AIを使う側にとって、ブラックボックスで中身が分からない、信頼して大丈夫かと、AIへの不信感や抵抗感が予想されます。今回のチャレンジでの学びを活かして、開発側と運用側との間に入り、AI導入に携われればと考えています。
受賞理由:ピクスタ株式会社より
選出理由として、まず一番に分類精度の高さが挙げられます。その上で広告向け画像によく見られる被写体が笑顔で写っている画像に対して、笑顔の種類に対して笑顔分類機で分類する着眼点が素晴らしいと感じました。

従来、PIXTAでは画像に対してキーワードと言う形で被写体の情報を付与しています。このため、笑顔はただ「笑顔」としかキーワードを付与できません。それを笑顔の種類によって画像分類の視点から分類するというのはPIXTAでは提供できていない価値だと感じました。

上記観点から、この度「最優秀賞 sponsored by PIXTA」として五藤大介さんの「笑い顔と微笑み顔のニコニコ笑顔分類器」を選出させていただきました。

NNC賞

受賞者氏名:
杉田雄一さん
チャレンジテーマ:
自由設定
チャレンジタイトル:
画像に写っている人数で分類
タイトル概要:
さまざまなカテゴリーの画像データに写る人数が1人、2人、グループ(3人以上)なのかをデータセット作成までをNeural Network Console Windows版で、それ以後はCloud版を活用して画像分類した。
受賞にあたってのコメント:

  1. ご職業
    私は、某製造メーカーに勤務しているサラリーマンで、企画系の部署に所属しています。現時点で、業務でディープラーニングを活用することはありませんが、世の中の動きには常にアンテナを張っている必要があり、その中でディープラーニングは最も重要な世の中の動きの1つだと思っています。

  2. 全体を通しての感想・チャレンジを通して難しかったこと、チャレンジしたこと
    私は、ディープラーニングで何かやる時に最も重要なのは、どういうテーマを、どういうデータを使ってやろうかと決めることだと思います。今回、データはPIXTAさんが既に用意してくださっているので、ポイントはテーマです。私は、天邪鬼なので、提示されたテーマではなく自由テーマを選んだのですが、そのテーマを決めるのにかなり時間を使い、1週間くらい悶々としていました。

    PIXTAさんのホームページを見ると、5,000万点以上の膨大な商業写真があり、クリエイターの方々が自分のイメージに合った写真をどれだけ素早く見付けられるかがビジネス上重要なポイントの1つだと思いました。既に様々なカテゴリー分けがされていますが、カテゴリーを絞り込んでもかなりの量の写真を閲覧して探さなければならない。カテゴリーを絞った後にもう1段探す量を減らせないかと思って考えついたのが今回の「人数による分類」です。

    例えば、学生というテーマを絞った時に、1人が写っている場合、2人の場合、3人以上の場合で、写真が訴えるイメージはかなり異なります。多分、クリエイターの方々の頭の中には探している写真の具体的なイメージがあるはずで、人数という分類を加えることでよりスムーズに目的の写真が探し出せるのではないかと思い今回のテーマを選定しました。

    今回、「NNC賞」という、Neural Network Console(NNC) を一番良く使いこなしているChallengerに対して贈られる賞を頂きました。しかしながら、NNCを使いこなした実感はありませんでした。

    というのは、私がNNCを使い始めたのは2017年8月にSONYさんからNNCが公開された当初からでして、そこで9ヶ月くらいNNCを使って色々ディープラーニングにチャレンジしたことがあったので、そのチャレンジの成果が出たのかなと思います。

    ちなみに、2017年8月にNNCに出会った印象は衝撃的で、「コーディング無しでディープラーニングが出来、しかもワークステーションの様な美しい画面」ということで、基礎から積み上げて勉強することが大嫌いな私の心にとても響いて、まさに一目惚れしてディープラーニング を始めたことを思い出します。

    NNCを始めてからは、ほぼ週1回のペースで様々なタスクにチャレンジしました。具体的には、AKB48の顔分類、日経平均の予測、メガネをかけた顔画像を元にメガネを取った顔画像を生成するとか、ユーミンのオリジナル歌詞生成、顔の向きをコントロールした顔画像生成、とか。

  3. お仕事に活かせそうなこと
    NNCを久しぶりに使ってみて、ディープラーンングはエンジニアの道具ではなく、一般の人が使える道具になったということを再認識しました。

    NNCは、以前と比べて、データセットの作成が一発で行えるようになり(以前は、サイズ調整が別途必要)、CloudでGPUが手軽に使えるようになり(以前はGPUは自分で購入要)、推論結果の検証がし易い機能も付加され、より一般の人が使える道具になったと思います。

    今後、弊社でディープラーニング の技術を活用した企画を出す場合に備えて、社内関係者への布教(笑)をして行きたいと思います。また、今回の様なコンテストは大変素晴らしく、ぜひ今後も継続して頂ければと思います。

受賞理由:ソニーネットワークコミュニケーションズ株式会社より
カウンティングタスクには物体検出アプローチが用いられるケースが多いところ、画像に映った人数の推定問題をシンプルな画像分類としてEnd to endで解いた上で、ある程度実用的な精度への目途を立てられている点を評価しました。データに関する考察、GPUを利用した高速な学習など、Neural Network Consoleを用いた開発のワークフローについてもこれからDeep Learningに触れる方にとって参考になる内容になっているかと思います。

Ledge.ai賞

受賞者氏名:
杉本圭さん
チャレンジテーマ:
自由設定
チャレンジタイトル:
森鴎外の小説からキーワードを選定して分類
タイトル概要:
森鴎外の短編小説「杯」から本編と小説に寄せられた感想やレビューを元に形態素解析し、Neural Network Consoleを用いて抽出したキーワード毎に画像分類した。
受賞にあたってのコメント:

  1. ご職業
    普段は広義のIT系企業に務めており、比重が大きい職種はセキュリティエンジニアです。

  2. 全体を通しての感想・チャレンジを通して難しかったこと、チャレンジしたこと
    Neural Network Console Challengeで挑戦したのは、自分でテーマを設定し、それに基づいて学習用のデータを選定することです。参加当初は、別のテーマで挑戦するつもりでしたが、PIXTA様から提供された素材は、瞬間を切り取ったような綺麗な写真が多かった為、素材の良さを活かせるテーマを探すところから始めました。チャレンジを通して難しかったのは、学習用の画像をNNCのフォーマットに変換することです。Mac(MacOS Catalina)では動作しなかったので、Win機にNNCのWin版をフルインストールして変換しました。

  3. お仕事に活かせそうなこと
    普段は深層学習が必要な際はkerasで済ませていますが、今回初めてNeural Network Consoleを使い、グラフィカルなUIで表示することでレイヤー構造に対する理解が深まることを発見しました。チャレンジでは使用していませんが、複雑なResNetもNNCで表示すると解りやすいです。
受賞理由:株式会社レッジより
「森鴎外の小説からキーワードを選定して分類」は企画の切り口として非常に興味深く、「Ledge.ai賞」に値する取り組みでした。こういったモデルを応用することで文章に合った挿絵を自動で挿入するなど、さらなる新しいアイデアも出るような企画力でした。

4月23日に開催したオンライン表彰式の様子

表彰式をweb会議ツールのZoomで行い、Twitterライブにて様子を配信しました。ゲストには、ソニーネットワークコミュニケーションズ株式会社 シニアマシンラーニングリサーチャー 小林由幸様、ピクスタ株式会社 PIXTA事業本部 カスタマーサクセス部白石哲也様をお招きし、総評をいただきました。

ソニーネットワークコミュニケーションズ株式会社小林様からの総評

画像のみが提供されるかなり自由度の高いチャレンジということで、どのような応募があるのか大変楽しみにしていました。応募いただいた作品を見渡すと、同じデータセットを元にしているとは思えないほど多様なテーマやアプローチの違いに、アイデア次第で応用の広がりを見せるDeep Learningの可能性を改めて感じさせられました。

また、応募作品全般に想像以上に多くの方がNeural Network Consoleを使いこなしていらっしゃったことも印象的でした。Deep Learningの開発仲間が着実に増加しつつある現状を確認することができ、大変心強い思いです。その中でも受賞された3作品はいずれも素晴らしい着眼点と、Deep Learningの開発現場に求められる実用的なワークフローに沿ったアプローチを兼ね備えていたのではないかと思います。

今回の受賞作品は結果的にいずれも画像分類をテーマとしたものにはなっていますが、応募作品の中には全く異なるアプローチをとられた作品もあり、これらは他の応募者の方にとっても参考にしていただける内容になっているのではないかと思います。是非受賞された方の作品はもちろん他の応募者の方の作品もあわせて、Neural Network ConsoleやDeep Learningのさらなる使いこなしと活用の加速のために参考にしていただければと思います。

ピクスタ株式会社白石様からの総評

今回、3つのテーマ設定、加えて自由テーマの4テーマを設定させていただきましたが、想像以上に多くの方にチャレンジいただいたことに驚いています。

当初、分類として画像に対して言葉にしづらいオノマトペや感情などが画像分類のチャレンジしがいがあるのかなと思っていましたが、皆さんのエントリーを拝見すると自由テーマのエントリーが一番多く、皆さんのアイデアの多様性にただただ圧倒されています。今回、人物画像を提供させていただき人物に関するテーマが多いのかなと思いきや、Ledge.ai賞を受賞された「森鴎外の小説からキーワードを選定して分類」のように思いもよらぬアプローチもあり、改めて画像分類の可能性を感じました。

広告向け画像素材としていままで画像を提供してきましたが、「Neural Network Console Challenge」を通して、違った形での画像の価値を認識しました。今回はこのような画像提供の機会をいただき、ありがとうございました。

今後について

レッジは、今後もソニーネットワークコミュニケーションズと協力して、Neural Network Console Challengeを開催する予定です。現在調整中ですので、興味がある方はLedge.aiでの情報発信をお待ちください。

また、今回のNeural Network Console Challengeの開催に際して、編集長の飯野がnoteを書いています。そちらも合わせてご覧ください。

参考:精度を競わないハッカソンを開催した

受賞作以外のアウトプット

受賞した3作品以外のアウトプットを一部掲載します。

人物画像をNNCで学習させ新しいオノマトペ(擬音語/擬声語/擬態語)の画像カテゴリ分類を作り出す

写真の情景を表現するオノマトペ
https://qiita.com/daisukekawa/items/768c9ad57e1969c34901

ヒストグラムを活用した、オノマトペな様々な情景を連想させる画像の分類
https://qiita.com/zakiyama2918/items/999b16ec42ab0efbadf4

画像内人物をNNCで学習させ画角/焦点距離による画像分類を作り出す

Neural Network Console Challenge(NNCC) 参加レポート ~構築経験0から10日でTRYし力尽きるまで
https://qiita.com/touyouhorikawa/items/f8a221e052bc236b1d98

画像内人物をNNCで学習させ画角/焦点距離による画像分類を作り出す
https://qiita.com/karu_bee/items/9a69a4201dcfe24deea6

NNCで画像を学習し人の感情によって分類

[Neural Network Console Challenge] NNCを使って人の感情で画像を分類してみた
https://qiita.com/NaoAkayama/items/34509103658745a4cef5

NNC Challenge参戦記 〜PIXTAの写真素材を画像分類〜
https://www.xeex-ti.jp/rndblog/2020/nnc-challenge202001sk/

その他自由設定のチャレンジテーマ

Neural Network Console Challenge 人数による分類
https://qiita.com/ryo19841204/items/399313450e936d1a9514

笑顔を4種類に分類
https://qiita.com/imokenn_p/items/8950543b1b4fbc4ae01f

写真内の人物がいる場所が屋内か屋外かを分類する
https://piro-blog.com/neural_network_console_challenge_1/

写真を撮影したカメラメーカーを分類する
https://piro-blog.com/neural_network_console_challenge_2/

人物画像から獲得した顔画像の視線分類
https://qiita.com/kkkodai/items/daea67b2a943029bafb9