トランプは“恐怖”を感じていた?米朝首脳会談の報道にも使われた感情認識AI「AffdexMe」を使ってみた

このエントリーをはてなブックマークに追加

最新のテクノロジーにより、スマートフォンのロック解除機能や、顔を絵文字に変換するAnimojiなど、顔認証を用いたサービスが身近になってきました。

そんな中、写真を使わずリアルタイムで感情認識できるAI「Affdex」が、マサチューセッツ工科大学のメディアラボから独立したAffectiva社により開発されています。

Affdexがどんなものなのかは、下記の動画で紹介されています。

動画では、映像を見ている人の表情の変化に合わせてリアルタイムでグラフの数値が変動し、人種ごとの表情の評価もされています。

最近の活用例としては、テレビ東京の報道番組があります。

6月12日にシンガポールで開催された米朝首脳会談の報道にAffdexを用いて、キャスターらが両首脳の心の内を読み解いたそう。両首脳の発言の際に「35%くらいの恐怖」を検知するなど、興味深い分析結果も出ています。

今回は、このAffdexを気軽に体験できるアプリ「AffdexMe」を使って、精度を検証してみました。

リアルタイムで感情や表情を数値化するアプリ「AffdexMe」を体験

アプリでは、感情7項目・表情15項目・好感度と反感度・表情の豊かさの全24項目の中から、6つを選んで数値化できます。

今回は、怒り・軽蔑・嫌悪・恐怖・喜び・悲しみ・驚きの7つ感情の中から、軽蔑以外の6つを選んでみました。

喜び

顔の横に出てくる2つの絵文字は、ひとつが表情を表し、もうひとつは年齢・エスシニティ(民族的分類)・性別・メガネ着用の有無を表しています。

上の画像では、女性は喜びの数値が100%に、男性は85%、驚きの数値が87%と、驚きの方が大きいという結果になっています。

目の開き具合、口角の上がり具合などが評価に影響しているようです。

驚き

女性は驚きではなく恐怖の数値が出ており、男性は驚きが98%とかなり高くなっています。

怒り

上の画像では、男性・女性どちらも怒りの数値は出ませんでした。

上記の写真のほか、筆者もアプリを使い試してみると、やはり口角の動きへの反応が強かったです。また、目の大きさも数値に出やすいようです。

嫌悪の表情でも試してみましたが、眉を大きく動かすと90%ほど数値が出ました。ほかにも眉を動かす、口角を下げるなどを試しても怒りの数値は3%程度という結果に。怒りは嫌悪とみなされやすく、まだまだ判別が難しいという印象です。

670万件以上の表情データを用いて感情を数値化

写真に出ていた白い点が顔のランドマーク(特徴点)です。この点の座標を測定し、

  • 表情の豊かさ
  • 顔面筋の動きを測定し、ターゲットの表現力を表す

  • 好感度と反感度
  • 記録された人物の経験が、ポジティブかネガティブかを示す

  • 表情
  • 目を閉じる・開く、頬を上げるなど、21の基準を用意

の3つを計測します。

計測された表情などをインプットデータとして扱い、どの感情にあてはまるかの分類をおこなっています。感情の基準は、先ほど紹介した怒り・軽蔑・嫌悪・恐怖・喜び・悲しみ・驚きの7つ。

AffdexMeは、世界87ヵ国以上から収集された670万件以上の表情データを蓄積し、ディープラーニングを活用することで、より正確な感情分析を実現しているといいます。

Affdexの用途は無限大。さまざまな領域で感情認識AIが活躍する?

リアルタイムでの感情認識AIは、たとえば以下のような場面で活用が期待できます。

  • 医療現場での心理的な事項の数値化
  • ターゲットの表情分析によるマーケティング
  • 教育現場での理解度や集中力の把握
  • 視聴者の感情により結果が変わる映画やドラマの制作
  • 眠気察知などによる安全運転のサポート

今回紹介したAffrendex Meは無料でインストールできます。

リアルタイムでの表情や感情の数値化を、是非アプリで体感してみてください。