MicrosoftのFace APIで画像認識を利用した感情分析を試してみる

すでにLedge.aiでも紹介しているMicrosoftの「Face API」。顔認識ができるAIで、主な機能として

画像中の顔を認識し、年齢や性別、感情などを推定
2つの写真の人物を同一人物か検証

の2つがあります。

Ledge.aiで以前Face APIを試した際には、“画像中の顔を認識し、年齢の推定と顔検出の検証”に絞って紹介しました。

今回は、

どこまでヒトの感情を読み取れるのか
同一人物を見分けることができるのか

という2つに挑戦していきたいと思います。

AIによる感情分析がすごい。これは大活躍するかも

今回試してみるのは、感情の部分。画像を入力すると、それぞれの感情の推定値が次のように表示されます。

"emotion" : {
  "anger": 0.003,
  "contempt": 0.008,
  "disgust": 0.0,
  "fear": 0.0,
  "happiness": 0.032,
  "neutral": 0.948,
  "sadness": 0.006,
  "surprise": 0.002
}

※ 結果は一部省略しています

この写真では感情は「中立」を意味する“neutral” が強いですね。この写真を基準にいろいろ見てみましょう。続いてはこちらの写真です。

"emotion" : {
  "anger": 0.0,
  "contempt": 0.0,
  "disgust": 0.0,
  "fear": 0.0,
  "happiness": 1.0,
  "neutral": 0.0,
  "sadness": 0.0,
  "surprise": 0.0
}

こちらの写真では、感情は「喜び」となっています。右にある数値からも、“happiness”が100%と分析されていることがわかります。喜びの笑顔はしっかり分析できたみたいです。

"emotion" : {
  "anger": 0.452,
  "contempt": 0.026,
  "disgust": 0.422,
  "fear": 0.0,
  "happiness": 0.022,
  "neutral": 0.076,
  "sadness": 0.002,
  "surprise": 0.001
}

続いては怒りの表情です。「怒り」を意味する“anger”の数値が一番高くなりました。ここからさまざまな感情の要素が少しずつ現れるようになりました。

"emotion" : {
  "anger": 0.365,
  "contempt": 0.027,
  "disgust": 0.494,
  "fear": 0.0,
  "happiness": 0.079,
  "neutral": 0.031,
  "sadness": 0.003,
  "surprise": 0.001
}

続いてはこちらの写真です。あれ？と思う方も多いかもしれません。そうです、「嫌悪感」と表されているこの写真ですが、先ほどの「怒り」の写真ととても似ています。

「怒り」の表情の数値

"emotion" : {
  "anger": 0.452,
  "contempt": 0.026,
  "disgust": 0.422,
  "fear": 0.0,
  "happiness": 0.022,
  "neutral": 0.076,
  "sadness": 0.002,
  "surprise": 0.001
}

「嫌悪感」の表情の数値

"emotion" : {
  "anger": 0.365,
  "contempt": 0.027,
  "disgust": 0.494,
  "fear": 0.0,
  "happiness": 0.079,
  "neutral": 0.031,
  "sadness": 0.003,
  "surprise": 0.001
}

先ほどの「怒り」の表と今回の「嫌悪感」の表を比較してみるとわかります、たしかにどちらも「怒り」と「嫌悪感」を表す“Anger”と“Disgust”の数値が高くなっていることがわかります。

どちらとも怒りの表情で撮ったつもりでしたが、片方は「嫌悪感」の表情になりました。認識が難しい表情なのかもしれません。

最後に「悲しみ」の表情をみてみます。

"emotion" : {
  "anger": 0.009,
  "contempt": 0.027,
  "disgust": 0.027,
  "fear": 0.003,
  "happiness": 0.001,
  "neutral": 0.383,
  "sadness": 0.549,
  "surprise": 0.002
}

しっかり「悲しみ」の表情分析ができているようです。

ちなみに、試しに変顔をしてみたところ、

"emotion" : {
  "anger": 0.095,
  "contempt": 0.003,
  "disgust": 0.072,
  "fear": 0.041,
  "happiness": 0.201,
  "neutral": 0.04,
  "sadness": 0.536,
  "surprise": 0.011
}

「悲しみ」の感情が圧倒的でした。ほかにもいくつか試してみたのですが、ほとんど悲しい顔をしていると判断されてしまいました。悲しいですね。

表情からの感情分析、細かい違いもしっかり見分けた分析で、想像以上に正確な結果が出ました。

感情分析がこの結果なら、同一人物の認識精度はかなり期待できそうです。