ヤフーニュースの違反コメント検知数が2.2倍向上、AIを活用で

このエントリーをはてなブックマークに追加

ヤフー株式会社は3月6日、Yahoo!ニュースが提供する「Yahoo!ニュース コメント」において、暴力的、差別的、過度に品位に欠けるなどの違反コメントへの対策を強化した。

違反コメント検知のために、深層学習を用いた自然言語処理による判定モデル(AI)と、独自に開発した深層学習特化型スーパーコンピュータ(スパコン)「kukai(クウカイ)」を活用している。





>> プレスリリース

AI判定モデルによってコメント表示順などの改善も

以前から機械学習を用いた自然言語処理による判定モデルを違反コメントの検知のために使っていたが、今回、1100万件のコメントデータなどを活用して、新たな判定モデルを開発した。

実際に1週間ぶんのコメントデータを使い、従来使用していた判定モデルと、今回新たに開発した判定モデルを比較したところ、違反コメントの検知数が約2.2倍に向上したそうだ。

新たな判定モデルによって判定された結果は今後、コメント表示順の改善にも採用する。ニュースを多角的に理解できるようなコメントなど、より多くの人に読んでほしいコメントが上位に表示されるようにするという。

また、これまでもYahoo!ニュースでは、ユーザーから違反報告のある記事、閲覧数の多い記事、特定ジャンルの記事など優先順位をつけて、人力や機械学習(AI)を用いてパトロール。そして、人力を中心に違反コメントの削除や悪質なユーザーのアカウントを停止するなどをしていた。

2019年11月からは、人力によるパトロールや削除をしていた「記事との関連性の低いコメント」を機械的に検知するために、判定モデルと独自開発したスパコン「kukai(クウカイ)」を活用している。

ちなみにスパコンkukaiとは、ディープラーニング活用に特化した省エネ性能の高いスーパーコンピュータだ。過去には、スパコンの省エネ性能ランキングで世界2位を獲得している(2017年6月発表「GREEN500」)。

このスパコンは、GPUを使用した従来の社内環境と比較して、演算処理性能が理論上約225倍となり、消費電力あたりの処理性能も2017年6月時点で世界トップクラスの値を記録している。そのため、短時間かつ低コストでより大規模なディープラーニング処理が可能だ。

口コミ検閲AIで信憑性・信頼性を担保

ユーザーが投稿するコメントなどは、大きな影響を与えかねない存在だ。これは良い意味でも悪い意味でもある。

なかでも、口コミサイトなどでは、投稿される口コミが信憑性や信頼性が高いのかがカギを握る。

株式会社グローバルウェイは3月6日、同社が運営する企業の口コミ情報サイト「キャリコネ」にAI(人工知能)による口コミ検閲の導入を発表した。

キャリコネでも、Yahoo!ニュースのように人力で不適切な口コミを検知していたが、監視コストや人的負担が課題になっていた。

キャリコネは導入したAIによって、コストの削減や負担の低下を狙っている。そして、人間による高いレベルの検閲を補佐するAIを目指している。