SHOWROOM、AIで悪質コメントを投稿する前にブロック「最終的には100%排除に限りなく近づける」

このエントリーをはてなブックマークに追加

『メモの魔力』(幻冬舎)などの著書で知られる前田裕二氏が代表取締役社長を務めるSHOWROOM株式会社は2月22日、仮想ライブ空間「SHOWROOM」において、悪質コメントを検知し、投稿される前にブロックするコンテンツモデレーションAI機能を開発し、SHOWROOMに搭載したと発表。本機能は日本初とうたう。



同社ではこれまでは視聴者から悪質なコメントが投稿されると、別の視聴者やライバー自身が通報し、SHOWROOM監視チームがコメント確認後にブロック作業を実施していた。そのため、コメントに問題があった場合も監視チームの確認が完了するまでの間は表示された状態だったという。

今回、同社が開発したコンテンツモデレーションAI機能を導入することで、誹謗(ひぼう)中傷を中心とする悪質なコメントが視聴者によって書き込まれた際に、AIがスクリーニングする。問題がある場合には、投稿される前に自動でブロックできるという。そのため、不快なコメントをライバーはもちろん、別の視聴者が目にする機会を大幅に軽減できるとうたう。

本機能には、ディープラーニング(深層学習)をコンテンツモデレーション機能に応用している。従来のキーワードなどの検出ではなく、文脈を含めてコメントをニューラルネットワーク上で抽象化し、すぐにそのコメントの悪質性を判断できるという。SHOWROOMの膨大なコメントのデータを活用することで、高い確率で悪質コメントを検知できるという。

現在はまず前段階として、AIがユーザーの代わりに通報する機能を実装した。悪質なコメントをこれまで以上に早く確認し、投稿削除するまでのスピードを一層あげられるという。今後は精度を上げながら、自動的にユーザーの悪質投稿を表示させない機能をリリースするとのこと。同社は「最終的には『SHOWROOM』内で、誹謗中傷を中心とした悪質コメントの100%排除に限りなく近くなることを目指します」と、今後の目標を明らかにしている。

「もぐら叩きになってしまっていた」

また、開発を担当したSHOWROOM AI分析チームは、現状について「チームとしてもこれまで徹底して発見と同時に削除に努めてまいりましたが、もぐら叩きになってしまっていたのがこれまでです」とコメント。一方で、新機能により「一瞬であっても不快なコメントを目にする機会が軽減、また連鎖を防ぐことが可能になると考えます」と展望を述べている。

──開発を担当したSHOWROOM AI分析チーム

「夢をかなえるため配信に奮闘するライバーと、彼女ら彼らの配信を日々楽しみにする視聴者。『SHOWROOM』は、そんな“夢を追う人・夢をかなえてあげたいと願う人“が安心して楽しめる場所でありたいと願っています。それでも時々目にする誹謗中傷などの悪質コメント。チームとしてもこれまで徹底して発見と同時に削除に努めてまいりましたが、もぐら叩きになってしまっていたのがこれまでです。



そんな中で誕生した本機能。コンテンツモデレーションの世界では、英語や中国語に対しての研究はされているものの、日本語での研究はほとんどないのが実態です。それを今回われわれが開発した機能は、日本語をAIのスクリーニング機能によって事前に良質か悪質かコメントの質を見分けることができます。

これによって、一瞬であっても不快なコメントを目にする機会が軽減、また連鎖を防ぐことが可能になると考えます。日本語特有の遠回しな言い方や、複数回に分けてコメントをするなど、従来の手法では難しかった悪質なコメントも検出することに成功。今回、無事『SHOWROOM』に第一弾が実装できることを大変うれしく思っております」

>>ニュースリリース

Yahoo!ニュース、不適切なコメントをするアカウントをAIで13.5%減少

AIを活用することで、インターネット上などの悪質なコメントに対応する取り組みは少なくない。

最近でも、ヤフー株式会社は2月16日に、「Yahoo!ニュース」のコメント欄において、不適切なコメントを繰り返し投稿しているアカウントが、2020年7月からAIを活用して取り組んでいる投稿時の注意メッセージ掲出により、掲出直後と比較して13.5%減少したと発表した。

そのほか、詳細は以下の記事をチェックしてほしい。