「30年以上研究しても面白い」自然言語処理技術の今と未来をフロントランナーが語る

登壇者プロフィール
浦本 直彦氏（写真中央）
株式会社三菱ケミカルホールディングス
執行役員　Chief Digital Officer

乾 健太郎氏（写真右）
東北大学大学院 情報科学研究科 教授
理化学研究所 AIPセンター 自然言語理解チームリーダー
言語処理学会 副会長

有馬 幸介氏（写真左）
ストックマーク株式会社
取締役CTO

――乾「ニューラル言語モデルの基礎となっている『分散表現』のアイディア自体は1980年代から提唱されていましたが、最近まで自然言語処理（以下、NLP）の研究では注力されていませんでした。ニューラルだけでここまでできることに驚いています。

古典的な機械学習は、自然言語からうまい特徴を取り出すのが得意ではありませんでした。

単語をそのまま特徴として使うと、例えば“着物”と“和服”のような『類義語』がまったく違う特徴になってしまいます。それだと、“着物”が出てくる例を訓練で見ていたとしても、“和服”の例をうまく処理できません。word2vecのような分散表現、つまりベクトルで類義語などの特徴をうまく捉えることができるようになり、さらにBERTのようなニューラル言語モデルによって『文脈』も含めた特徴の学習が進んできました。

学習の精度が上がり、ベクトルという共通言語ができたことで、他のメディア（画像など）の情報と言語の情報をニューラルの世界で統合的に扱える環境ができてきました。そうした他のメディアの情報も“文脈”の一部だと捉え、文脈の情報を豊かにしてさらに学習を進めれば、ニューラル言語モデルがさらに豊かな知識を獲得できる可能性があると思います。

今後、ロボティクスなども取り込んでさらに文脈の幅を広げていけば、新しいイノベーションにも繋がってくるのではないでしょうか」

――浦本「社内テキスト情報を活用するプロジェクトを始めようとすると、結局のところ、技術的には検索・分類・抽出のタスクに帰着することが多いです。

社内情報を検索するのに、商用にしてもオープンソースにしても単に検索エンジンを持ってきて使うだけではなかなかうまくいかず、同義語辞書が必要、でも誰がどうやって作るのか？といったときに、BERTのような高性能な汎用モデルを自社でファインチューニングしてそれなりに精度を出せるのは、ユーザー企業にとって非常に使い勝手が良いと思います」

――有馬「試すことへの敷居が下がりましたよね。

私が（ストックマークを）起業した2016年は、手作業で5万件くらいのアノテーションをするなど、事前に相当量の訓練データを用意しないといけなかった。それでも精度が出るかどうかというレベルでした。BERTが入ってきたことで、事前学習モデルと1000件のデータがあれば良い成果が出るようになりました」

――乾「学習器ができるのは訓練データの真似をすることだけで、文章の意味を理解できているとは言えないと思います」

――浦本「ユーザー企業には、現場とそこで働いている人がいて、たくさんの文書があります。複数の会社が合併して出来ていることも多く、言葉が統一されてないこともしょっちゅうです。

機器の点検文書、操業オペレーターや営業員が書いた業務日誌、研究報告書など、様々な非構造データをうまく扱っていくことが大事になっていくと思います。

類似度検索を使って、過去の日誌から『3年前も同じような機器の故障があった』、『あのときの申請書はどう書いただろうか』といった情報を拾っていくだとか。デジタル化されてないものもあり、その場合は書類棚を探して、昔の書類を直接めくる、という世界でした。

製造系のデータは寿命が長く、10年前の報告書が役に立つ、ということがあるので、手間暇をかけてでも知識化する価値があります。

企業が持つ資産とは、データや、事業を長く続けてきた知見にあります。例えば化学会社では化学品の配合レシピや、製品を安く安全に作る製造ノウハウなどの知恵が資産です。今は、無形資産という言い方もしますね。

モノ売りからコト売りに、という流れのように、ユーザー企業にとっては独自のデータとそこから生まれる知識、人の持つ経験が大きな価値になっていくのではないでしょうか」

――乾「情報系の学生さんだと、進路としてはまずIT企業を思い浮かべがちだと思いますが、浦本さんのようにユーザー企業で活躍するエンジニアも今後増えてくると思います。

ユーザー企業には実際の事業やデータがあって、企業や事業によってデータの特徴ややりたいことも異なってきます。そうした企業の中にエンジニアが育ち、内製化して自分たちのやりたいことに合ったデータ・モデルを作っていく、という仕事はおもしろいと思うし、今後さらに増えていくんじゃないかと思います。

BERTやword2vecのような一般的な道具は最大限に活用すべきですが、企業ごとにリソースをきちっと作ることも重要です。事前学習をいくら頑張ってやっても、万能なものは作れません。少数だとしてもデータをきちっと作って、必要なら辞書も作らないと使えるものにならないのです。

これからは自社に合ったデータ・リソースを作り、学習の精度を高められる企業が勝っていくんじゃないかなと思います」

――浦本「会社にあるデータや知見をどう後世に残していくかということは、会社の技能継承にもつながっていくと思っています。

どのような表現形式で残すかも重要です。今扱っている人にとっては既知のデータでも、5年後に違う人が見たらただの数字の羅列でよく分からない、ということが起きるかもしれません。

今扱っている操作可能なデータ形式とは別に、後世に残すデータフォーマットや知識体系、形式など両方考える必要があるでしょう」

――乾「今のニューラルネットは基本的にいろいろなことがインプリシット（暗黙的）で、使用するモデルのファインチューニングに任せており、ブラックボックス化しており、非常にわかりにくくなっている。

先ほど浦本さんが触れられていたデータの継承、知識を残していく過程では人が入ってきます。この、人が関与することと、全てがインプリシットであることがなかなか噛み合わない。そこをどううまく併合していくかが必要になってくると思います。

人間同士は言語などのシンボルを使って情報を伝えあっていますが、人と機械の間にも何らかのインターフェイスとなるシンボルがないとなかなか難しいんじゃないかと。このインターフェイスとして、説明、透明性や解釈性の問題が今後ますます重要なテーマになっていくだろうと思います。

事前学習されたモデルのブラックボックス性も現実的な問題として重要です。

たとえば、事前学習済みモデルに偏見・差別的知識が入っていると困るわけですが、そうした問題も含め、事前学習済みモデルを使った商品の品質保証をどうやるか。企業も何か新しいことを考えなくてはいけないと思います。

また、研究者の立場から見ると、事前学習に使われたデータの詳細を自分で調べることはできないので、事前学習済みモデルを使った実験はコントロールが難しいということになります。そうした道具を使いながらどうやってきちっとしたサイエンスをやっていくか、といったことも今後アカデミアが考えるべき興味深い課題だと思います」

――浦本「人と人との情報の行き来が組織や企業の壁に分断されず、社内の情報の流れをスムーズにし、多くの情報のもとでスピーディに意思決定をし、会社を動かしていくことが大切です。

また、将来的には、人と人との間にシステムが入り込んで、協調しながら意思決定するようになるんじゃないかと思っています。

リモートで仕事をしていると、チャットの相手が人間かどうかは分かりませんよね。質問にすぐ答えてくれるボットが作れるように、作業現場でも人間とロボットの協調が起きています。

自然言語は、人と人の会話だけではなく、人とシステムの間のインターフェイスにもなります。チャットボットみたいにシステムと会話をして仕事を進めるとか。新たなインターフェースとして、あるいはデータ形式や後世に残す知恵・知識としても、NLPの果たす役割は非常に重要になってくるのではないでしょうか。ロボットやシステムが人と協調する未来で、どういうものを使っていくのか、どういう形式で知恵を残していけばいいのかが重要になってくるでしょう」

――浦本「研究者としてNLPを作る側から、使う側に行って感じているのですが。NLPの研究は評価が難しいと思います。優れた検索エンジンを作ったから何時間コスト削減された、いくら利益が出ました、というのはなかなか定量化しにくい。

BERTのようなブレイクスルーや、技術を突き詰めていって『このツールがないと仕事にならない』というものがNLPでもどんどん生まれてきて欲しいです。ツールを使う側も作る側もワクワクして、新しいことに挑戦していくことが大事なのかもしれません」

――乾「他の国と比べて、研究の予算が一桁違うなど難しいところもありますけど、多くの若い人たちが『NLPはおもしろいな』と集まってくることが何よりも重要だと考えています。

この分野にはおもしろいことが本当にたくさんあって、我々は30年研究していても未だにわくわくすることばかりです。

今日のイベントのように、NLPのおもしろさを発信して皆さんの力を結集し、日本からうまく出していく、ということをしていけるといいですね」

「NLPへの思いや今が伝わってきて、面白かった」
「言語処理を実践しているものとして、考えが合致した内容をお聞きできたことに、今後への自信と期待を持つことができました。お互いへのリスペクトもあって、聞いていて心地良かったです」
「同僚にも見て欲しかったと思えるほど、ためになる内容でした」