Googleの万能AI「Pathways」 5400億のパラメーターを使い多様で多言語のタスクに対応

このエントリーをはてなブックマークに追加

Google AIブログより

米Googleは4月4日、自然言語処理に関する複数種類のタスクを処理できる「Pathways Language Model(PaLM)」を発表した。Pathways(パスウェイズ)は1つの機械学習モデルが最大数百万種類のタスクに対応できるという「万能」のAI(人工知能)だ。同社は今回、自然言語による質問応答や文章生成などができる「言語モデル」と呼ばれるAIをPathwaysで実装した。

言語モデルは近年、「BERT」や「GPT-3」などがめざましい成果を挙げたことで注目を集めている。従来の言語モデルは1モデルで1タスクの専用品であるのに対し、PaLMは1つの機械学習モデルで質問応答や翻訳、ソースコードの生成・修正、ジョークの解説といったさまざまなタスクを処理できる。

また、1つのモデルで英語だけでなく多言語によるタスクに対応可能だ。PaLMのトレーニングには、ウェブページや書籍、ニュース記事などから収集した7800億単語(トークン)からなる多言語の文章が使用されている。

過去最高水準のベンチマーク性能

PaLMは多くのタスクを処理できるだけでなく、タスクの処理性能も高い。同社が29種類の自然言語に関するベンチマークをPaLMで試したところ、29種類中の28種類でこれまでのSOTA(State of the Art、最高水準)を上回る成績を収めたという。

Google AIブログより

従来の言語モデルも、大量の文章によってモデルをトレーニングし、数十〜数百文例の「わずかな訓練(Few-shot training)」を加えることで、他のタスクにも対応できる。しかし、PaLMは追加のトレーニングがない「0-shot」の状態であっても、多くのタスクで高性能を発揮できる。また、タスクによってはPaLMにわずかな訓練を実施することで性能が向上することもわかった。

Pathwaysの規模と性能

PaLMの特徴は機械学習モデルの巨大さだ。PaLMはBERTやGPT-3と同様に、自己注意機構(SA)であるTransfomer(トランスフォーマー)を多段に積み重ねるニューラルネットワーク構造を採用している。

PaLMのニューラルネットワークのパラメーター数は5400億に達し、BERTの3億4000万パラメーターやGPT-3の1750億パラメーターと比べても過去最大級の規模だ。2021年10月に米Microsoftと米NVIDIAが共同開発した「Megatron-Tuning NLG」は5300億パラメーターであるため、それよりも大きい。

同社は5400億パラメーターのPaLMモデル(PaLM 540B)だけでなく、80億パラメーターの「PaLM 8B」と620億パラメーターの「PaLM 62B」を用意し、それぞれの性能を比較した。比較の結果、性能の高い順にPaLM 540B、PaLM 62B、PaLM 8Bとなり、ニューラルネットワークの規模が大きいほど性能が向上した。

一方、タスクによってはパラメーターの数を増やしても性能があまり向上しないものもあった。具体的には、行き先案内に関する「navigate(ナビゲート)」や数学的証明手法を実世界に応用する「mathmetical_induction(数学的帰納法)」などが挙げられる。

Pathwaysの今後

これまでの専用型のAIは新しいタスクに対応する際、タスク専用の学習データが大量に必要になっていた。一方、さまざまなタスクに対応できるPathwaysは、この課題を解消できる可能性がある。

また、今回PaLMが示したのは、自然言語処理という範囲に限定した万能さだ。同社のAI開発を統括するジェフ・ディーン氏のブログによると、Pathwaysはさまざまな感覚に1つのモデルで対応できると予告していた。今後、テキストデータを扱う自然言語処理だけでなく、映像や音声といったタスクで高性能を発揮することが期待される。

>>ニュースリリース(英語)