ビジネス - BUSINESS -

Transformerに代わる選択肢──ELYZA、日本語特化の拡散モデルベースのLLM「ELYZA-LLM-Diffusion」を商用利用可能な形で公開

東京大学・松尾研究室から発足したAI開発企業の ELYZA は2026年1月16日、日本語に特化した拡散大規模言語モデル（dLLM）「ELYZA-LLM-Diffusion」シリーズを開発し、商用利用可能な形で[公開]{target=“_blank”}した。 画像生成AIで発展してきた拡散モデルを言語生成に応用することで、従来主流のTransformerに代表される自己回帰型モデルとは異なる生成方式を採用。日本語の知識力や指示追従能力を高めつつ、効率的な推論を可能にする点を特徴としている。 ## 画像生成で培われた「拡散モデル」を言語生成へ 拡散大規模言語モデル（Diffusion Large Language Model、dLLM）は、もともと画像生成分野で広く使われてきた拡散モデルを言語生成に応用したものだ。 自己回帰（Autoregressive）モデルがテキストを左から右へと逐次的に生成するのに対し、dLLMではテキスト全体にノイズを加え、そこから段階的にノイズを除去する「逆拡散過程」を通じて文章を生成する。 この方式では、設計次第で逐次生成を前提としない推論が可能となる。処理回数を抑えられるため、生成効率の向上や消費電力低減につながる可能性がある点が、dLLMの特徴とされている。一方で、学習コストの高さや推論基盤の成熟度といった課題も指摘されており、実利用はこれまで限定的だった。 ## 日本語データで追加学習、dLLMの日本語性能を強化 今回ELYZAが開発した「ELYZA-LLM-Diffusion」は、HKU NLP Group が公開しているdLLM「Dream-v0-Instruct-7B」をベースに、日本語データによる追加事前学習と指示学習を施したモデルだ。 英語データ中心で学習された既存のdLLMが多い中、日本語に特化した知識力や指示追従能力の強化を狙った点が特徴となっている。 ## 日本語ベンチマークで既存dLLMと同等以上の性能 ELYZAは本モデルの性能評価として、日本語タスクを中心とした複数のベンチマークを実施した。 一般的な日本語能力を測るタスクや、日本語MTベンチマーク、コーディング能力（JHumanEval）、数学タスク（MATH-500日本語版を含む）などで評価を行い、既存のオープンなdLLMと比較して同等、またはそれを上回る性能を示したとしている。 評価結果は、自己回帰型モデルとの直接的な優劣を示すものではなく、あくまでdLLMという枠組みの中での位置づけを示すものとされている。 **■ 日本語タスクを中心に実施したベンチマーク評価結果。ELYZA-Diffusion-Instruct-1.0-Dream-7Bは、既存のオープンな拡散言語モデルと比較して同等、またはそれを上回る性能を示したとしている** ![47565-66-26607388b73b1b1ac71b2c88df8faeca-1329x830.webp] :::small 画像の出典：[株式会社ELYZA]{target=“_blank”} ::: ## 自己回帰と拡散、生成プロセスの違いをデモで可視化 ELYZAは、自己回帰モデルと拡散モデルの生成プロセスの違いを示すデモも公開している。 同一入力に対し、自己回帰モデルではトークンが順に確定していく一方、拡散モデルではテキスト全体が段階的に更新されていく様子を確認できる。 このデモは生成速度そのものを示すものではなく、生成方式の違いを直感的に理解するための技術的な可視化として位置づけられている。 **■ 自己回帰モデル（AutoRegressive、左）と拡散モデル（Diffusion、右）における文章生成プロセスの比較デモ。拡散モデルでは、テキスト全体が段階的に更新されていく様子を確認できる** ![file.gif] :::small 画像の出典：[株式会社ELYZA]{target=“_blank”} ::: ## Base／Instructの2モデルを公開、商用利用も想定 今回公開されたモデルは以下の2種類だ。 - **ELYZA-Diffusion-Base-1.0-Dream-7B：** 日本語データによる追加事前学習を行ったベースモデル - **ELYZA-Diffusion-Instruct-1.0-Dream-7B：** Baseモデルに指示学習を施したモデル いずれもHugging Face上で公開されており、chatUI形式のデモも同時に提供されている。商用利用可能な形で公開されている点も、今回の発表の特徴の一つだ。 ## 電力消費増大という課題と、dLLM研究の狙い 生成AIの利用拡大に伴い、電力消費の増大やAI向けデータセンター不足が国際的な課題となっている。 ELYZAは、dLLMが持つ「少ない処理回数で文章を生成できる」という特性に着目し、推論時間や電力消費を抑えられる可能性を持つアプローチとして研究を進めてきた。 今回の「ELYZA-LLM-Diffusion」は、自己回帰型が主流となっている言語モデルの設計に対し、別の選択肢を示す試みとして位置づけられる。 :::box [関連記事：拡散モデルベースLLM「Mercury」登場：“描くような生成”で推論を高速化] ::: :::box [関連記事：Inception Labs、拡散モデルを使った拡散型大規模言語モデル「Mercury Coder」発表] ::: :::box [関連記事：拡散モデルを用いた視覚言語モデル「LaViDa」を発表　生成AIの高速化を狙う] ::: :::box [関連記事：日本語対応LLM性能を可視化する「オープン日本語LLMリーダーボード」公開] ::: :::box [関連記事：国産 LLMがビッグ・テックを猛追！ ELYZAの最新モデル「ELYZA LLM for JP」登場] :::