学術＆研究 - ACADEMICS & STUDY -

国立情報学研究所、フルスクラッチ学習の国産LLM「LLM-jp-4」公開　8B・32Bモデルをオープンソースで提供

国立情報学研究所（NII）は2026年4月3日、日本語に強い国産大規模言語モデル（LLM）「LLM-jp-4」シリーズとして、「LLM-jp-4 8Bモデル」と「LLM-jp-4 32B-A3Bモデル」をオープンソースライセンスで[公開]{target=“_blank”}した。約12兆トークンのコーパスでフルスクラッチ学習された国産LLMで、一部ベンチマークではGPT-4oやQwen3-8Bを上回る性能を示したという。 今回公開されたモデルは、日本語性能の強化を目的としてNIIを中心に開発されたLLMプロジェクト「LLM-jp」による最新モデルだ。研究コミュニティや企業、開発者が利用できるようオープンソースとして提供される。 ## 約12兆トークンのコーパスでフルスクラッチ学習 LLM-jp-4シリーズは、既存モデルを微調整する方式ではなく、ゼロから学習を行うフルスクラッチ学習によって開発された。 事前学習では、日本語・英語・コードなどを含む大規模コーパスを使用し、合計で約10.5兆トークンを学習。指示学習などを含めると総量は約12兆トークン規模に達するという。 使用されたデータには、日本語Webデータや英語データ、プログラムコードなどが含まれている。 公開された主なモデルは以下の2種類。 **■ LLM-jp-4 8Bモデル** ・約86億パラメータ ・Llama系アーキテクチャをベース **■ LLM-jp-4 32B-A3Bモデル** ・約320億パラメータ ・MoE（Mixture of Experts）構造 ・128エキスパートのうち3.8Bパラメータが動的に使用される設計 MoE構造を採用することで、大規模モデルの性能を維持しながら計算効率を高めることを狙っている。 ## 日本語ベンチマークで高い性能 NIIが公開した評価結果では、日本語評価ベンチマーク「llm-jp-eval v2.1.3」において、LLM-jp-4シリーズは複数のタスクで高い性能を示した。 **LLM-jp-eval v2.1.3による日本語ベンチマーク評価** ![release_20260403_fig1-thumb-600xauto-16288.png] :::small 画像の出典：[国立情報学研究所]{target=“_blank”} ::: 特に32B-A3Bモデルは、対話能力を評価するMT-Benchなどの指標において、GPT-4oやQwen3-8Bを上回るスコアを記録したという。 ## 今後はさらに大規模モデルも NIIによると、今後はさらに大規模なモデルとして - LLM-jp-4 32B - LLM-jp-4 332B-A31B などの開発も進めており、2026年の公開を予定している。 日本語LLMの研究開発は近年、企業や大学を中心に活発化している。今回のLLM-jp-4の公開は、日本語に特化した大規模言語モデルの研究基盤を広げる取り組みの一つとなる。 :::box [関連記事：東大松尾研　フルスクラッチで開発したLLM「Tanuki-8×8B」を公開] ::: :::box [関連記事：NTT、次世代純国産LLM「tsuzumi 2」発表──フルスクラッチ設計でGPT-5級の日本語性能を軽量モデルで実現] ::: :::box [関連記事：オープンな学習データを使用し、NIIがフルスクラッチで開発　GPT-3級大規模言語モデル「LLM-jp-3 172B beta1」を公開] ::: :::box [関連記事：日本語対応LLM性能を可視化する「オープン日本語LLMリーダーボード」公開] ::: :::box [関連記事：国立情報学研究所、130億パラメータの国産大規模言語モデル「LLM-jp-13B」公開] :::