学術＆研究 - ACADEMICS & STUDY -

オルツが数兆パラメータ規模の大規模言語モデル構築に着手

オルツは2024年4月26日、数兆パラメータ超規模の大規模言語モデル（LLM）の開発に着手したことを[発表]{target=“_blank”}した。同社の約10年間にわたる自然言語処理を含むAI技術の研究開発の集大成であり、ビジネスシーンや日常生活における実用的な応用を目指しているという。 オルツは、高いパフォーマンスを実現しつつも、スピードとコストの効率を重視したモデル開発を進めている。開発される言語モデルは、エンドユーザーが直面する具体的な問題解決を念頭に置いた設計が施されており、実運用時の計算効率とコストパフォーマンスに優れていることが求められる。 オルツの新LLMは、特に日本語処理の精度向上に特化しており、既存のモデルを超える使いやすさとカスタマイズ性の実現を目標にしているという。これには、高品質な学習データの確保と効率的なデータ管理が重要となり、エネルギー消費の観点からも、データセンターの地理的分散化やエッジコンピューティングの利用が進められている。 ### 技術革新に向けた多角的アプローチ オルツは、LLM開発を通じて以下のような技術革新を推進しているという - 学習データの大規模構築 - インストラクションデータの構築と自動化 - プロンプトエンジニアリングの自動化 - 既存モデルの改良を可能にする生涯学習の研究加速 - 軽量モデルによる大規模モデル同様の出力再現の研究加速 - LLM特化チップ（TPU, LPU, NPU）の研究開発 この取り組みを通じ、国内外のパートナーとの連携を積極的に推進し、グローバル市場での競争力を高めるとともに、日本発の技術革新を世界に示していく意向だという。 :::box [関連記事：オルツが環境負荷低減の軽量型LLM「LHTM-OPT」開発 日本語LLM最高性能を記録] ::: :::box [関連記事：オルツ　AIクローンの活躍に応じて社員に給与を追加支給、世界初の試み] :::