学術＆研究
AIが互いに教え合い連携して学習するオープンソースLLM「WizardLM-2」を開発者が公開 Microsoftからの発表は「待った」
2024年4月15日、AIがお互いに教え合うことで連携して学習する新たなオープンソースの大規模言語モデル「WizardLM-2」を[公開]{target=“_blank”}されている。発表当初は、HggingFaceのMicrosoftコレクションからアクセス可能だったが、数日後削除された。開発者によると、発表前に必要であった毒性テスト（toxicity testing）のプロセスが抜けていたとのことで、近日中に再リリースの予定であるとのこと。 ![wizardlm ai.jpg] :::small 画像の出典：[開発者のX（旧Twitter）アカウントより]{target=“_blank”} ::: ### モデルの特徴と開発背景 [GitHubに公開中]{target=“_blank”}の情報によると「WizardLM-2」は、Microsoftが新たに開発した大規模言語モデルで、8x22B、70B、7Bの3つのバリエーションが含まれている。これらのモデルは、「AI Align AI」（AAA）というフレームワークを通じて互いに教え合うことで、連携して学習する能力を持っている。この技術により、モデルは独自にデータを生成し、それを利用してさらに学習を進めることができるため、連続的かつ効率的な学習プロセスが実現されるという。 ### 性能と評価 同モデルは、複雑な対話、多言語処理、高度な推論タスクにおいて顕著な性能を発揮してるという。特に「WizardLM-2 8x22B」は、オープンソースモデルの中で最も高い性能を持つと評価されており、人間によるブラインドテストや、複数のベンチマークテストにより、プロプライエタリモデルと競合するレベルにあるとのこと。 ![GLN3Z_xawAALilm.jpg] :::small 画像の出典：[GitHub「WizardLM 2」]{target=“_blank”} ::: :::box [関連記事：コーディング特化のAI「WizardCoder 34B」ChatGPT上回る成績 Code Llama強化し達成] ::: :::box [関連記事：Microsoftが新たな小規模言語モデル「Phi-3」を発表 ― 「Tiny but Mighty」―オフラインでも動作するモデルがアプリケーション開発を強力に支援] :::
スパコン「富岳」を用いた国産大規模言語モデル「Fugaku-LLM」を公開--東工大・富士通など
AIでネコを幸せに？ 英ノッティンガム大学の研究「Cat Royale（キャット・ロワイヤル）」が複数の国際賞を受賞
Google DeepMind AIタンパク質予測ツール「AlphaFold 3」を発表、AI創薬への応用に期待
NVIDIA LLMベースの sim-to-real アプローチ「DrEureka」で、ロボット犬に玉乗りを教えるーシミュレーションから実世界への移行にかかる煩雑なプロセスを大幅に削減
MITがDALL-E3など拡散モデルの処理性能を30倍にする研究を発表 分布マッチング蒸留（DMD）で品質も担保
ホロラボ・西松建設、ドローンの空撮映像にARを組み合わせた施工支援技術を開発
ブリヂストンの社内ベンチャーがゴム人工筋肉によるやわらかいロボット「Morph」の体験コーナーを設置 5/17から
佐川グローバルロジスティクスがエピソテックと共同開発のAR技術を活用した物流オペレーションの実証実験を実施
OpenAI LLMのセキュリティ強化に向けた新たなフレームワーク「The Instruction Hierarchy」を発表
「LLMは著作権を侵害せずトレーニング可能」仏AIスタートアップ主導プロジェクト「Common Corpus」公開
リアル動画をインタラクティブな3Dゲーム環境に変換するAI「Video2Game」仮想環境を自動生成しコストダウンする新たなアプローチ
オルツが数兆パラメータ規模の大規模言語モデル構築に着手
