Studio Ousiaは2022年11月17日、同社の研究者が中心となって開発した高性能言語モデル「LUKE」の日本語モデルを訓練し、公開したことを発表した。
同モデルは、Tohoku BERTやWaseda RoBERTaをはじめとする既存の言語モデルを超える性能を獲得しているとのこと。
日本語LUKE baseモデルの評価結果
ベンチマークとの比較評価に使われる既存言語モデルは、JGLUE（Yahoo! Japanの開発した日本語自然言語理解のベンチマーク）に含まれるデータセット
JGLUEに含まれる一般的な自然言語処理タスクの他にも、LUKEの原著論文で良い性能を獲得した固有表現抽出、関係抽出、エンティティリンキング等においても良い性能が期待できるとのこと。
LUKEはHuggingfaceのクラウド上で公開されており、同社のTransformersライブラリから利用可能。
https://huggingface.co/studio-ousia
＞＞ニュースリリース
