エンジニアリング - ENGINEERING -

5〜7MBの軽量埋め込みAIモデル「Ternlight」が登場　訪問者のCPU上でセマンティック検索を実行

Webサイトに組み込める軽量の埋め込みモデルパッケージ「[Ternlight]」がGitHubで公開されている。モデル、トークナイザー、推論エンジンを1つのWebAssemblyファイルにまとめた構成で、サイズは5〜7MB。サイト訪問者のCPU上で動作するため、API呼び出しやGPUを使わずにセマンティック検索などを実装できる。ライセンスはMITで、npmから導入できる。 Ternlightは、GitHubユーザーのsoycaporal氏が公開しているプロジェクトだ。文章を384次元のベクトルに変換する「埋め込みモデル」を小型化し、Webサイトに同梱できるパッケージとして提供している。文章を生成するLLMではなく、入力されたテキスト同士の意味的な近さを比較するために使う。たとえば「パスワードをリセットしたい」と「パスワードを忘れた」のように、単語が一部異なっていても意味が近い文を探す用途に向いている。 ## 5MB版と7MB版を提供 GitHub上では、品質を重視した「@ternlight/base」と、速度・サイズを重視した「@ternlight/mini」の2種類が案内されている。baseはgzip後7.2MB、miniは同5.0MB。公式ベンチマークでは、baseは1件あたり約5.1ミリ秒、miniは約2.5ミリ秒で埋め込みを計算できると説明されている。 デモサイトでは、Reactの公式ドキュメント約2000件を対象にしたセマンティック検索が公開されており、入力に応じて関連ページが表示される。処理はすべて閲覧者の端末内で完結する。ブラウザのほか、Node.js、Cloudflare Workers、Deno、Bunなどの環境にも対応するという。 開発者は[Hacker News]上でも、Ternlightについて「LLMではなく埋め込みモデル」であり、テキストを384次元のベクトルに変換し、コサイン類似度で関連性を測るものだと説明している。 ## 技術の核心は「-1、0、+1」の三値重み 小型化の鍵は、モデルの重みを「-1、0、+1」の3値に制限する三値量子化にある。重みが3値であれば、推論時の計算を乗算ではなく加算と減算中心にできる。Ternlightの推論エンジンはRustで実装され、WebAssemblyにコンパイルされている。 Hugging Faceの[モデルカード]では、Ternlightは「sentence-transformers/all-MiniLM-L6-v2」から蒸留された、1.58-bit BitNet風の文埋め込みモデルと説明されている。学習後に重みを丸めるだけでなく、量子化を前提とした学習を取り入れている点も特徴だ。教師モデルとの順位相関を示すSpearmanは、baseで0.844とされている。 ## BitNet系の研究がブラウザ実装へ 三値化のアプローチは、Microsoft Researchなどの研究者が2024年に発表した「[BitNet b1.58]」の研究に基づく。Ternlightのドキュメントでも同論文が参照されており、参照実装「bitlinear」を学習パイプラインに利用している。 この系譜では、20億パラメータ規模の軽量LLM「[BitNet b1.58 2B4T]」も公開されている。LLMの軽量化に使われてきた三値化の考え方を、Ternlightは埋め込み生成に絞り、Webサイトに同梱できるサイズまで落とし込んだ試みといえる。 ## 現時点では英語・短文向け 一方で、用途には制約もある。Hugging Faceでは、Ternlightは短い文字列の意味類似、検索クエリ、意図分類、FAQ照合、商品タイトルやタグなどを想定していると説明されている。最大入力は128トークンで、長文理解には向かない。 また、現時点では英語向けのモデルであり、日本語などの非英語テキストは適切に扱えないと明記されている。日本語サイトの検索機能にそのまま使う用途には適さず、英語のドキュメントやFAQ、製品情報などを対象にした軽量なオンデバイス意味検索として見るのが妥当だ。 クラウド上の大規模モデルを呼び出すだけでなく、用途を絞った小型モデルをブラウザや端末側で動かす選択肢も広がりつつある。Ternlightは、その流れをWebサイト上のセマンティック検索に持ち込む試みといえる。 :::box [関連記事：Microsoftの研究チーム　1ビットLLMを発展させ、超軽量で高性能な「BitNet b1.58 2B4T」を発表] ::: :::box [関連記事：Google、次世代埋め込みモデル「Gemini Embedding 2」発表　テキスト、画像、動画、音声などを同一ベクトル空間で扱うマルチモーダル対応で検索・推薦を強化] ::: :::box [関連記事：「あの森のシーン」を言葉で探せる──ジブリ作品を“意味”で検索するAIサービス「Studio Ghibli Search」公開] ::: :::box [関連記事：Microsoft、小規模言語モデル「Mu」を発表──Windows 11設定エージェントを支えるオンデバイスSLM] :::