東芝、性能と演算量を学習後に調整できるAI技術を開発 世界トップ級の分類性能か

このエントリーをはてなブックマークに追加

画像は開発の背景

株式会社東芝は8月20日、国立研究開発法人理化学研究所(理研)と共同で、学習済みのAI(人工知能)をできるだけ性能を落とさず、演算量が異なるさまざまなシステムに展開できる学習方法「スケーラブルAI」を開発したと発表した。

本技術を画像中の被写体分類に用いたところ、演算量を3分の1に削減した場合でも、分類精度の低下を従来のスケーラブルAIの3.9%から2.1%に抑えられた〔※1〕。世界トップレベルの分類性能を達成したとうたう。

〔※1〕公開データセットImageNet「DENG, Jia, et al. Imagenet: A large-scale hierarchical image database. In: 2009 IEEE conference on computer vision and pattern recognition. IEEE, 2009. p. 248-255.」を用いて実施(2021年1月)

近年、AIは音声認識や機械翻訳をはじめ、自動運転向けの画像認識まで、さまざまな用途で活用されている。同じ機能を持つAIでも、活用するシステムやサービスは多岐にわたる。たとえば、カメラ画像から人物を検出するAIは、スマートフォンやスタンドアローン型の監視カメラに加え、AGVなどで使用されている。利用するシステムごとにプロセッサの能力が異なり、AGVのように近くの人物との衝突を避けるために、高精度に位置を把握する必要があるものもある。

現状は人手で演算量と必要な精度とのバランスを試行錯誤しながら、システムごとにAIを一から開発・学習している。しかし、開発期間やコストがかかり、利用するシステムごとに異なるAIを開発し、管理が煩雑化するため、スケールメリットを出すことが困難という。利用するシステムの演算能力に応じて単一のAIを展開するスケーラブルAIの開発が始まっているが、もとのAIから演算量を落とすとAIの性能も落ちるという課題もあった。

スケーラブルAIの効果

東芝と理研はこのような課題を受けて、性能低下を抑え、演算量を調整可能なスケーラブルAI技術を開発した。独自のディープラーニング(深層学習)技術より、学習済みのAIが性能を維持しながらさまざまな処理能力のプロセッサで動作可能になり、利用用途の異なる多様なシステムに向けたAIの開発の効率化が期待される。

本技術は、もとになるフルサイズの深層ニューラルネットワーク(フルサイズDNN〔※2〕)において、各層の重みを表す行列を、なるべく誤差が出ないように近似した小さな行列に分解し、演算量を削減したコンパクトDNNを用いた。コンパクトDNNを作る際、従来技術は単純にすべての層で行列の一部を一律に削除して演算量を削減するが、本技術は重要な情報が多い層の行列をできるだけ残しながら演算量を削減することで、近似による誤差を低減できる。

〔※2〕ニューラルネットワーク(Neural Network:NN)は、脳の神経細胞の仕組みをコンピューター上で表現した数理モデルを指す。中間層が複数ある場合は深層ニューラルネットワーク(Deep Neural Network:DNN)と呼ぶ。

本技術の特徴

学習中は、さまざまな演算量の大きさにしたコンパクトDNNとフルサイズDNNからのそれぞれの出力値と、正解との差が小さくなるようにフルサイズDNNの重みを更新する。これにより、あらゆる演算量の大きさでバランスよく学習する効果が期待される。

学習後は、フルサイズDNNを各適用先で求められる演算量の大きさに近似して展開できる。学習を通して演算量と性能の対応関係が可視化され、適用先に必要な演算性能を見積もることも可能になり、適用先システムのプロセッサなどの選択が簡単になる。

一般画像の公開データを用いて、被写体に応じてデータを分類するタスクの精度を評価すると、本技術で学習したフルサイズDNNから演算量を2分の1、3分の1、4分の1に削減した場合、分類性能の低下率をそれぞれ1.1%(2.7%)、2.1%(3.9%)、3.3%(5.0%)〔※3〕に抑えられた。従来のスケーラブルAIとの比較において世界トップレベルの性能を達成したという。

〔※3〕( )内は従来手法の場合

東芝と理研は今後、本技術をハードウェアアーキテクチャに対して最適化することで、さまざまな組み込み機器やエッジデバイスへの適用を進め、実タスクでの有効性の検証を通して、2023年までの実用化を目指すとしている。

>>ニュースリリース