AI×HoloLensで製造現場の課題解決に取り組む。MR(Mixed Reality)がもたらす変革の最前線

このエントリーをはてなブックマークに追加

5月29、30日にかけて行われた日本マイクロソフト主催のエンジニア向けテックカンファレンスde:code 2019で、HoloLens 2(ホロレンズ 2)の年内国内発売が発表された。

そんななか、KPMGコンサルティングはいち早く複合現実(Mixed Reality:MR)の可能性に着目し、Microsoft HoloLens(以下 HoloLens)を活用したソリューション「Holographic Manufacturing」を開発したと言う。「Holographic Manufacturing」をはじめとしたAI(人工知能)とMR技術の融合について、KPMGコンサルティングのシニアマネジャーのヒョン バロ氏に話を伺った。

製造現場でHoloLensを導入。両手を解放し、ベテラン作業員のナレッジを活かす

KPMGコンサルティングの製造業企業向けソリューション「Holographic Manufacturing」は、国内大手製造企業の製造現場で試験導入が進められている。その現場の1つが造船だ。

船舶の製造現場では、部品点数は数万点から数百万点にのぼり、ベテラン作業員といえどもすべての部品を把握することは難しい。ましてや、経験の浅い作業員では都度、それぞれがどのような部品なのかは紙の仕様書で確認する必要がある。

そのため、作業者のわからない部品は「仕様書を調べる」という作業は必須だ。つまり、両手での作業が必須な現場で作業を中断したうえで、ページをめくるという作業が入ることになる。

また、多くの製造業企業において、熟練作業員が長年の経験で培ったノウハウはアニュアル化されておらず、将来ベテラン作業員の退職に伴ってナレッジが継承されないという課題がある。

バロ氏によると、こうした製造現場の課題に対してAI(人工知能)とMR技術の親和性は非常に高いという。

――バロ
「製造現場において、部品を仕様書で確認する作業は非効率です。作業を中断して仕様書を確認する時間を合算すると、結構な時間になるんですね。

この課題に対して弊社は、AI(人工知能)でアプローチしました。まず部品1つ1つを画像認識でAIに学習させ、さらに部品ごとに仕様書と同様の関連情報を付与しました。

そして、このアプローチへの親和性がもっとも高かったのが、スマホやタブレットのように片手がふさがるデバイスではなく、ヘッドマウントディスプレイ(HDMI)のHoloLens(ホロレンズ)だったのです」

HoloLens(ホロレンズ)と部品情報を学習したAI(人工知能)を組み合わせることで作業者の両手を解放した。これまで識別が困難だった微妙な部品の違いも、画像認識技術によって高精度で識別できる。

作業者がHoloLensに装着されているカメラで部品を撮影すると、部品の関連情報がHoloLens(ホロレンズ)の画面上に表示される。作業が直感的に行えるだけでなく、部品の取り違えなどの作業ミスやそれによる手戻りも防げる

また、経験の浅い作業員が関連情報だけではわからないことやベテラン作業員のアドバイスを受けたければ、HoloLens(ホロレンズ)のビデオ会議機能を使い、部品の画像を見ながら別の場所にいるベテラン作業員と会話することもできる。

――バロ
「仕様書を確認したり、熟練技術者に問い合わせたりする時間の短縮が期待できます。

これは企業規模でみると、非常に大きなインパクトがあります。

たとえば、とある製造企業における試験導入では、一部の作業工程においてこのソリューションで90%の部品識別精度を達成し、作業時間も短縮できました。今後、対象の作業を拡げることで、全体の製造過程の作業効率の向上が期待できます」

現実世界とデジタル(仮想)世界を融合するMRの大きな利点は、その直感性と両手が使えること。

ユーザーニーズはあるのか。AI×HoloLensの生み出すシナジー

―― 現場の声はどうでしょうか?

――バロ
「現場のほとんどの作業員はもちろんHoloLens(ホロレンズ)に触るのがはじめてです。もはやアベンジャーズの世界ですよね(笑)使用回数を重ねて徐々に慣れていく感じでした。HoloLens(ホロレンズ)はシースルーレンズであるため、ある程度の危険が伴う現場でも問題なく使えます。

ただ、現状ではデバイスが重くて大きいため長時間使えないのが難点です。将来デバイスの小型軽量化に期待します」

使用者の声を聞くと、やはり最初は戸惑うことも多いようだ。しかし、テクノロジーとは遠く無縁な人でもすぐに慣れて使いこなせるところがHoloLens(ホロレンズ)のデバイスとしての革新的なところだろう。

さらにバロ氏は、AI(人工知能)とMRは組み合わせることでより一層大きな価値を生み出すという。

――バロ
「AI(人工知能)とMR、どちらも将来の基幹技術になることでしょう。両者は組み合わせることによってシナジーを生み出します。

たとえば、HoloLens(ホロレンズ)は人の目線から画像データを撮影できます。ユーザー目線の主観データが取得可能ということです。ゆくゆくは音声/動画データ位置情報などリアルな生のデータが取得できます。

リアルなデータが蓄積され学習が進むと、製造現場でのMR活用は作業者にとって熟練した職人が隣で教えてくれている感覚により近づきます」

KPMGコンサルティングの展望。人とAIのマリアージュ

――今後の展望を教えてください。

――バロ
「スマートグラスも続々販売され、MRはこれからますます伸びていく市場です。現状はB to B市場が活発ですね。デバイスが高額なため適正価格になるまで消費者へはなかなか浸透していきづらいと考えています。

いずれはB to Cの市場も視野に入ってくると思いますが、まずは1つでも多くB to B市場でユースケース作っていきたいと考えています」

――バロ
「KPMGコンサルティングが提供するソリューションにおけるコアバリューはバックエンドのアルゴリズムと画像認識。アルゴリズムは独自に開発しています。これを製造業をはじめとするあらゆる産業に広げていきたい。

私たちのアルゴリズムを、HoloLens(ホロレンズ)というデバイスと掛け合わせてヒトとAI(人工知能)のマリアージュを実現していきます」

KPMGコンサルティングが取り組んでいるのは、ハードウェアではなく、ソフトウェアだ。これから世界規模で巻き起こるだろうヘッドマウントディスプレイやMR技術の興隆に大きく寄与する取り組みになりそうだ。

その先に、ヒトとAI(人工知能)のマリアージュした世界がある。AI(人工知能)が人間の作業をすべて代替することなく、AI(人工知能)と人間が相互補完し合うような関係を目指すというのがこの構想だ。

この先MR技術はAI(人工知能)と人間が歩み寄るきっかけをつくり、互いの距離を縮める手助けをしてくれるのかもしれない。