パナソニックは、スポーツ選手の競技能力向上、競技の魅力を引き出すスポーツ放映を目的に画像解析技術の研究開発を進めている。
「見えない情報を可視化する」を標榜し、画像解析で得られるさまざまな情報をスポーツ競技者、観戦者に還元している。
本記事では、企業研究所による合同研究発表カンファレンスCCSE（Conference on Computer Science for Enterprise）でのパナソニック田靡雅基氏による講演「画像センシング技術を活用したスポーツICTの取組み」で発表された、パナソニックで行われているスポーツ事業である、
- 競泳
- アメリカンフットボール
- バレーボール
の3種目での画像解析技術の活用事例を紹介する。
パナソニック（株） コネクティッドソリューションズ社 イノベーションセンター センシング事業統括部 ソリューション開発部 部長
競泳の順位とスピードを中継映像にリアルタイム表示
以下は競泳の世界大会で、実際に競技中の水泳選手の追跡を行った際の解析画面だ。プロジェクトはテレビ朝日と共同で進められた。
これまで競泳のテレビ中継では、「競技中の映像からだけでは、選手がどのレーンで泳いでいるのかがわかりづらい」「競技の途中では、選手のターンのタイミングしかタイムを計れず、リアルタイムな順位表示ができない」などの課題があった。
そのため、テレビで試合を見ている人に向け、試合状況がわかりやすく、かつリアルタイム性を感じさせる試合中継を行う必要があったという。
そこでパナソニックは、画像解析技術を用いた「競泳選手のトラッキングシステム」を開発。選手の肌の色や動きなどの情報を考慮することで、選手の位置を数値的に判断できるようになった。
レーンを縦方向に撮影した試合映像から選手位置を特定した結果。赤丸部分が選手位置、赤四角部分は選手情報を表示する箇所
「選手位置が特定できるようになったことで、スピードが測れるという大きなメリットが生まれました。中継映像に選手の速度を表示し、臨場感あふれる試合放映を可能になりました。過去には、2位につけていた選手のスピードが終盤に上がり、1位の選手を追い抜く場面を速度を見せながら実況でき、中継の盛り上げに役立った事例もあります」
アメフトの試合映像内のプレイ開始と終了を自動でタグ付け
続いて紹介されたのは、アメリカンフットボールの試合映像を解析し、プレーの開始と終了を自動でタグ付けすることを目標とした研究だ。
プレーの開始、停滞、終了をフレームごとに出力し、時系列的な情報を加味しながら、プレーのタグ付けを行う。
具体的には、試合映像においてDense Optical Flowを計算し、強度を時系列的に考慮することで、試合のタグ付けを行うことができる。
画像内に存在する物体の移動度を計算により導出する手法。画像間での物体の移動方向と距離を表現することができる。詳しくは下の動画の通り。
バレーボールではボールの速度推定と選手のプレー分類に画像解析を活用
最後に、バレーボールの試合映像で3次元的なボールの位置を検出した事例が発表された。
通常バレーボールの大会では、スムーズな試合進行のために複数のボールがコート外にストックされている。それらを排除するため、3次元的な位置関係を考慮している。
この事例では、コートの4隅に計4台のカメラを設置し、ボール位置の立体的な特定を行った。ボールの検出技術により、映像からサーブやスパイクの速度やボールの高度を割り出せるようになったという。
また、誰がどのようなプレイをしたか解析する「プレイ分類」のシステムにもこの検出技術が活用されている。映像の解析結果をもとに、選手の試合中のプレイを自動で分類するシステムだ。
上述したボール追跡技術に加え、選手検出、背番号認識を同時に行い、誰が何のプレーを行ったかのログを取得。これにより、試合で行われたプレイの統計的な情報を容易に収集でき、試合中のリアルタイムな戦術分析が可能になったという。
選手検出には、車載カメラや監視カメラから取得された画像から人物を検出する技術が活用されている。また、背番号認識には、空港のパスポート読み取りに用いられている技術を応用したもので、ユニフォーム上の不明瞭な文字でも認識できるという。いずれの技術も過去にパナソニック社内で開発され、選手検出、背番号認識に応用されている。
以上、パナソニックが注力するスポーツ3種目における画像解析技術の活用について述べたが、競技者、観戦者のそれぞれがその恩恵を受けていることがわかる。
普段何気なく見るスポーツ中継だが、それを支える基盤技術に着目してみるのも面白いかもしれない。
