ソニーと日テレ、AIで特定の人物を切り出した映像を作成 最小限のスタッフでの作業を実現

このエントリーをはてなブックマークに追加

ソニービジネスソリューション株式会社(ソニービジネスソリューション)と日本テレビ放送網株式会社(日本テレビ)は3月19日、ソニーイメージングプロダクツ&ソリューションズ株式会社の技術協力のもと、人工知能(AI)技術を活用することで、特定の出演者のみを切り出した映像を自動的に作成できる「映像自動切り出しシステム」の実証実験を共同で実施したと発表。

本システムは、4Kカメラで撮影した映像から出演者の顔を認識し、骨格推定、人物認識、最適画角推定などのAI技術を活用することで、任意の画角のHD映像を自動的に切り出すというもの。専用のソフトウェアで制御し、タッチパネルモニターに表示された切り出し映像の中から使いたい映像をタップすることで、出力する映像を選択したり、切り出された映像の倍率を変更したりできる。

また、単独の出演者を切り出す「ワンショット」、複数人を同じ画角内で切り出す「グループショット」、ワンショットの組み合わせで構成する4画面などの「合成画面」など、ライブ用、編集用を問わず、番組制作に必要なバリエーションの切り出し映像を生成することも可能。

ソニービジネスソリューションと日本テレビは2019年5月から本システムの開発を進めてきた。2021年2月には日本テレビが運営するスポーツ専門チャンネル「日テレジータス」内の番組『徳光和夫の週刊ジャイアンツ』の収録で本システムの性能を検証した。

その結果、本システムでは撮影機材の削減と最小限の人数での作業を実現し、番組制作の効率化および撮影環境における人員の密集回避に貢献できることが見込めるとわかった。また、番組制作を支援するだけではなく、予算や人員の都合で対応が難しかった番組でも制作の自由度が広がるとうたう。

今後もソニービジネスソリューションと日本テレビは共同で、本システムの実証実験を継続する。人によるカメラワークでは不可能だった、新しい映像表現の可能性についても検証予定とのこと。なお、本実証実験で使用した技術の商品化およびサービス展開については検討中としている。

>>ニュースリリース

オンエア素材の人物チェックに顔認識。日テレ参院選報道の現場はAIでこう変わった

日本テレビはAIを活用し、さまざまな実証実験を実施している。

少し前の事例だが、2019年7月21日に地上波で放送した番組『NNN参院選特番 ZERO選挙2019』と『日テレNEWS24×参議院選挙2019』の裏でも、AIの顔認識技術を使った実験を実施。映像内の人物と名前の間違いによる誤報を防止するため、確認作業の工数を大きく削減したという。

Ledge.ai編集部では、本プロジェクトを指揮した日本テレビ放送網株式会社技術統括局の加藤大樹さんに話を聞いた。気になる人は以下の記事をチェックしてほしい。