NVIDIAのCEOの完全AI駆動型アバターであるToy Jensenが、ホリデーシーズンの中、人々の気分をさらに高揚させる歌を届けた。
若い歌手たちとのセレンディピティ
台北広場でオンラインパフォーマンス中だった2人の歌手Lah Yileh LeeとXinting Lee。そこを偶然通りがかったNVIDIAの創業者でCEOのJensen Huang氏が、Lady Gagaの “Always Remember Us This Way “をリクエストした。広場で2人が歌い上げる動画はすぐに拡散されたが、実はHuang氏が最初にリクエストした歌があり、その歌を知らなかった2人はその場でそのリクエストに応えることができなかった。
後日2人は、Huang氏がもともとリクエストしていた歌（Lady Gagaの “Hold My Hand “）を、続きの動画として投稿した。
NVIDIA Omniverse Avatar Cloud Engineを使用して作成されたToy Jensen
この出来事を受けてHuang氏は、彼のAIアバターであるToy Jensen（以降「TJ」）の助けを借りて、ホリデーシーズンをテーマにした遊び心あるアンサーソングを思いつく。
https://www.youtube.com/watch?v=5CX0OcclFvQ
NVIDIAのクリエイティブチームは、NVIDIA Omniverse Avatar Cloud Engine（ACE）プラットフォームの一部であるコアテクノロジーを紹介する技術デモであるTJによるホリデーパフォーマンスを迅速に開発した。
Omniverse ACEは、開発者が魅力的でインタラクティブなアバターを簡単に構築、カスタマイズ、展開するためのクラウドネイティブなAIマイクロサービスやワークフローの集合体である。
専門知識、専用機器、手作業による集約的なワークフローを必要とする現在のアバター開発とは異なり、Omniverse ACEはOmniverseプラットフォームとNVIDIAのUnified Compute Framework（UCF）の上に構築されており、最低限のコーディングで素早くAIパイプラインを作成、構成することができる。
これを実現するために、NVIDIAのチームは最近開発した音声変換モデルを使って、プロの歌手の声を提供されたサンプルから抽出し、何時間もの実録で訓練して開発されたTJの声に変換したという。そのサンプルの音符をTJのデジタル音声に適用し、オリジナルの歌手と同じ音符、同じリズムでアバターが歌えるようにできている。
NVIDIA Omniverse Generative AI – Audio2Face、Audio2Gestureが実現するリアルな表情と体の動き
NVIDIA Omniverse ACEとOmniverse Audio2Face、Audio2Gestureの技術を使って、TJの音声だけをもとに、アニメーションの演奏に合わせたリアルな表情や体の動きを生成。
パフォーマンスで紹介する技術の開発と微調整には数年が費やされたが、音楽トラックを洗練されたビデオに仕上げるには数時間しかかからなかったとOmniverse ACEの技術開発チームはいう。
NVIDIA Omniverse ACEは、早期アクセスパートナーに間もなく提供される予定とのことだ。
＞＞ニュースリリース
