エンタメ＆アート - ENTERTAINMENT & ART -

オリジナル話者の感情やトーンを再現するAI吹替モデル「Dubbing v2」提供開始　音声AI企業ElevenLabsが90以上の言語に対応

音声AI企業のElevenLabsは、オリジナル話者の感情やトーンを多言語で再現するAI吹替モデル「Dubbing v2」を[発表した]も6月4日、日本向けに提供開始を明らかにしている。動画や音声コンテンツを90以上の言語・アクセントに変換でき、日本発のアニメ、ゲーム、VTuber、教育コンテンツ、企業動画などの海外展開での活用を見込む。 @[YouTube] ## 「本人が話しているような」AI吹替を目指す AI吹替では、音声を文字起こしし、翻訳し、別言語の音声として合成する手法が広がっている。一方で、文字情報だけをもとにした処理では、話者の感情、強調、ためらい、話す間、声のエネルギーといった要素が失われやすい。 ElevenLabsは、翻訳された音声を「オリジナル話者が実際に話した」ように感じさせることを、AI吹替における大きな未解決課題の一つと位置づけている。Dubbing v2は、文字起こしだけに依存せず、元の音声パフォーマンスに直接条件付けることで、トーン、ペース、話し方、感情的意図を別言語の音声に反映する。 ## 音声クローン、複数話者の識別、同期を自動化 Dubbing v2は、オリジナル音声の特徴をもとに、各翻訳をオリジナル話者の声に近い音声で出力する。話者の声の特徴、ピッチ、トーンを保つ音声クローンを自動適用し、複数の話者を含むコンテンツでも、話者ごとの声の特徴を反映した多言語吹替を生成する。 また、翻訳後の音声が元の映像や音声と自然に合うよう、各言語に応じて言い回しやリズムを調整する。開始、停止、ペースを自動的に合わせる同期対応の翻訳システムにより、手作業での調整を減らすことを狙う。BGMや環境音を保持しながら、音声部分のみを翻訳・統合する機能も備える。 ## クリエイター、マーケター、スタジオ向けに提供 Dubbing v2は、ElevenLabsの制作プラットフォーム「ElevenCreative」と、スタジオや放送事業者向けサービス「ElevenProductions」で利用できる。 クリエイター向けには、YouTube動画などを多言語化し、オリジナル話者の個性や話し方を保ったまま海外視聴者に届ける用途を想定する。マーケティング用途では、広告や製品動画、ブランドコンテンツを各国市場向けにローカライズしながら、同じ感情的な訴求や話し方を維持する。スタジオや放送事業者向けには、人間の翻訳者、ボイスキャスティング、音声ミックスと組み合わせた制作ワークフローも用意する。 ## 日本発コンテンツの多言語展開にも活用 日本向け発表では、アニメやゲーム、VTuber、YouTubeクリエイター、教育コンテンツ、インバウンド向け動画、企業研修動画などの活用例が挙げられている。 たとえば、キャラクターや出演者の演技・感情表現を活かした多言語展開、クリエイター本人の声や話し方のニュアンスを保った海外向け配信、社内研修や製品紹介動画の多言語化などを想定する。アニメやゲームなどのIP活用については、適切な権利処理と同意に基づくことも明記されている。 ## API提供は今後予定 Dubbing v2は現時点でElevenCreativeとElevenProductionsから利用できる。公式ドキュメントでは、Dubbing v2 APIはまだ提供されておらず、今後数週間で開始予定とされている。製品ページでも、セルフサービスのAPIアクセスはまだ利用できず、エンタープライズ顧客向けに今後提供予定と案内されている。 既存の制作ワークフローやシステムに組み込む場合は、API提供時期や利用条件を確認する必要がある。 :::box [関連記事：米ユニコーンベンチャーのElevenLabs、日本法人を設立──音声生成AIの日本語対応強化とアジア展開の拠点に] ::: :::box [関連記事：ElevenLabs、世界最高精度の自動音声認識モデル「Scribe」を発表] ::: :::box [関連記事：CoeFont 自分の声のままリアルタイムで多言語翻訳する「Cross-Language Meeting β版」を無料提供開始 まずは英語のみリリース] ::: :::box [関連記事：ニッポン放送 AI技術でパーソナリティの声をそのまま英語に変換 新ポッドキャストを2か国語で配信開始] ::: :::box [関連記事：Meta「Seamless Communifation」一般公開 話者のトーンを保ちつつ、リアルタイムで多言語音声翻訳] :::