16歳高校生ら、AIで作った「モーツァルトの新曲」披露。作曲は現存する手紙、ビルボード10年分のデータから

このエントリーをはてなブックマークに追加

2019年6月5日、「宣伝会議 インターネット・マーケティングフォーラム2019」において、AIでモーツァルトの新曲を生み出す「Project Z」の成果が披露されました。

日本HPの全面協力のもと、3人のクリエイターと18人の現役高校生たちが、AIをはじめとするテクノロジーを駆使し、現代にモーツァルトを蘇らせました

出来上がったのは「AIが作り出すモーツァルトの新曲」に最先端の映像やオーディオを融合させた作品です。

本稿では、プロジェクトに携わった高校生、クリエイターへの取材内容をお届けします。

AIが作った曲を8K映像とイマーシブオーディオで表現

イベントではクリエイターのほか、プロジェクトに参加した高校生のなかから代表者3名と日本HP マーケティング部 部長 甲斐博一氏 が登壇し、「Project Z」の内容と意義を語りました。

クリエイター

株式会社マリモレコーズ 代表取締役・音楽プロデューサー・作曲家 江夏 正晃
株式会社マリモレコーズ 専務取締役・映像作家 江夏 由洋
インタラクションデザイナー・映像演出家/VJ 中田 拓馬

高校生

開成高等学校 中澤 太良
広尾学園高等学校 村田 有生喜
広尾学園高等学校 森 彩花

冒頭、甲斐氏はプロジェクトに使用した3つのテクノロジーを紹介しました。

まず1つ目は、AI(人工知能)です。AIにモーツァルトの音楽を学習させ、「新曲」を作曲させるのが、本プロジェクトの目的のひとつです。

2つ目、8K映像とリアルタイムレンダリング。出来上がった楽曲に、超高精細映像である「8K映像」とリアルタイムで映像を生成していく「リアルタイムレンダリング」を組み合わせた映像表現を実現しています。

最後に、イマーシブオーディオです。縦・横・高さに音響機器を配置することで立体的なサウンドを実現する「イマーシブオーディオ」が採用されています。イマーシブオーディオは会場にて披露されました。

――甲斐
「『モーツァルトを現代に蘇らせたらどんな音楽を作るか』をイメージし、AIにモーツァルトの楽曲を何千回と学習させました」

完成したのは間違いなく“モーツァルト”のメロディーラインだった

前述の技術をコアにして実際に制作されたのが、こちらの『Ten Million Nights』です。

クラシック音楽界の巨匠である「モーツァルトの楽曲」としては、少々異なる趣向に仕上がっていると感じた方もいるでしょう。しかし、まさにこうした違和感を生じさせることこそがクリエイターたちの狙いだったと江夏氏は語りました。

――江夏由洋
「音楽を監修した兄(※江夏正晃氏)は、『特に最初のフレーズがリズム・音ともにモーツァルトだった』と評価しています。

現代音楽では聴けない、自分たちでは作り出せないメロディーラインでした。聴いた人がモーツァルトらしくないと感じるのであれば、それは歌も含めてモーツァルトを現代風にアレンジできているからで、むしろ私たちの狙いとしては大当たりです」

普段歌い慣れている現代の楽曲とメロディーが異なるため、シンガーも歌うのに苦労していたそう。

こうしたエピソードからも『Ten Million Nights』が、現代のポップスの曲では見られないメロディー、調の運びとなってることが伺えるでしょう。

モーツァルトを選んだのは「新しい表現」を見せるため

講演の後、クリエイターと高校生の方々にプロジェクトの道のりについてお話を聞きました。最初に尋ねたのは「音楽」というテーマを選んだ理由。

――なぜAIで作曲をすることにしたのでしょうか?

――中田
「芸術や音楽は、AIで先行事例がある分野です。全く違う分野に挑戦する話も出たのですが、今回は高校生が制作に関わる前提があり、かつ時間的制約もあるので難しいだろうという結論になりました。

そして音楽好きの高校生はたくさんいるはず、みんなが楽しめるものを作ろうと考え、『音楽』に落ち着きました」

モーツァルトの楽曲が対象になったのは、 「テクノロジーを見せつけるだけのプロジェクトでは意味がない」「クラシック音楽の時代まで遡り、現代の音楽の手法や楽器、テクノロジーまで立体的にストーリーをつないで、新しい表現をすることが大事」という共通認識があったからだそうです。

その結果、パブリックドメインであるモーツァルトの楽曲を扱うことになったのです。

「100曲のメロディーライン」から学習用データを作った

制作工程のうち、クリエイターたちが映像制作と音楽の監修を、高校生たちはメロディー制作の部分における「AIの学習データの収集および学習」を担当しました。

しかしプロジェクト開始当初、高校生たちは、

――中澤
「AIについてインターネットや本で調べたことがあるけれど、ほとんど知らない状態

だったと振り返ります。そうした状態から学習データを集めていく過程には、様々な苦労があったようです。

――村田
「学習データは、最初にいくつかモーツァルトのMIDIをいただき、くわえてインターネットからも素材をダウンロードしました。膨大な楽曲のなかからコンチェルトに絞り、主にメロディーラインを使いました。

データを入れ、AIに『次にどんな音が来るか』を予測させることでモーツァルトの曲ができあがるのですが、調を揃えないと曲がぐちゃぐちゃになってしまいます。

なので、100曲ほどのメロディーラインを抽出し、転調する(※曲中で調が変わる)ところを切ったりして80個ほどのストリーミングデータを作りました。非常に時間がかかり、泥臭い作業でした」

膨大な学習データが必要だったのはメロディーだけでなく歌詞についても同様でした。

――江夏由洋
歌詞の作成には現存するモーツァルトの手紙を利用しました。彼は奥さんや親戚にすごい量の手紙を書いていたんですね。手紙の内容が書かれた英語の本を入手し、写真で撮り、ドキュメントデータを抽出しました。

くわえてビルボード(※全米の音楽ヒットチャート)10年分の歌詞を抽出し、モーツァルトの癖と現代の世相も含めて学習させました。出力結果は、1万字ほどの文字列で、文法的にはめちゃくちゃでしたが、全く手を加えず私たちが『おもしろい』と思う文字列をピックアップしました」

「AIを引き受ける世代」がAIに触れる意義とは

プロジェクトを終えた高校生が揃えて口にしたのは、「案外、AIは期待に応えてくれない」ということ。

――中澤
「AIは予想よりも自分の思うように動かないものでした。モーツァルトの曲を生成するために作ったはずのAIでも、イメージ通りの出力結果がでないなど、すごく難しかったです。

実際に触れることで、AIはまだ発展途上であると分かりました」

一方で、苦労しつつも「音楽」というテーマに挑戦したことは、彼らにとって良い体験となったようです。

――森
「私は音楽とテクノロジーは相反するものと考えていました。ですが、プロジェクトを通じてその2つを融合させていくことで、徐々に面白さを感じるようになりました」

またクリエイターたちは、高校生たちがAIに対して持つ認識を次のように指摘しました。

――中田
「『AIは果たして道具なのか』という根本的な部分の考え方が私と違っていましたね。

たとえば『思った通りの楽曲ができないからAIは未成熟の分野』と中澤くんは言っていましたが、それはAIを道具としてのみ捉えたときに言える見解です。

AIにデータを与えてアウトプットが生成される過程は、人が先人の音楽に影響を受けながら自分たちの音楽を作り出す過程と似ています。これを考慮すると『AIを道具として捉えるのが本当に正しいのかどうか』という疑問が出てくる。

ここは今後AIとの付き合い方を考えていくうえで重要になるでしょう」

またクリエイターたちは、高校生たちが今、AIに触れたことは大変大きな意味を持つとも語っていました。

――中田
「今の高校生たちが、AIの社会実装を引き受けていく世代になるのだろうと思います。

AIが注目を浴びているのは、人材不足、人件費や海外への外注費の高騰といった問題をAIが解決してくれるんじゃないかという社会からの期待があるからです。

今のAIはまだ社会の課題を解決するためにしか向いていません。しかし、若い世代は社会をより楽しくする方向、それを実現するためにAIを使っていくのかなと」

――江夏正晃
「いつかAIなしでは生きていけない日が来ると思います。ただ、今のAIは『中学2年生』。やっとコーヒーを飲めるようになった、洋楽を聞き出したというような、とても生意気な存在です。

そんなAIとお友達になれたのが高校生の彼らだと思うのです。

社会の今後を考えたときに一番重要なのは、彼らが一番上手にAIと付き合っていくこと。今回HPさんが提供された最先端の環境は、その試金石となったはずです」

AIが実現するのは、「豊かに」というよりも「楽しい社会」であってほしい。それがクリエイターたちに共通する思いでした。未来を担う高校生たちが、今後AIを用いてイノベーティブな社会を実現することに期待が高まります。