DeNAが取り組むゲームAI ──「逆転オセロニア」のゲームバランス調整を裏側で支える技術

このエントリーをはてなブックマークに追加

今年7月、サイバーエージェント、DeNA、GMOインターネット、ミクシィが発足した「SHIBUYA BIT VALLEY(シブヤ・ビットバレー)」プロジェクト。

9月10日にはテックカンファレンス「BIT VALLEY 2018」が開催。サイバーエージェント藤田社長、DeNA南場社長、GMO熊谷社長の基調講演は、渋谷区のIT企業集積地としてのプレゼンス復興の象徴として、話題を呼びました。

カンファレンス当日はAI、ブロックチェーンなどの最新技術のセッションも開かれました。本記事ではDeNAのデータサイエンティストである田中一樹さんのセッション「深層学習や強化学習を用いたGame×AIの取り組み」をピックアップしてお届けします。

DeNAが提供するゲームアプリ「逆転オセロニア」のユーザー体験向上において、どのようにAIが使われているのかが語られました。

逆転オセロニア


オセロをベースとした対戦型ゲームアプリ。オセロのコマでキャラクターを召喚することで、さまざまなスキルを駆使して劣勢からでも逆転の可能性があるのが特徴。戦い方によってさまざまなバリエーションのデッキを組むことができる。

公式サイト
オセロ・Othelloは登録商標です。TM&Ⓒ Othello,Co. and Megahouse
© 2016 DeNA Co.,Ltd.

プレイヤーサポート・ゲームバランス調整にAIを使用

人気ゲーム「逆転オセロニア」の裏側にあるAI技術。はたしてどのように使われているのか? DeNAではプレイヤーのゲーム体験向上のため、2つの課題に対してAI技術を使用しているといいます。

田中 一樹 システム本部 AIシステム部AI研究開発第三グループ データサイエンティスト
2017年4月に新卒でDeNAに入社。現在はオセロニアの Game AI 開発に従事し、開発の全体設計や機械学習・強化学習アルゴリズムの研究開発を担っている。大学時代は電力に関する数理計画法を研究する傍ら、データ分析の大会に没頭し複数大会で入賞。Kaggle Master。
――田中
「ひとつはプレイヤーのサポートです。逆転オセロニアのプレイヤーに『楽しい』と思える領域にできるだけ早く到達してもらいたいと思っています。もうひとつはゲームバランスの調整で、ゲームプランナーの意思決定をサポートします」

プレイヤーサポートでは、

  • 人間が作るようなデッキを構築できる
  • 人間のように対戦ができる

ことが要件。プレイヤーがゲームに習熟するためには練習が必要なので、サポートコンテンツとして機能するようなAIがいると価値があります。

――田中
「ゲームバランスの調整も重要な役割です。

意図しないゲームバランスでは、ゲーム体験を毀損し大きな影響が出てしまいます。ゲームバランスを可視化することで、新キャラクターをプランナーの意図したバランスで出すなど、キャラクターの設計に役立てています」

プレイヤーが使用するデッキのデータや対戦データを学習させ、デッキのトレンドや、流行している戦略を分析。ゲームが崩壊しないようにバランスを保つ取り組みをしているそう。

対戦要素のあるトレーディングカードゲームなどでは、高スペックなキャラクターがひとつ出ただけで、ゲーム環境が一瞬で崩壊することがあります。ですから、こうしたモニタリングをもとにしたキャラクター設計はとても重要になってきます。

しかし、それを人手で調整するのは難易度が高く、作業にかかる時間は膨大に。AIで自動化するのはとても理にかなっています。

一緒に使うと強いキャラクターを定量判断・ゲーム環境のモニタリングも

田中さんによれば、現在チーム内で検証しているAI技術は以下の4つ。

  • デッキのアソシエーション分析
  • デッキのクラスター分析
  • ディープラーニングでの戦略学習
  • 強化学習での未知の戦略学習
――田中
「アソシエーション分析は、大規模なデータに存在する関係性を抽出する分析手法です。逆転オセロニアでいえば、キャラクターAを使った場合、キャラクターBを使う確率は何%かを分析しています」

キャラクター同士の関係性を分析することで、相性のいいキャラクターを見定め、定量的に「良いキャラクター」がわかる。これができれば、一緒に使うと強いキャラクターを定量的にレコメンドできます。

一緒に使うキャラクターは自分の好みや感覚で選びがち。定量的に分析してレコメンドできれば、意外な組み合わせも見つかりそうです。

加えて、デッキのクラスター分析にも取り組みます。クラスター分析とは、データの中から特徴的なパターンをグルーピングする手法。

――田中
「クラスター分析で、似ているデッキをひとつのグループにまとめることができます。実際には、こうしたデータをエクセルなどにまとめ、ゲームプランナーが解釈しやすいようにしています」

クラスター分析によって、ゲーム環境のモニタリングや、デッキ同士の相性のモニタリングが可能になったといいます。ゲームプランナーは、これらのデータを活かし、「このデッキに相性の良さそうなキャラクターを追加してみよう」などの判断ができるというわけです。

AI同士に対戦させ、より強い打ち手に

アルファ碁のような、逆転オセロニアを実際にプレイできるAIも開発中とのこと。

――田中
「盤面の情報を、特徴量と呼ばれる数字の入力信号に変換し、それをAIモデルに解釈させ、最適な打ち手を出力させます。

学習では、上位プレイヤーの打ち手を正解データとして使い、強いプレイヤーの立ち回りに近づくように何度も学習して微調整し、最終的なモデルを構築していきます」

逆転オセロニアには、クエストなどでプレイヤーと対戦するコンピューターがいます。開発中のAIは、それらのコンピューターに対してすでに90%以上の勝率を誇っており、熟練のゲームプランナーにも稀に勝つことがあるんだとか。AIと対戦する機能も現在研究開発中とのことで、こちらも楽しみです。

――田中
「また、一部には強化学習も使用しています。強化学習は、学習データがなくてもトライアンドエラーを繰り返し、強いモデルを獲得する手法。データがなくても済むので、データがまだ存在しない新キャラクターに対しても対応できるよう学習が進みます」

強化学習を用いてAI同士で対戦させ、対戦結果をフィードバックします。その勝ち負けをふまえ勝率が高くなるような選択を重ねていき、自分自身をチューニングした結果、徐々に強くなっているのも確認できているそう。

まさに逆転オセロニア版アルファ碁のようです……。このAIと対戦してみたい上位プレイヤーもいるのではないでしょうか。

活発化するゲーム×AI。タイトルごとの知識と技術を掛け合わせる

セッションの最後には、田中さんがDeNAでAI開発に携わる中で感じたことが話されました。

――田中
「逆転オセロニアを始めとしたゲームでのAI開発には、技術だけでなく、盤面のスキル状態など、タイトルごとのドメイン知識が必要になってきます。最新研究を実装するだけでもうまくいきません」

プレイヤーにとって本当に意味のある施策なのか、ユースケースを常に想定していると語る田中さん。そして、同時にそれが楽しいとも話されていました。

ゲームにAIを活用する取り組みは「ゲームAI」と呼ばれていますが、ラスボスがもしAIで、プレイヤーの動きを学習してより強くなっていくとしたら、それだけでワクワクします。

最近ではGame AI Communityも発足されるなど、ますます熱いゲーム×AI。今後の動きも注視していきます。