国立大学法人 東京大学大学院情報理工学系研究科は4月26日、同研究科に所属する塩原 楓大学院生と山崎 俊彦准教授が、与えられた動画像内の人物の顔がディープフェイクかどうかを判定するタスクにおいて、既存研究を大きく上回る性能を達成するディープフェイク検出AI（人工知能）を開発したことを発表した。
本研究成果は、6月19日〜24日に米国で開催されるコンピュータビジョンの分野で著名な国際会議「IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)」で発表される予定だ。
ディープフェイクは偽動画がフェイクニュースや犯罪に使われるなど悪用されるケースも多く、日本でも逮捕者を出すなど社会的な問題となっている。そのため、多くの機関がディープフェイク検出の研究に取り組んでいる。
ディープフェイク検出研究では、深層学習（ディープラーニング）ベースの検出器が高い性能を達成しているが、ディープフェイクの作り方は複数あり、多くの深層学習ベースの検出手法は訓練時に学習したタイプのフェイク画像・映像しか検出できない。それゆえ、検証時に入力されるディープフェイクの作成プロセスが少し異なるだけでも、検出性能が大きく低下する。
このような問題に対して、米マイクロソフト社の研究者は2020年のCVPRにて、ディープフェイク作成時に顔や背景を含む元画像と生成モデルで作った顔の合成画像に生じる、画像の不整合を再現した疑似フェイク画像を生成し、検出AIに学習させることで汎用的な検出AIの訓練を可能にした研究を発表した。しかし、圧縮率が高く画像が潰れているものや高露光・低露光下のフェイク画像に対しては検出精度が低下する問題があった。
今回、本研究グループはこれらの問題を解決するために、不整合が少ない疑似フェイク画像を生成する方法を提案した。提案された疑似フェイク画像で訓練した検出AIは、高圧縮率や高露光・低露光下のフェイク画像のわずかな偽造痕跡を見逃さずに高い確信度で検出できる。
前述のマイクロソフト社の手法では、似た顔の特徴をもつ2枚の異なる人物画像をブレンドして疑似的なフェイク画像を生成した。これらを検出AIに学習させる際に、画像の色情報や画質を考慮しないで2枚の画像を合成するため、検出しやすい疑似フェイク画像を生成していた。
これに対し本研究では、同一人物の画像の色や周波数成分、画像サイズをわずかに変更した2枚の画像をブレンドすることで生成できる疑似フェイク画像「Self-Blended Images （SBIs）」を提案した。SBIsはほぼ同一の画像をブレンドしているため、既存の疑似フェイク画像に比べて画像内の不整合が少なく、SBIsを用いて訓練された検出AIは実際のフェイク画像に対してもわずかな不整合でフェイクと判定できる。今回の提案手法は5種類の評価用のデータセットで実施した既存手法との比較評価において、4種類で世界最高性能を達成した。
今後、本研究グループはディープフェイクの脅威がさらに高まるという予想から、ディープフェイク画像における時間的な不整合にも着目し、より検出の精度を高めることを目指すとしている。
>>ニュースリリース
