株式会社Z会は9月2日、東京大学特任講師の江間有沙氏による講義「私たちの鏡としての人工知能： We are What We Eat」を特設ページで公開した。
近年、議論されつつある「人工知能（AI）を用いた判断や評価が、人種的マイノリティや女性などのマイノリティへの差別や不平等を増長するのではないか」という懸念について、実際のケースやその原因を探っていくというもの。
なお、本講義は新型コロナウイルス感染症（COVID-19）の感染拡大の影響による中学生・高校生の状況を踏まえ、通常は受講会員のみが視聴できる「Z会Asteria総合探究講座オンライン講義ライブ配信」を無料公開した形になる。本講義の様子は公式サイトでも確認できる。
今回は、同講義で紹介された事例やその背景をレポートしたい。
AIがアフリカ系の再犯可能性を高いと判断した
アメリカのある州では、過去の犯罪データを照合し、犯罪者の再犯可能性を予測するシステムが導入された。本システムの判断にもとづき、裁判官が判決を下すという流れで利用されている。江間有沙氏によると、類似のシステムはアメリカではもちろん、ほかの国でも導入され始めているという。
このようなシステムが導入される背景としては、「新人の裁判官だと過去のデータから、再犯率を判断することが難しい」のはもちろん、「システムを利用することで、裁判官が例外の事例に目を配ったり、ほかの仕事に時間を割いたりできる」といったメリットも挙げられるとのこと。
ところが、アメリカの同州のシステムは、ただ便利かつ優秀とはいかず、コケージャン系（白人）よりも、アフリカ系（黒人）の人たちの再犯可能性のリスクが高いと判断すると明らかになった。「再犯率が高いと予想されたが、実際には再犯しなかった率」を人種別に見ると、白人は23.5％、アフリカ系は44.9％と、白人よりもアフリカ系のほうが再犯しない傾向があるにもかかわらずだ。
このシステムに対して、州の最高裁で本システムの利用が争われた。講義の冒頭で江間有沙氏は、視聴者に対して、このシステムは「A.合憲」だと思うか、「B.違憲」だと思うかを視聴者である中高生に問いかけた。
合憲と違憲両方の考えが紹介されたが、実際は本システムは「A.合憲」と判決が下された。ただし、裁判官は本システムの差別的な傾向について理解して使用し、あくまで参考の1つとして判断を下すといった注意書きが付いている。
AIによる差別は「人間社会の問題」を反映している
州最高裁による判決には釈然としない気持ちになる読者もいると思うが、そもそも、なぜAIがマイノリティを差別するような現象は起きるのだろうか？
江間有沙氏は、このような現象が起こる原因を「学習データの問題」「アルゴリズムの問題」「人間社会に存在する問題」の3つに整理している。
猫と犬を識別したいのに、鳥のデータしか入れない
1つ目学習データの問題は「簡単なイメージで言うと、このシステムで猫と犬を識別したいと思っているのに、たとえば、鳥のデータしか入れていなければ、まったく違う結果が出てきます」と江間有沙氏は説明する。
では、データを増やせば良いと考えるかもしれないが、簡単でもないという。なぜなら、希少疾患などデータが希少で手に入らなかったり、データの取得がプライバシーの問題などで困難な場合もあるからだ。
続けて、「人の判別や識別をしたいのであれば、大量の人のデータを入れなければいけません。しかし、作る側が自分たちのコミュニティからデータを集めてくると、自分たちのコミュニティにいない人のデータを入れようと思いつかなかい場合もあります」と話した。
仕組み自体がバイアスに染まっている可能性も
2つ目のアルゴリズムの問題は、システムの設計の手続きなどの背景が重要になる。江間有沙氏は「ざっくり言うと、データを食わせて、どのような判断をするのかという仕組みや設計自体がすでに特定のコミュニティを排除したり、差別的な判断をするように学習させてしまう場合があります」と語った。
AIは社会の差別や偏見を学習して再生産する
3つ目の人間社会に存在する問題については、人間社会にある「無意識の偏り」や「悪意のある差別」が悪影響を及ぼしているという。
江間有沙氏は「人工知能技術のうち、機械学習は統計学を基礎としています。そのため、過去と未来は変わらないといった前提で、認識や予測をしています。現在のわれわれの社会をベースに考えているので、私たちの社会がすでに持っている差別や偏見を、そのまま素直に学習して再生産してしまいます」と解説する。
採用で女性の評価が下がる「データが偏っていた」
われわれは小説や映画などの影響で「AIが勝手に暴走する」といったイメージを抱きがちだが、AIそのものが勝手に暴走するわけではなく、学習データやアルゴリズムだけではなく、AIが社会の差別や偏見そのものを反映してしまっているというのだ。具体的に、このような事例と原因を確認していこう。
たとえば、SNSのAIチャットボットが差別的な発言をするようになったため、システムが凍結された例がある。このような現象は「SNSユーザーが悪意を持って、差別的な発言を大量に学習させた」ことが原因として挙げられる。
海外では、顔認証システムにおいて、アフリカ系の女性の認証精度／正答率が低いため、アフリカ系の女性が誤認逮捕される危険性を踏まえ、警察などの公的機関での利用を制限した事例もある。このようなケースは「学習データに『アフリカ系の女性』のデータが少なかった」ことが原因と解説した。
会社などに導入される採用判定システムが「女子大卒業」「女子チェスチャンピオンの入賞者」など、女性に関する単語が含まれていると、評価が下がるため、システムの開発を断念した事例もある。このような現象は「男性が多い職種で、すでに雇用している人のデータを使ったこと」や、その背景として「そもそも、現実の技術コミュニティに女性が少ないこと」に起因すると説明している。
AIの驚異は「社会の歪み」を反映すること？
江間有沙氏は、AI技術は私たちの「社会の歪みを映し出す鏡」であると話す。一方で、バーチャル空間のほうが現実世界よりも歪みが激しい可能性もある。たとえば、検索エンジンで「社長」を画像検索すると、男性ばかりが映し出される。現実には、女性社長の割合は少しずつ上がってきて、2020年4月末には8％にまでなったにもかかわらずだ。
システムを設計するうえで、過去からのデータをそのまま踏襲していくのか、少なくとも現状にあわせていくのが良いのか、あるいは人種や性別の偏りをなるべくなくした理想にあわせるのか。江間有沙氏は「公平さとは何か？」とは難しい問題であるとしつつも、「あなたたちなら、どのようにするか？」と中高生たちに問いかけた。
2018年に東京医科大学などから明るみになった女性や浪人生を不利に扱う医学部不正入試問題や、アフリカ系アメリカ人のジョージ・フロイド氏の死亡事件などを発端とした「ブラック・ライヴズ・マター（Black Lives Matter、BLM）」などが象徴するように、現代社会はまだまだ多くの問題を抱えている。
AIが人間より賢い知能を生み出せる時点を指す「シンギュラリティ（技術的特異点）」論や、政府が国民に現金を定期的に支給する「ベーシックインカム」論など、AIには脅威論がつきものだ。しかし、AI技術の進展やそれにともなう社会変容以上に、AIが私たちが暮らす「社会の歪み」を反映してしまうことこそ、真の脅威と言えるかもしれない。
