画像はUnsplashより
国立大学法人 東北大学は8月31日、記述式答案の採点を人間とAIが分担することで、自動採点の品質を適切にコントロールできるという研究結果を発表した。
背景
深層学習を用いた機械学習手法で、AIによる記述式答案の自動採点精度は向上しているという。一方で、学習データに存在しない未知の表現を含む答案を適切に採点することは依然として難しい。そのためAIの採点誤りへの懸念が自動採点の実用化に向けての大きな課題となっている。
採点フレームワークについて
この課題の解決に向けて、東北大学大学院 情報科学研究科／理化学研究所の舟山弘晃研究員（博士後期課程）らの研究グループは、採点品質を保証するために自動採点システムと人間が協調的に採点する採点フレームワークを構築した。
本フレームワークでは、採点AIによる採点結果の信頼性を表す尺度である確信度を活用し、人間の採点者とAIが採点タスクを分担することで、採点品質の保証を図ったという。
具体的な手続きとしては、少量の採点済み答案データをもとに確信度の下限を推定し、実際の自動採点の際に、確信度がその下限値を下回った場合には人間が再採点する。
研究の詳細
本研究では、国内と英語圏の記述式問題のデータセットを用いて、構築したフレームワークが実際の採点データ上で期待通りの効果を示すか確かめるためシミュレーションを実施し、その実現性を明らかにした。
加えて、人間の採点者間の採点結果の一致率が高い問題ほど、本フレームワークを適用することで、より高品質な採点を低コストで実現可能であることを明らかにした。
本研究で明らかになった知見をもとに、今後、自動採点の実用化がさらに進んでいくことが期待される。
＞＞ニュースリリース
