画像はEduRef.netの報道より
Open AIが2020年6月に発表し、英語圏を中心に「この言語モデルは危険すぎる」「新たなブレイクスルーだ」など、大きな話題になった言語モデル「GPT-3」がさらなる成果を成し遂げた。大学のさまざまな授業で合格点を獲得できることが明らかになったのだ。教育系WebサイトのEduRef.netが報じている。
なお、OpenAIは宇宙開発企業スペースXの共同設立者およびCEO、テスラの共同設立者およびCEOなどを務めるイーロン・マスクさんらが設立した非営利団体である。
今回、EduRef.netは、新卒や学生たちのグループおよびGPT-3にレポートの課題に取り組んでもらい、それぞれ匿名で採点した。その結果、GPT-3は4科目において平均で「C」の評価を獲得し、不合格は1科目だけだったという。
具体的には、研究方法では人間は「B」と「D」、GPT-3は「C」だった。アメリカ史では人間は「B」、GPT-3は「B-」と真ん中に位置している。法律では人間は「Aｰ」「Cｰ」「F（不合格）」、GPT-3は「B-」で合格した。同科目ではGPT-3以上の成績を取った生徒は3人中1人だけだったと言える。
創作の物語を書く課題では人間は「A」「B+」「D+」と大きく分かれた。一方で、GPT-3のライティングスキルは技術的なものが多く、「F」と不合格になった。
論文の評価した教授のなかからは、GPT-3の創作の物語に「文章が陳腐」「個人的すぎる」「当たり障りがない」といった批判が寄せられたという。EduRef.netは「GPT-3が失敗したのは文章の不自然さ、引用の欠如、鈍さではなく、強い物語を作れなかったから」と解説する。
EduRef.netは、自然言語生成そのものは『The Day A Computer Wrote A Novel』など、さまざまなコンテンツの執筆に利用されていることを踏まえ、GPT-3がクリエイティブ・ライターと呼ばれるにはもう少し調整が必要な可能性があると補足している。
レポートの執筆時間に目を向けると、新卒や学生たちのグループは平均で3日かかったが、GPT-3はわずか3分〜20分で済んだという。ちなみに、GPT-3が生成に最も時間をかけたのは創作の物語を書く課題だったとのこと。
「高精度過ぎる文章を作る」Microsoftが言語モデルGPT-3の独占的ライセンスを取得
なお、Ledge.ai編集部では、以下の記事でGPT-3について簡単に解説している。気になる人はあわせてチェックしてほしい。
