5月9日（米現地時間）OpenAIが新たな研究結果を発表した。GPT-4を用いて大規模言語モデルのニューロンの動きを解析することで、以前は人間が手作業で行っていた分析作業を自動化するという。GPT-2のニューロンの動きをGPT-4でシミュレートし、その結果を実際の結果と比較して類似度を点数化することで、技術の有効性の評価や改善策の検討が可能となる。
言語モデルの解釈可能性を研究するアプローチは、まず個々のコンポーネント（ニューロンやアテンションヘッド）が何を行っているのかを理解することだという。これまで解析には人間が手作業でニューロンを検査し、どのようなデータ特徴を表現しているのかを解き明かす必要があった。しかし、数十億から数百億のパラメータを持つニューラルネットワークに対しては、このプロセスはスケールアップが難しいとされる。
そこで同社はGPT-4を使ってニューロンの動きの自然言語による解釈を生成し、評価する自動化プロセスを提案。これにより、他の言語モデル内のニューロンに対する解析が可能となる。この取り組みは、AI開発の進展に伴ってスケールアップする可能性もある。
発表論文より抜粋
この研究の一部として、同社はGPT-2の約30万個のニューロンの動きの説明文や評価スコアをまとめたデータセットを公開し、研究コミュニティがより良い分析技術やツールの開発に利用できるようにしている。この取り組みは、AIの挙動の理解と改善を一層推進する可能性があるという。
＞＞ニュースリリース
