GPT-4が11万人超の実験データを的中、人間の予測者に匹敵する精度
AI（人工知能）は、実際に何万人もの人を集めなくても「人々がどう反応するか」を言い当てられるのでしょうか。米スタンフォード大学の研究チームが英科学誌Natureに発表した論文によると、GPT-4は70件・約11万9千人分の社会科学実験の結果を、人間の専門家集団による予測とほぼ同水準の精度で的中させたといいます。Nature本誌のほか、Stanford AI for Public Benefit LabやTech Xploreの報道もあわせ、研究の詳細と社会科学研究・政策評価への影響を読み解きます。
研究の概要 – 11万人規模のアーカイブでAIを試験
今回の論文は、スタンフォード大学のルーク・ヒューイット氏らのチームが、Natureに発表したものです。研究チームはまず、米国で実施された事前登録制（実験前に仮説と手法を公開し、後から都合よく結果を解釈できないようにする手法）の全国代表サンプル調査実験70件を集め、469件の実験効果・11万9330人分の回答データからなるアーカイブを構築しました。
その上で、GPT-4に「アメリカの代表的なサンプルであればこの刺激（実験で提示される文章や条件）にどう反応するか」を大量にシミュレーション（模擬生成）させ、条件間の回答差から処置効果（トリートメント・エフェクト、ある働きかけが人の意識や行動に与える影響の大きさ）を推定しました。人間を雇って行う本物のアンケート調査の代わりに、AIに「仮想の回答者」を演じさせた形です。
比較対象としては、同じ実験の結果を人間の専門家集団に予測してもらった「集合知」データも用意されており、AIの予測精度をこの人間予測と直接比べられる設計になっている点が今回の研究の特徴です。
驚きの的中率 – 未知の実験でも精度は落ちず
結果は研究者の予想を超えるものでした。GPT-4による予測は、実際の処置効果と相関係数r=0.85という強い相関を示し、人間の予測者集団に匹敵する的中率を記録しました。相関係数は1に近いほど「予測と実際の結果がぴったり一致する」ことを意味する指標です。
特に注目されるのは、GPT-4の学習データのカットオフ（収集の締め切り時期）よりも後に発表された未公開の研究に対しても、相関係数はむしろ0.90まで上昇した点です。これは、AIが単に「答えを丸暗記していた」のではなく、人間心理や社会的傾向についての一般的なパターンを学習し、それを応用して未知の状況を推論できていた可能性を示しています。ヒューイット氏自身も、学習データに含まれていない新しい実験でこそ精度が落ちると予想していたと述べており、この結果は研究チームにとっても意外なものでした。
さらに研究チームは、別の9件の大規模実験（346件の処置効果、10万5165人分のデータ）でも追加検証を行い、同様に高い精度を確認しています。属性別に見ても精度は比較的安定しており、以下のような結果が報告されました。
- 女性を対象とした実験効果の予測精度：r=0.80
- 男性を対象とした実験効果の予測精度：r=0.72
- 白人参加者を対象とした実験効果の予測精度：r=0.85
- 黒人参加者を対象とした実験効果の予測精度：r=0.62
人種間で精度に差が出ている点は見逃せません。黒人参加者に関する予測精度が相対的に低いことは、AIの学習データにおける人口集団ごとの代表性の偏りを映し出している可能性があり、今後の検証課題として残されています。
人間とAIの「二人三脚」が最強という結果
今回の研究でもう一つ興味深いのは、人間の予測とAIの予測を単純平均しただけで、どちらか単独よりもわずかに精度が向上したという発見です。つまりAIは人間の予測者を置き換える存在ではなく、組み合わせることで互いの弱点を補い合える「相棒」として機能する可能性が示されたことになります。
この結果は、社会科学の実験デザインに実務的な意味を持ちます。たとえば新しい政策や介入策を検討する際、これまでは小規模な予備調査やパイロット実験に時間とコストをかけて「効果がありそうか」を見極める必要がありました。AIによる高速シミュレーションをこのプロセスに組み込めれば、有望な仮説を効率よく絞り込み、本当に検証すべき実験に人的・金銭的リソースを集中させられるようになります。
一方で、スタンフォード大学とシカゴ大学の関連研究チームは、AIによる模擬回答には無視できない限界があるとも指摘しています。ニコール・マイスター氏らの分析によれば、AIの回答は人間の回答に比べてばらつきが不自然に狭く、画一的になりやすい「分布のゆがみ」が見られるといいます。また、AIが特定の社会集団をステレオタイプ的に描写してしまう偏り(バイアス)や、正確さよりも「望ましそうな答え」を返してしまう迎合性(サイコファンシー)も課題として挙げられています。
政策評価への応用と残された課題
研究チームは論文の中で、LLM（大規模言語モデル）が「科学と実務における実験手法を補強しうる」と結論づけつつも、「重要な限界と誤用のリスク」があることも強調しています。特に懸念されるのは、AIによるシミュレーション結果だけを根拠に、実際の人間による検証なしで政策判断が下されてしまう事態です。
ヒューイット氏は、現時点でのAIの最も有効な使い道は、人間による本実験を丸ごと代替することではなく、実験デザインの改善やアンケート文言の事前チェックにあると述べています。的外れな設問や効果が出にくい介入策を、コストのかかる本実験の前にAIでふるいにかけておく、という位置づけです。シカゴ大学のジェイシー・アンティス氏は、今後1年ほどの集中的な研究開発により、AIが抱える「異質さ」や汎化性能の問題にもかなりの改善が見込めると楽観的な見方を示しています。
もっとも、専門家の間でも「人間の被験者データは今後も研究の土台として不可欠」という点では意見が一致しています。AIによる予測はあくまで人間による実証研究を補完し、加速させるための道具であって、置き換えるものではないという慎重な姿勢が今のところの共通認識といえそうです。
補足情報
この研究は、スタンフォード大学の「AI for Public Benefit Lab」というAIの社会的活用を研究する組織のプロジェクトの一つとして行われました。研究チームはヒューイット氏のほか、アショウィニ・アショックマール氏、イザイアス・ゲザエ氏、ロブ・ウィラー氏の4人で構成されています。
なお、AIによる心理実験の再現性については他の研究チームからも報告があり、GPT-4は主効果（単純な要因の影響）の再現では高い成功率を示す一方、複数の要因が絡み合う交互作用効果の再現では精度が大きく落ちること、また人種やジェンダーなど社会的にセンシティブなテーマを扱う実験では再現率が低下する傾向があることも別途指摘されています。AIによるシミュレーションが万能ではないことを示す材料といえるでしょう。
まとめ
スタンフォード大学の研究チームは、GPT-4が11万人超の社会科学実験データを、人間の専門家並みの精度（r=0.85〜0.90）で予測できることを示しました。人間とAIの予測を組み合わせるとさらに精度が向上する点も注目される発見です。
一方で、人種間の精度差や回答の画一化といった課題も残されており、AIが人間の被験者を代替する段階には至っていません。今後はAIシミュレーションを実験設計の効率化ツールとして活用する動きが広がりつつ、政策判断の根拠として過信されないよう線引きの議論にも注目が集まりそうです。