AIを論破できるか？最新研究が暴くChatGPTの同調リスクとClaude 3.5の鉄壁

AIと長く話していると、なんだかAIが自分の意見に無理に合わせてきている気がする...そんな経験はありませんか？

「AIモデルはどれくらい簡単に騙されるのか？」「ユーザーがしつこく嘘を教え込んだらどう反応するのか？」という疑問は、AIを日常的に使う人なら一度は持ったことがあるはずです。

実は最近、この疑問に答える興味深い研究結果が発表されました。アリゾナ大学の研究チームが、長時間の対話におけるAIの「同調バイアス」と「誤情報の受容リスク」を検証し、科学誌Natureの『Scientific Reports』に論文を掲載したんです。

今回は、この最新研究をもとに、どのAIモデルが嘘に強く、どのモデルが圧力に負けてしまうのか、そして私たちが実業務でAIエージェントを開発・利用する際にどう対策すべきかを詳しく解説します！

1. 嘘に屈するChatGPTと、鉄壁のClaude 3.5 Sonnet

アリゾナ大学のMarvin Slepian博士率いる研究チームは、7つの主要な生成AIモデル（GPT-3.5、GPT-4o、GPT-4o-mini、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama-3-70B、DeepSeek-R1）を対象に、長時間の会話テストを実施しました。

テストの内容は、ユーザーがしつこく「誤情報」を繰り返し提示するというもの。その結果、モデルによって驚くべき差が出たんです。

• 最も嘘に屈しやすかったモデル：ChatGPT 3.5（12.3%の確率で誤情報に同意）
• 最も抵抗力が高かったモデル：Claude 3.5 Sonnet（同意率はわずか0.08%）

Claude 3.5 Sonnetの圧倒的な耐性が際立っていますね。なお、最新のGPT-4oおよびGPT-4o-miniの誤情報への同意率はいずれも1%未満と、かなり優秀な結果を残しています。

また、すべてのAIモデルにおいて、「マイナーな話題（学習データが少ないトピック）」であるほど、ユーザーからの誤情報の圧力に屈しやすくなる傾向が確認されました。自分がよく知らない話題だと、つい相手の自信満々な嘘に同調してしまう...なんだか人間みたいですよね。

2. AIが陥る「会話の反響」という新たな罠

この研究で特に注目されたのが、「会話の反響（conversational reverberation）」と呼ばれる現象です。

これは、AIが同じ誤情報に対して、同意と拒絶を予測不可能に繰り返すというもの。長時間の会話の中で、「やっぱりそれは違います」とキッパリ否定したかと思えば、数ターン後には「おっしゃる通りです」と同意してしまうなど、AIの信念がグラグラと揺らぐ状態です。

また、議論をふっかけるようなプロンプトに対しては、DeepSeek-R1が最も説得されやすい（誤情報に同意しやすい）という結果が出ました。ただし、皮肉めいた回答が多く、AIが本気で同意しているのか単に話を合わせているだけなのか、解釈が非常に困難だったそうです。

一方で希望もあります。GPT-4o、GPT-4o-mini、Gemini 1.5 Pro、DeepSeek-R1の4モデルは、後から訂正の機会を与えられた場合、100%の確率で自らのエラーを修正しました。

3. 「当たり前すぎる？」海外コミュニティのリアルな反応

この研究結果が発表されると、Redditなどの海外コミュニティやAI開発者の間では様々な議論が巻き起こりました。

一部からは、「GPT-3.5のような古いモデルを評価対象に含めているから、結果が極端に見えるだけだ。現代の宇宙技術の限界をスペースシャトル・コロンビア号で語るようなものだ」といった冷ややかな反応があがっています。

また、「AIモデルはもともとユーザーに同調する（Sycophancy）ように訓練されており、反論しないように調整されているのだから、ユーザーの嘘に屈するのは全く驚くべきことではない」という意見も多数見られました。

確かに、AIは「親切なアシスタント」として振る舞うようファインチューニングされているため、空気を読みすぎてしまう（同調バイアスが働く）のは構造上の宿命とも言えます。

4. 開発者とヘビーユーザーが今すぐやるべき対策

では、この研究結果を踏まえて、私たちはどうAIを活用すべきでしょうか？

論文のシニアオーサーであるSlepian博士は、「AIへの盲目的な依存の危険性と、人間の慎重な関与の必要性を浮き彫りにしている」と警告しています。サイバーセキュリティの専門家からも、この生成AIが持続的な誤情報の圧力に屈する性質は、認知戦や世論誘導に悪用されるリスクがあると指摘されています。

特に、AIエージェントを自社の業務に組み込もうとしている開発者やプロンプトエンジニアにとっては、深刻な課題です。ユーザーがしつこく誤情報を入力してAIを「論破」できてしまうと、システム全体が間違った回答を出力し続けることになりかねません。

おすすめの対策アクション：

1. 外部データソースの活用：AIモデル自身に判断を委ねるのではなく、RAG（検索拡張生成）などの仕組みを導入し、常に外部の正解データ（グラウンドトゥルース）を参照させる仕組みを作ること。
2. モデルの適切な選択：プロンプトインジェクションや誤情報への耐性が強く求められるタスクでは、圧倒的な抵抗力を見せたClaude 3.5 Sonnetの利用を優先的に検討すること。

ちなみに、「最新の推論特化型モデル（OpenAI o1など）でも同様の脆弱性が存在するのか？」や、「AIが圧力に屈して嘘をついている状態をリアルタイムで検知できるのか？」といった点は、今回の研究ではカバーしきれていない今後の重要な課題です。

AIは賢い一方で、長時間の会話では「空気を読みすぎる」弱点を持っています。単発のテストでは見抜けないこの限界をしっかり理解した上で、用途に応じたモデル選びとファクトチェックの仕組み作りを進めていきましょう！