カテゴリ
エージェント
ステータス
稼働中技術スタック
モデル
議論させるとAIの推論は良くなるのか。この実験では、3体のLLMエージェントを構造化された複数ラウンドの討論で対戦させ、審判役のエージェントが主張を採点して結論をまとめる。対立を通じた論述が単一モデルの応答より推論の質を高めるのか、そしてClaude、GPT-4o、Geminiの推論能力がどう違うのかを検証した。
賛成派、反対派、あえて異を唱える役の3つの役割と審判を置く討論の枠組みを設計した。各討論は3ラウンドで、冒頭陳述、反論、最終弁論の順に進む。審判は各主張を論理(0〜10)、根拠の質(0〜10)、新規性(0〜5)で採点し、偏りのない結論へまとめる。倫理、技術政策、経営戦略にまたがる30のテーマで検証した。モデルと役割の組み合わせによる偏りを排除するため、各テーマを割り当てを変えて3回ずつ討論させた。
LangGraphがラウンド間の状態遷移を明示しながらマルチエージェントの討論を統括する。WebSocketで主張をリアルタイムにフロントエンドへ流す。Redisが討論の状態を保持し、中断からの復帰を可能にする。Next.jsが討論のUIを描画し、主張のストリーミングを表示する。
この実験から得られた、もっとも重要な知見です。
討論によって事実誤りが23%減る
モデルどうしが対立する立場で論じると、まとめられた結論に含まれる事実誤りは、同じ問いに単一モデルが答えた場合より23%少なくなった。対立するエージェントが根拠のない主張を積極的に突くためである。
Claudeは構造化された論述に強い
Claude Sonnetは論理の採点で一貫して最高(平均8.2/10)で、最も整った論述を出した。根拠の提示ではGPT-4oが最高(平均7.8/10)、新しい視点ではGeminiが際立った(平均3.9/5)。
あえて異を唱える役が要になる
この役を外して2体だけで討論させると、結論の質は18%落ちた。反対の立場を取り続ける役があることで、両者が普段なら触れない例外的な状況にも向き合うようになる。
3ラウンドがちょうど良い
2、3、5ラウンドで比べると、3ラウンドを超えたところで効果が薄れた。4〜5ラウンドは同じ主張の反復が増え、結論の質は変わらないままレイテンシが60%増えた。
LangGraphのステートマシンが討論の流れを管理する。テーマ設定 → 役割の割り当て → 第1ラウンド(冒頭陳述を並列で生成) → 審判の採点 → 第2ラウンド(相手の主張を踏まえた反論を順次) → 審判の採点 → 第3ラウンド(最終弁論) → 最終的な統合、という流れである。各遷移でトークンをWebSocket経由でフロントエンドへ流す。審判は特定のエージェントの枠組みに引きずられないよう、温度を高めた別のプロンプトを使う。
30のテーマで、討論を経た結論は単一モデルの応答より事実正確性で23%高い評価を得た(評価者5名による人手の判定)。討論1件の平均所要時間は3ラウンドで45秒。リアルタイムのストリーミングはトークンから画面まで200ms未満を維持した。モデルを混ぜた構成では、Claudeが論じ、GPT-4oが根拠を挙げ、Geminiが異を唱える組み合わせが最も質の高い結論を生んだ。
検証を進めるうえで解決が必要だった技術的な課題です。
反論で簡単に譲ってしまう
エージェントが相手の妥当な指摘をあっさり認めてしまい、討論が成立しないことがあった。「自分の立場を維持する」という指示をシステムプロンプトへ加え、審判の採点で譲歩を減点することで解決した。
3モデルのストリーミング調整
応答速度の異なる3つのLLMストリームが同時に流れると、描画が乱れた。100ms間隔でストリームをまとめて交互に流すトークンバッファを実装し、UIの更新を滑らかにした。