ThinkingEssay
知性の可視化はハックされる ── AI思考ログ評価とGoodhartの法則
Evaluating Intelligence with AI Thinking Logs — The Goodhart’s Law Problem 1|測定が始まると必ず起きること 前回、AIが思考ログを残すことで、知性が「可視化」される可能性を書いた。 ただ、可視化の話には続きがある。 社会の評価指標は、だいたいこの循環を辿る。 指標が作られる ↓ 人が最適化する ↓ 指標が歪む ↓ 新しい指標が作られる これを説明する有名な原則がある。 Goodhart's Law(イタチごっこの法則) 「指標が目標になると、指標は良い指標でなくなる。」 IQが出回れば、IQの上げ方が出回る。偏差値が広まれば、偏差値対策が産業になる。どんな指標も、社会に浸透した瞬間から、その指標を攻略するための努力が始まる。 これは人間の悪意ではなく、インセンティブの構造だ。 2|AI知性指標でも同じことが起きる 前回書いた「思考ログ評価」を例にとると、最初の設計意図はこうだ。 思考の質を評価する