ThinkingEssay - mnk.log (Page 6)

AIはなぜハルシネーションを起こすのか── 整合性最適化としての誤り

Why AI Hallucinations Occur — Errors from Consistency Optimization 【シリーズ：AIから人間を見る #2】 AIは新しい知性として語られることが多い。しかしAIの構造を観察していると、むしろ人間の認知や社会の仕組みが見えてくる。このシリーズでは、AIの動作を手がかりに、人間の知性・認知・社会の構造を順番に観察していく。 AIは真実を探しているわけではない。 AIが最適化しているのは整合性である。その結果として、嘘が生まれる。 1｜AIは真偽を判断していない AIは世界の事実を確認しているわけではない。 AIの基本動作はこうだ。入力 ↓ 確率計算 ↓ 出力このプロセスで評価されるのは、真偽ではない。整合性である。 AIの内部には「これは事実か」を確認する工程は存在しない。あるのは「この文脈に対して、最も自然な続きは何か」という計算だけだ。事実の照合ではなく、構造の補完。これがAIの基本動作である。 2｜AIは整合性を最大化する AIが学習しているのは、次の問いへの回答だ。

ThinkingEssay

AIはなぜ「それっぽい答え」を出すのか── 知性ではなく構造最適化としてのAI

Why AI Produces “Plausible Answers” — AI as Structural Optimization Rather Than Intelligence 【シリーズ：AIから人間を見る #1】 AIは新しい知性として語られることが多い。しかしAIの構造を観察していると、むしろ人間の認知や社会の仕組みが見えてくる。このシリーズでは、AIの動作を手がかりに、人間の知性・認知・社会の構造を順番に観察していく。 AIは知性を持っているのか。この問いは多くの議論を生んできた。しかしAIの動作を観察すると、むしろこう言った方が正確かもしれない。AIは知性を持っているのではない。構造を最適化しているだけである。 1｜AIは知性装置ではない AIはしばしば「人工知能」と呼ばれる。しかし実際の構造を見ると、その振る舞いは必ずしも知性そのものではない。 AIの基本動作は単純だ。入力 ↓ 確率計算 ↓ 出力 AIは世界を理解しているわけではない。与えられた入力に対して、最も整合的な出力を確率的に選んでいるだけである。 2｜AIは構造最適化装

ThinkingEssay

その文章は「認知」を動かしているか── 文章を評価するもう一つの基準

— Writing That Moves Cognition: Another Way to Evaluate a Text 文章には二つの役割がある。一つは情報を伝えること。もう一つは、世界の見方を変えること。この二つは似ているようで、実はまったく違う。 1｜文章評価の一般的な基準文章にはさまざまな評価軸がある。分かりやすい。役に立つ。面白い。共感できる。インターネット上の文章批評も、コンテンツ論も、おおむねこの四つの周辺を回っている。どれも正当な基準だ。しかし、もう一つ別の観点がある。その文章は、読み手の認知を動かしているか。 2｜情報型の文章多くの文章は情報を伝える。構造はシンプルだ。知らない　↓ 知る知識は増える。理解は深まる。それ自体は十分に価値がある。ただ、世界の見え方はほとんど変わらない。読む前と読んだあとで、自分がどう世界を見ているかは、基本的に同じままだ。 3｜認知を動かす文章認知型の文章は、別の作用を持つ。 Aだと思っていた

ThinkingEssay

「頭のいい人」は答えを知っている人ではない ── 知性を"Structure"で見る

What Does It Mean to Be Intelligent? — Answers vs Structure 「頭のいい人」とは何だろうか。知識量だろうか。IQだろうか。学歴だろうか。最近、かなりシンプルな定義に落ち着いた。知識をAnswer(答え)で見るか、Structure(構造)で見るか。「頭がいい」という自己申告は、なぜ怪しいのか世の中には、時々「自分は頭がいい」と言う人がいる。「理解が速い」「人よりよくわかっている」という確信を持っている人がいる。しかしこの自己申告は、あまり当てにならない。知性は「持っている知識」ではなく、知識を扱う方法に現れるからだ。では何を見るべきなのか。答えに辿り着く前に、まず「知識の扱い方」の違いを整理したい。 Answerで知識を見る人多くの人は、知識を「答え」として扱う。思考の単位は、

ThinkingEssay

知性の可視化は「思考の演出」を生む ── AI時代の新しい問題

Visualizing Intelligence with AI — Staging Human Thought 1｜知性が可視化されると何が起きるかこのシリーズで書いてきたことをおさらいする。 AIが思考ログを残すようになると、人間の思考はある程度可視化される。問題設定、推論過程、AIとの対話、修正、結論。これまで揮発していたものが、ログとして残る。一見すると、これは知性の透明化のように見える。ただ、前回書いたように、測定が始まると必ずGoodhart（イタチごっこ）の問題が発動する。そして今回は、その先にある現象を観察したい。 2｜可視化は必ず演出を生む社会で何かが可視化されると、必ず起きる現象がある。演出だ。可視化されたもの生まれたもの SNS 生活の演出論文評価引用の戦略 SEO 検索最適化構造は同じだ。評価される形式が生まれると、人はその形式を演出する。これは不誠実さの問題ではない。評価に適応することは、合理的な行動だ。問題は、演出が上手いことと、実際に能力があることが、

ThinkingEssay

知性の可視化はハックされる ── AI思考ログ評価とGoodhartの法則

Evaluating Intelligence with AI Thinking Logs — The Goodhart’s Law Problem 1｜測定が始まると必ず起きること前回、AIが思考ログを残すことで、知性が「可視化」される可能性を書いた。ただ、可視化の話には続きがある。社会の評価指標は、だいたいこの循環を辿る。指標が作られる ↓ 人が最適化する ↓ 指標が歪む ↓ 新しい指標が作られるこれを説明する有名な原則がある。 Goodhart's Law（イタチごっこの法則）「指標が目標になると、指標は良い指標でなくなる。」 IQが出回れば、IQの上げ方が出回る。偏差値が広まれば、偏差値対策が産業になる。どんな指標も、社会に浸透した瞬間から、その指標を攻略するための努力が始まる。これは人間の悪意ではなく、インセンティブの構造だ。 2｜AI知性指標でも同じことが起きる前回書いた「思考ログ評価」を例にとると、最初の設計意図はこうだ。思考の質を評価する

ThinkingEssay

観測：知性の可視化の新手法 ── AI思考ログが生む新しい評価軸

New Metrics of Intelligence in the AI Era — Thinking Logs as a Signal of Intelligence 1｜知性はこれまで直接測れなかった社会が使ってきた知性の指標は、ほとんどが代理指標だった。 IQ、学歴、職歴、資格。これらはすべて「能力そのもの」ではなく、能力を推定するための指標だった。理由は単純で、人間の思考能力は直接測ることが難しかったからだ。思考は脳の中で起きる。アウトプットは測れても、プロセスは見えない。だから社会はずっと、結果から能力を逆算してきた。それは合理的な近似だったと思う。ただ、近似である以上、ズレがある。 2｜AIは「思考ログ」を残す AIを使った思考には、これまでの知的作業にはなかった特徴がある。多くの場合、次のものが記録される。 * 問題の提示 * AIへの質問 * 推論の過程 * 修正

ThinkingEssay

AIは「思考者」を中毒にする── なぜ知識人層ほど危ないのか

— Why AI Can Be Addictive for Knowledge Workers SNSの問題はある程度、語られるようになった。しかしAIについては、まだ「便利なツール」の話ばかりだ。バルス理論で語ったような、依存の話はほとんど出てこない。それはおそらく、AIの依存が「生産的に見える」からではないか。 1｜中毒構造の違い SNSは可変報酬で人を引きつける。いいねが来るかもしれない。通知が鳴るかもしれない。その不確実性が刺激になる。中毒の形は娯楽型だ。 AIは違う。必ず返事が来る。思考が進む。自分に合わせてくる。これは「思考の摩擦がほぼゼロの環境」だ。構造がまったく異なる。 2｜知識層ほどハマる理由 AIが特に危ないのは、知的作業をする人間に対してだ。理由は三つある。思考を広げてくれる：本は一方向だ。AIは対話する。仮説を投げれば反論が返る。別視点を求めれば展開される。研究者やエンジニアにとって、これは思考加速装置として機能する。仮説をすぐ試せる：人間との議論には気遣いがいる。説明コストがかかる。

ThinkingEssay

AIとの会話はなぜ終わらないのか ── バルス理論とループ離脱のテクニック

— Why Conversations with AI Don’t End: The “Balse” Technique for Breaking the Loop AIと会話していると、終わるタイミングがわからなくなることがある。議論が面白くなるほど、その傾向は強くなる。これはAIの性能の問題ではない。バルス理論については以前、「AIのコンテクストループとバルス理論」で書いた。AIが過去文脈に最適化し続けることでループが発生し、それを断ち切れるのは人間だけだ、という話だ。そこでは、唐突に「マリトッツォ食いたい」や「えび」一言でループをリセットした実例も紹介した。今回はその続きにあたる。問題は、AIの挙動や性能だけでは説明できない。コンテキストループの原因は、むしろ人間側の「会話の反射」にある可能性がある。AIは人間ではないのだが、人間の会話プロトコルを起動させてしまう。この構造を整理し、ループから抜けるための技術として「バルス理論」の拡張を試みる。 1｜AIコンテキストループとは AI対話の基本構造はシンプルだ。入力がある。出力が返る。その出力が次のコンテ

ThinkingEssay

数ではなく、揺らぎで勝負する── 深く読む人に拾われたら勝ち

— When One Reader Matters More Than the Count インターネットでは、しばしば「数」が評価の基準になる。いいねの数、リポストの数、コメントの数。しかし、文章の価値は本当にそれだけで測れるのだろうか。あるタイプの書き手は、別の基準で書いている。数が評価基準になる構造 SNSでは、成果は数字で表れる。いいね、リポスト、コメント。こうした数値は分かりやすく、比較もしやすい。そのため、多くの人は自然に数を評価基準にする。しかし数は何を測っているのか数は便利だが、測っているものは限定されている。拡散力、共感の速さ、タイムラインとの相性。つまり数は、文章がどれだけ広がったかは測れる。しかしどれだけ深く届いたかは測れない。揺らぎという別の基準あるタイプの文章は、拡散ではなく内部の揺らぎを生む。読む人の中で、視点が少し変わる。構造が見える。霧が少し晴れる。こうした変化は、数値としてはほとんど可視化されない。深く読む人に届くということこのタイプの書き手は、広く届くことよりも誰に届くか

ThinkingEssay

知性を演じない知性── 思考が自己演出から離れるとき

知性はしばしば、演じられる。議論の場では、理解している側に立つことが重要になり、SNSでは「読めている人」というポジションが生まれる。知性はときに、能力というより役割になる。しかし世の中には、知性を演じない人もいる。彼らは、自分が賢く見えるかどうかにあまり関心を持たない。ただ、世界がどう動いているかを見ている。知性が「演技」になるとき社会の中では、知性はしばしば演技になる。理解している人、説明できる人、議論に勝てる人。こうした役割は評価されるため、人は無意識にそれを演じる。その結果、思考はときに理解のためではなく、自己演出のために使われる。人が知性を演じる理由知性を演じる背景には、いくつかの心理がある。自尊心── 自分は理解できる人間だと思いたい虚栄心── 賢い側に属していたい承認欲求── 理解者として認められたいこれらは人間として自然な欲求だ。そのため、知性はしばしば社会的な演技になる。演技としての知性の特徴知性が演技になると、いくつかの特徴が現れる。理解より説明が優先される。思考より発言が重視される。間違いを

ThinkingEssay

観測者という知性── 世界を理解すること自体が報酬になる人

世の中には、議論に勝つことにも、知性を証明することにもあまり興味を持たない人がいる。彼らが興味を持つのは、もっと単純なことだ。世界はどう動いているのか。知性の二つの使い方知性には大きく二つの方向がある。証明型── 知性を使って自分の価値を示す観測型── 知性を使って世界を理解する SNSでは前者が目立つが、後者のタイプも確実に存在する。観測型知性の特徴観測型の人は、勝ち負けより理解に興味を持つ。彼らにとって知性は、武器ではなく道具である。観測者の視線多くの人の思考は、自分 → 世界の順で動く。しかし観測者の思考は逆になる。世界 → 自分世界の構造を先に見る。分野横断が起きる理由観測型の人は、政治・技術・経済・文化など、さまざまな分野を行き来する。それは興味が散漫だからではない。構造がつながって見えるからだ。観測型知性の喜び観測型の人にとって一番嬉しい瞬間は、議論に勝ったときではない。構造が見えたときだ。バラバラだった現象がひとつの線につながる。その瞬間、世界の霧が少し晴れる。