コンテキストは事実を上書きする— Web参照型LLMの構造的弱点の実例
前文
前回の記事の執筆のために、Web参照型LLMであるPerplexity（ぱーぷん）で、
二郎系ラーメンのコール構文を調べていた。
その流れで、ふと「酪脂(らくし)って何？」とPerplexityに聞いた。酪脂は、バターを意味する漢語的表現である。
しかし、Perplexityの返答は、正解を当ててこなかった。
事例
回答はこうだった。
「酪脂」はおそらく「背脂」の聞き間違いやタイポで、二郎系ラーメンのコールで使われる「アブラ」のことです。
そして背脂に関するWeb記事が引用され、
役割やコール指定の解説が続いた。
同じ質問を新規チャットで投げると、
Perplexityは正しく
「酪脂＝バターの漢語的表現」と返してきた。
何が起きたのか
これは単純な誤情報ではない。
推論の流れを分解するとこうなる。
- 直前の文脈は「二郎系ラーメン」
- 未知語「酪脂」が出現
- 文脈内で意味を解決しようとする
- 「脂」という共通部分から「背脂」を仮定
- その仮定を補強するWeb情報を検索
- 「おそらく」と前置きして提示
重要なのは順序である。
検索が先ではなく、仮説が先に立っている。
その仮説に合う情報だけが拾われる。
Web参照型LLMの構造
PerplexityはWeb参照を強みとし、「事実ベース」を標榜する。
しかし実際の内部処理はこう動く。
- 文脈から意味候補を生成
- 候補に整合するWeb情報を探索
- 参照付きで出力
ここで問題になるのは、
文脈整合性が事実確率より優先されることがある点である。
今回の場合、
- 「酪脂＝バター」という辞書的事実
よりも - 「二郎文脈に合う脂＝背脂」という整合性
が優勢になった。
結果として、検索は誤りを補強した。
なぜ新規チャットでは正答したのか
文脈が消えた。
「酪脂」という語単体で扱われたため、
辞書的意味が最有力候補となった。
つまり、
LLMは世界を参照しているようで、
実際には“いまいる会話空間”を最優先している。
コンテキストは強い。
強すぎると、事実を上書きする。
後文
Perplexityは検索できる。
だが検索は、仮説の後に行われる。
Web参照型LLMだから安全、とは限らない。
事実はWebの中にある。
しかし意味は文脈の中で決まる。
そして時に、
Perplexityであっても
コンテキストが事実を塗り替える。
— 著：霧星礼知(min.k)／構造支援：ChatGPT GPT-5.2／AI-assisted / Structure observation