『LLMは日本語を単語に割っていない』で、LLMは日本語を単語に割っていないことを見ました。「有名人には」は「有・名・人・には」になる。文法の切れ目とは一致しません。
にもかかわらず、助詞はまず間違えません。「が」と「は」の使い分けも、格の扱いも、だいたい合っている。 では文法は、どこにあるのでしょうか。
規則としては、どこにもない
先に答えを書くと、明示的な文法規則としては、モデルの中のどこにも存在しません。 「格助詞の一覧」も「『詳しい』は対象格を取る」という記述も、部品として含まれてはいません。
あるのは、有名人のことは詳しくの記事に書いたのとまったく同じ構図です。次の語を当てる訓練を繰り返した副産物として、重みの中に暗黙的に沈んでいる。 「歴史に詳しい」という並びが大量に登場し、「歴史を詳しい」がほとんど登場しなければ、その差はそのまま重みに刻まれます。誰も規則として教えていません。
「暗黙的に含まれている」は、測れる
これは比喩ではなく、実際に取り出せることが示されています。
HewittとManningのA Structural Probe for Finding Syntax in Word Representations（2019年）は、モデル内部のベクトル空間に対して、ある線形変換をかけると、2語間の距離が構文木の上での距離になる——そういう変換が実在することを示しました。構文解析を一度も教えていないモデルの中に、構文木が、取り出せる形で埋まっているわけです。
「構文木」は、文中の単語がどれにかかっているか（係り受け）を木の形で表したものです。たとえば「猫が魚を食べた」なら、述語の「食べた」が根にあたり、「猫が」と「魚を」はどちらもそこにつながります。木の上での距離は枝を何本たどるかで数え、「猫」から「食べた」までは1本、「猫」から「魚」までは「食べた」を経由するので2本です。
「線形変換」は、数値を縦横に並べた表（行列）を掛けて、ベクトルを別のベクトルに移す操作です。モデルの内部では、各単語は数百次元の数値の並び（ベクトル）で表されています。掛ける前のベクトル同士の距離（ふつうのユークリッド距離）を測っても、この木の距離とは一致しません。この論文が示したのは、そのベクトルに1つの行列を掛けてから距離を測ると、木の上で数えた枝の本数と一致する、という点です。行列を掛けるだけの単純な操作で木の構造が引き出せる場所に、すでに情報が入っていたことになります。
順番としては、用語なしの文法が先にあって、「与格」「対象格」といった名前は後から学習データ経由で付いてきた、ということになります。文法用語に詳しいのは、言語学の教科書や論文が学習データに含まれていたからで、固有名詞に詳しいのと同じ理屈です。
日本語の文法能力についての測定
日本語の文法能力そのものを測る物差しもあります。JBLiMP（2023年）は、理論言語学の論文から抜き出した容認性判断をもとに、1文字だけ違うような最小対を331組、11分野ぶん用意したデータセットです。どちらが自然な日本語かをモデルに選ばせます。
論文の時点での結果は、人間が90.9%、評価されたモデル群が76%前後でした。ただしこれは2023年にGPT-2などを対象に測った数字で、現行のモデルの成績ではありません。 押さえておきたいのは点数そのものではなく、「なんとなく自然」を人間と比べられる形に落とす試みが、日本語でも成立しているという事実のほうです。
「違和感」は、あるのか
ここから先は、母語話者の「違和感」に相当するものがLLMの内部にもあるのか、という問いです。外から見えるのは出力される確率分布までで、その内側で実際に何が起きているかまでは分かりません。 以下は、その外から見える範囲の話として読んでください。
母語話者が覚える違和感は、少なくとも見かけの上では、複数の読みが同時に立ち上がって競合している状態です。椅子が2つ空く話がまさにそれで、「有名人に」の時点でどちらの読みか決まらないから、引っかかる。
LLMの側に離散的（0か1かのように、はっきり分かれた値）な「変だ」というフラグはありません。 あるのは次のトークンの確率分布という連続量（滑らかにつながった値）だけです。ただし分布にも「候補が拮抗する」という状態はあります。形としては似ている、とは言えそうです。
問題はその先です。その拮抗に、自分で気づけるのか。
内省は、あるにはあるが当てにならない
ここについては、Anthropicが2025年10月に公開したEmergent Introspective Awareness in Large Language Modelsという研究があります。特定の概念を表す活動パターンをモデルの内部に直接注入し、それをモデル自身が言い当てられるかを調べたものです。
報告されている結果は、こうです。
- 注入された概念に気づけたのは、最良の条件でClaude Opus 4 / 4.1が約20%
- 内部に注入された「思考」と、実際に入力されたテキストとを区別できた
- ただし「きわめて不安定で、内省の失敗のほうが常態である」と明記されている
つまり、内省の芽はある。しかし当てにできる水準ではありません。 「いま自分の中で読みが割れています」と自発的に申告する、という使い方ができる段階ではない、ということです。
だから、文章を出力してみて、読んだ人に指摘されて初めて問題として立ち上がります。 椅子が2つ空く話のもとになった案件も、そうやって見つかりました。
まとめ
- 文法は規則としては含まれていない。次の語を当てる訓練の副産物として重みに沈んでいる
- それは比喩ではなく、内部の表現から構文木が取り出せることが実験で示されている
- 文法用語に詳しいのは、言語学の文献が学習データにあったから。用語なしの文法のほうが先にある
- 日本語の「なんとなく自然」も、最小対という形で測る試みがある
- 母語話者の違和感に当たるものは、分布の拮抗として形は似ている。ただし自分でそれに気づく能力は、あっても不安定
書かれた日本語が自然かどうかの最終判定は、いまのところ読む人の側にあります。 そして「一瞬引っかかる」という判定は、引っかかった当人にしか下せません。