『有名人のことは詳しく、無名な人のことは知らない』で、LLMは大量の文章を「次の語を当てる」訓練の材料として食べていく、という話をしました。『言葉が数字になるまで』では、その副産物として単語同士の距離が学習される仕組みを見ました。
ここで、素朴な疑問が残ります。一語ずつの結びつきを数えているだけのはずなのに、なぜ長い文章の要約や、複雑な概念の説明までできてしまうのか。 単語の相性を積み上げた先に、なぜ「理解のようなもの」が生まれるのか。この記事は、その飛躍がどこで起きているのかを追います。
「将棋」の次は「打つ」ではない
具体例から始めます。「将棋を」の後に続きやすい動詞は「指す」で、「打つ」ではありません。逆に「碁を」の後は「打つ」が自然で、「指す」はまず使われません。
このルールを、誰も条文として教えていません。将棋の駒の動かし方も、対局のマナーも、モデルには与えられていない。あるのは「将棋を」の後にどんな語が続きやすいかという、大量の文章から数えた頻度だけです。それだけで、この使い分けは身につきます。
ここまでは、『文法を教わっていないのに、助詞を間違えない』や『クジラのほうが、人間より哺乳類だった』で扱った話の延長です。単語の相性——分布仮説——だけで、かなりのところまで説明が付きます。
だが、それだけでは足りない
ところが、実際にLLMにやらせていることは、この延長線では説明しきれません。
- 数千字の記事を読ませて、要約させる
- 何ページも前に登場した設定を、後の文で正しく踏まえて返す
- 「将棋」という語が一度も登場しない文脈でも、盤上の駒の位置関係のような、将棋というゲームそのものの状態を踏まえて会話を続ける
これらは、「直前の語と次の語の相性」を積み上げただけでは説明が付きません。『AttentionとTransformer』では、Attentionが離れた語同士——「彼」と「鈴木さん」——を結びつける仕組みをすでに見ました。ここでの疑問は、その仕組みを、1つの文どころか数千字の文書全体、あるいは一度も言及されない概念の全体像にまで広げたときも、同じ理屈で押し通せるのか、という点です。文章全体、あるいは会話の中で語られている状況そのものを、どこかに保持しているように見えます。単語同士の統計から、文書・状況の統計へ——ここに飛躍があります。
層を重ねるたびに、扱う範囲が広がる
飛躍の正体を追うには、『AttentionとTransformer』で書いた「層を何十も重ねる」という構造に戻る必要があります。その記事では、浅い層は表層的な関係を、深い層は意味的な関係を扱う傾向がある、と書きました。ここをもう少し具体的に測った研究があります。
TenneyらのBERTを対象にした論文は、こう報告しています。
“We find that the model represents the steps of the traditional NLP pipeline in an interpretable and localizable way, and that the regions responsible for each step appear in the expected sequence: POS tagging, parsing, NER, semantic roles, then coreference.”
（モデルは、従来のNLP処理の工程を、解釈可能かつ層ごとに局在した形で表現しており、各工程を担う領域は品詞タグ付け→構文解析→固有表現認識→意味役割→照応解析という、期待される順序どおりに現れる）
品詞タグ付けのような語1つの性質は浅い層で決まり、構文解析や意味役割づけのような1つの文全体にわたる構造は中間の層で処理される。そして照応解析——「この『彼』はどの文のどの人物を指すか」——のような文をまたいだ関係は、最も深い層で処理される。層を通るたびに、モデルが扱う範囲が、語から文へ、文から文書へと広がっていく、という順序です。
同論文はさらに、この順序が一方通行ではないとも述べています。
“Qualitative analysis reveals that the model can and often does adjust this pipeline dynamically, revising lower-level decisions on the basis of disambiguating information from higher-level representations.”
（定性的な分析からは、モデルがこの処理の流れを動的に調整できること——上位の情報をもとに、下位の判断を後から訂正すること——がしばしば起きているとわかる）
『構文木がベクトル空間の中から取り出せる』ことは既に見た通りですが、そこで扱っていたのは1つの文の中の係り受け構造でした。ここで分かるのは、その構文情報が土台になって、その上に文をまたぐ、一段広い範囲の情報が積み上がっていくという、層をまたいだ積み上げの構造です。「将棋を指す」という語のペアの相性は、この積み上げの、いちばん下の段にすぎません。
オセロの盤面を教えていないのに、モデルは盤面を持っていた
積み上げの果てに何が起きるのか。これを驚くほど分かりやすい形で見せた実験があります。
Kenneth Liらは、オセロの合法手の並びだけをGPT型のモデルに読ませました。ルールも、盤面の絵も、一切与えていません。やらせたのは「この対局の次の一手は何か」を当てさせる、それだけです。将棋の「指す」を当てさせるのと、原理としては同じ訓練です。
論文はこう述べています。
“Do these networks just memorize a collection of surface statistics, or do they rely on internal representations of the process that generates the sequences they see? … Although the network has no a priori knowledge of the game or its rules, we uncover evidence of an emergent nonlinear internal representation of the board state.”
（こうしたネットワークは表面的な統計の寄せ集めを覚えているだけなのか、それとも、目にした手順を生み出している過程そのものの内部表現に頼っているのか……ネットワークはゲームやルールについて事前知識を一切持たないにもかかわらず、盤面の状態を表す、創発的で非線形な内部表現の存在が確認された）
さらに、この内部表現は見かけ上そこにあるだけではなく、実際に使われていることも確かめられています。
“Interventional experiments indicate this representation can be used to control the output of the network and create ‘latent saliency maps’ that can help explain predictions in human terms.”
（介入実験からは、この表現を操作することでネットワークの出力を制御できるとわかり、また、予測を人間の言葉で説明する助けになる「潜在的な着眼マップ」の作成にも使える）
つまり、モデルの内部にある「盤面らしきもの」を人為的に書き換えると、その後に予測する一手も、書き換えた盤面に沿ったものに変わる。手の並びの統計を学んでいたはずが、気がつけば盤面そのものを内部に持っていた——これが、単語の相性の先で起きている飛躍の、いちばん直接的な証拠です。
実際のLLMにも、目に見えない状態の表現が見つかっている
オセロは合成タスクなので、「本物の言語モデルでも同じことが起きているのか」という疑問は残ります。ここに答える研究もあります。
GurneeとTegmarkは、Llama 2系のモデルの内部を調べ、地名・史実の人物・出来事といった実世界の話題について、こう報告しています。
“The capabilities of large language models (LLMs) have sparked debate over whether such systems just learn an enormous collection of superficial statistics or a set of more coherent and grounded representations that reflect the real world. We find evidence for the latter… We discover that LLMs learn linear representations of space and time across multiple scales… we identify individual ‘space neurons’ and ‘time neurons’ that reliably encode spatial and temporal coordinates.”
（LLMの能力については、こうしたシステムが表面的な統計の巨大な寄せ集めを学んでいるだけなのか、それとも現実世界を反映した、より一貫性のある・地に足の着いた表現の集合を学んでいるのかという論争がある。我々は後者を支持する証拠を見出した……LLMは複数の縮尺にまたがって、空間と時間の線形な表現を学習していることが分かった……空間座標・時間座標を確実にコード化する「空間ニューロン」「時間ニューロン」を個別に特定した）
地図や年表を直接与えられたわけではありません。あくまで文章の次の語を当てる訓練だけから、ここまでの表現が育っています。
Othello-GPTの盤面と、この空間・時間の座標は、成り立ち方が同じです。「次に何が来るか」を当て続けるという1本の訓練だけから、その予測に必要な、目に見えない状況そのものの表現が、副産物として立ち上がる。
将棋の例に戻る
ここまでを踏まえて、冒頭の「将棋を指す」に戻ります。
モデルの中で、「将棋を指す」は「将棋」の次に「指す」という語が来やすい、という孤立した1件の事実として覚えられているわけではありません。「将棋」という語は、駒・対局・棋士・盤・詰みといった、無数の語との相性によって取り囲まれ、その全体として、意味空間の中の1つの安定した位置に落ち着いています。『AttentionとTransformer』で見た層の積み重ねが、その位置を、文単位・段落単位・会話全体の単位へと繰り返し組み直していく。
一語ずつの相性を数える作業そのものは、『言葉が数字になるまで』で見た通り単純です。ですが、それを何十層も積み重ね、文脈全体に対して繰り返し適用すると、個々の単語の相性では説明できない、状況そのものの表現が組み上がる。Othello-GPTの盤面や、空間・時間ニューロンが示しているのは、要約や長文の読解そのものではなく、この「積み重ねが状況の表現を生む」という原理のほうです。ただ、原理が同じである以上、長い文章が理解できるように見えるのも、複雑な概念の説明ができるように見えるのも、同じ積み上げの延長で起きていると考えるのが自然です。
「理解」と呼んでよいのか
ここは慎重に書く必要があります。Othello-GPTの実験も、空間・時間ニューロンの実験も、「LLMが人間のように理解している」ことを証明したものではありません。 示されたのは、予測に必要な範囲で、状況を表す何らかの内部表現が形成されている、というところまでです。GurneeとTegmarkの論文自身が「表面的な統計か、地に足の着いた表現か」という論争の存在を先に断ったうえで、自分たちの結果を「後者を支持する証拠」と位置づけているのも、この問いがまだ決着していないからです。
それでも、『有名人のことは詳しく、無名な人のことは知らない』で見たように、この仕組みは万能ではありません。 学習データの中で頻度が足りない事柄については、同じ積み上げが起きないので、状況の表現も安定しません。「将棋を指す」のように大量に書かれてきたことほど土台が安定し、逆に頻度の乏しい事柄では、この記事で見た飛躍は起きにくい、ということになります。
まとめ
- 「将棋を指す・碁を打つ」のような1語ずつの相性は、分布仮説だけでほぼ説明が付く
- だが要約や長い文脈の維持は、単語同士の相性だけでは説明できない
- TenneyらのBERT研究によれば、層は品詞→構文→固有表現→意味役割→照応という順で、扱う範囲を語から文脈へと広げていく
- Othello-GPTの実験は、手の並びを当てる訓練だけから、盤面そのものを表す内部表現が創発することを、介入実験つきで示した
- GurneeとTegmarkの研究は、実際のLLMの内部にも空間・時間を表す線形な表現が見つかることを報告している
- 「将棋を指す」も、孤立した1件の事実というより、将棋という概念全体の安定した位置の一部として学習されていると考えられる
- ただし「理解している」と断定できる段階ではなく、頻度が足りない事柄には同じ飛躍は起きない
単語の相性を数えるという、いちばん下の層でやっていることは、驚くほど単純です。その単純な作業を、何十層、何万語ぶんも積み重ねた先に何が起きるかは、単純な作業からの類推だけでは見通せません。 そこにこの飛躍の面白さがあります。