有名人のことは詳しく、無名な人のことは知らない——LLMの「知っている」の正体

言葉が数字になるまでで、「言葉は意味空間の座標に変換される」という話をしました。この記事は、そこから浮かんだ疑問への回答です。

ベクトル化すれば、勝手に知識になるのか。 特定のWebサービスの仕様のような細かい話まで知っているのは、そのおかげなのか。固有名詞、とりわけ人名はキリがないはずなのに、最近のLLMは有名人にかなり詳しい。世の中の個別情報を、どこまで学習させているのか。そして「70億パラメータ」「1兆パラメータ」という数字は、具体的に何を指しているのか。

順に見ていきます。まず最初の疑問には、軽い訂正から始めます。

第1部：知識は「ベクトル化」でできているのか

主語は、埋め込みだけではない

『言葉が数字になるまで』で扱ったベクトルは、正確には単語1つを表す埋め込みでした。「犬」や「猫」がどこに位置するか、という話です。

固有名詞の知識やWebサービスの仕様のような、もっと込み入った事実がどこに蓄えられているかというと——埋め込みそのものではありません。 モデルには埋め込み以外にも、AttentionとTransformerで書いたような層が何十も積み重なっており、そこにある無数の重み（『言葉が数字になるまで』で言う「つまみ」）が、もう一段複雑な役割を担っています。

事実の対応関係がどこに蓄積されるかを調べた研究があります。Mengらの論文は、「エッフェル塔はパリにある」のような事実の対応が、中間層のフィードフォワード層に蓄積されていることを、実際にそこを書き換える実験で示しました。特定の層の特定の重みを操作すると、「エッフェル塔はローマにある」と答えるように改変できてしまう、というものです。ただし、この局在化がどこまで正確に成り立つかは、後続の研究でも議論が続いている領域だと申し添えておきます。

つまり、ベクトル（埋め込み）は入り口に過ぎず、知識の大部分は、その先にある膨大な層の重みに刻まれている、というのが実態に近い理解です。

とはいえ、原理は同じ

ただし、これはその記事の話をひっくり返すものではありません。「次の語を当てて、外れた分だけ重みを動かす」という学習の原理は、埋め込みだろうと深い層の重みだろうと、まったく同じです。

特定のWebサービスの仕様書がWeb上に公開されていて、その説明がブログや質問サイト、チュートリアルに繰り返し引用されていれば、それも「次の語を当てる」訓練の材料になります。「このAPIは◯◯というパラメータを取る」という文が学習データに大量に登場すれば、その規則性も、文法や「犬と猫が近い」という規則性とまったく同じように、重みに刻まれていきます。

誰かが「このサービスの仕様を覚えなさい」と特別に教え込んでいるわけではありません。 Web上に十分な量、書かれていたから、副産物として身についただけです。ここはその記事の核心——「関連性は教えられたものではなく、予測をうまくやろうとした副産物」——と、まったく同じ構図です。

第2部：固有名詞は、どこまで・どうやって覚えるのか

覚える量を決めているのは「登場した回数」

ここが本題です。世の中には無限に近い固有名詞があります。それを、どこまで学習させるかを、誰かが決めているわけではありません。 モデルが学習に使うのは基本的に「集められるだけ集めた」Web・書籍・コードなどの巨大なテキストで、ある固有名詞がどれだけ強く記憶されるかは、その語が学習データの中に何回登場したかでほぼ決まります。

これを直接調べた研究がQuantifying Memorization Across Neural Language Modelsです。この論文が扱っているのは、訓練データの一部をそのまま逐語的に出力してしまう現象で、それがどれだけ起きやすいかはモデルの大きさ・学習データの中でその文字列が重複していた回数・プロンプトとして与える文脈の長さ、この3つが増えるほど強くなる、と結論づけています。

これは「一言一句を丸暗記するかどうか」の話であって、「有名人についての一般的な事実を知っているかどうか」とは、厳密には別の現象です。とはいえ、同じ人物について独立したページが何度も、それぞれ違う言い回しで書いている状況は、同じ内容が形を変えて繰り返し登場しているという点で、重複の一種と見なせます。有名人が詳しく記憶されている背景には、同じ理屈が働いていると考えるのが自然です。ニュース記事、Wikipedia、ファンサイト、SNSの投稿——同じ人物についての言及が、無数のページに繰り返し登場します。だから強く刻まれる。

逆に無名な個人については、言及がほぼゼロか、あってもごく少数のページに限られます。回数が足りなければ、重みへの刻み込みも弱い。 これが「有名人のことは詳しく、無名な人のことは知らない」の正体です。特別な線引きがあるわけではなく、Web上の言及頻度が、そのまま記憶の強さになだらかに反映されているだけです。

「知らない」はブレーキ、詳しさは頻度——2つは別の話

ハルシネーションの記事で、モデルには「知らない」と答える既定のブレーキがあり、「既知の実体」という特徴が働いたときだけそのブレーキが外れる、という仕組みを紹介しました。

この2つの記事を重ねると、こう理解できます。そのブレーキを外す「既知の実体」特徴が形成されるかどうかも、結局は学習データにどれだけ登場したかに左右されているはずです。十分な頻度で登場する実体には「知っている」の特徴が育ち、ほとんど登場しない実体には育たない。

厄介なのは、そのブレーキが正しく働くとは限らないことです。名前に見覚えがあるだけで中身をほとんど知らない場合、ブレーキが誤って外れ、もっともらしい中身をでっち上げてしまう——これがハルシネーションの主な発生源でした。つまり「頻度が足りている・足りていない」のちょうど境目にいる固有名詞が、いちばん危険域ということになります。

なぜ「2年前よりマシになった」のか

ここは実感の通りです。理由はおそらく1つではなく、いくつか重なっています。

• 学習データの絶対量が増えた。 たとえばLlama 3は15兆トークンで学習されたと公式に説明されています。データが増えれば、同じ固有名詞が登場する回数も増え、記憶が強くなる語の裾野が広がります
• モデル自体が大きくなった。 先の記憶に関する研究の通り、モデルの容量が大きいほど記憶は強く残ります
• 「知らない」と言わせる調整が改良された。 ハルシネーションの記事に書いた既定のブレーキは、事後学習でどれだけ丁寧に鍛えるかによって効きが変わります
• 調べに行けるようになった。 検索を使えるエージェントは、記憶に頼らずその場で調べに行けます。これは記憶そのものの改善ではなく、ハルシネーションの記事で書いた「確かめる手段を持っている」という、別の武器の話です

どれも「無限にある固有名詞を、もれなく覚えられるようになった」わけではありません。 データが増え、裾野が広がっただけで、長い尻尾（ロングテール）自体は今も残り続けています。学習データにほとんど登場しない固有名詞は、これからもハルシネーションの温床であり続けます。

第3部：「何十億」「何兆」は、何を指しているのか

最後に、数字そのものの話です。

正体は「ファイルに並んだ数字」

「7Bモデル」「175Bパラメータ」のように表現される数字は、パラメータの個数を指しています。B（billion、10億）やT（trillion、1兆）は単位で、「7B」なら70億個です。

では、その70億個とは何が70億個あるのか。ただの数字です。 0.0731 とか -1.28 とか、そういう数が、モデルのファイルの中に延々と並んでいる。それだけです。

これは比喩ではありません。 後で実測を示しますが、5億個のモデルはファイルにして約500MBで、数字1個あたりちょうど1バイト——文字1つぶんの場所を占めています。モデルの中身は、本当に数字の羅列です。

『言葉が数字になるまで』では、この数字を「回されるつまみ」と呼びました。学習の最中を言い表すにはよい比喩です——外した分だけ、全部を正解の方向へほんの少し動かす。ただし3つの点で実物とは違うので、注意が要ります。

• 回す人はいません。 訓練の計算が、外れ具合に応じて自動で動かします
• 1つ1つに役割はありません。 音量つまみのように担当が決まっているわけではなく、意味は無数の数字に散らばっています。1個だけ取り出しても、何も意味しません
• 使うときには触れません。 学習が終わった時点で値は固定され、あとは読み出すだけです

なお B・T と 億・兆は、そのままでは対応しません。 英語は3桁ごと（thousand・million・billion）、日本語は4桁ごと（万・億・兆）に区切るためで、原理的に揃いません。覚えるのは2つだけです——Bは数字を10倍して「億」（7B→70億、175B→1,750億）、Tはそのまま「兆」（1.6T→1.6兆）。

公開されている実例を並べると、感覚がつかめます。

ちなみに、現行の最先端モデル（GPT-4以降やClaudeなど）は、正確なパラメータ数を公表していません。世に出回っている「何兆パラメータ」という数字の多くは非公式な推測です。確度をもって分かっているのは、公表実績のある少し前の世代のモデルの数字、というのが実情です。

小さい側の目盛り——手元のファイルの大きさで測る

上の表は桁が大きすぎて、かえって感覚が持てないかもしれません。「5億パラメータのモデルは小さい」と言われても、小さいのかどうか判断がつかない。

そこで、手元のパソコンに実際に落として、ファイルの大きさを測りました。

目安は「1パラメータ＝約1バイト」です。 5億なら約500MB、15億なら約1.5GB。写真1枚が数MB、映画1本が数GBというあたりと並べると、文章を書くLLMは「映画1本ぶんのファイル」あたりから始まることになります。

逆算もできます。MiniLMは圧縮していない状態で449MBあり、この形式は1パラメータ4バイトなので、449÷4で約1.1億。圧縮版の113MBを1バイトで割っても、同じく約1.1億になります。ファイルの大きさから、つまみの数が読み取れるわけです。

いちばん上の表に戻ると、GPT-3の1,750億はこの目安で175GBにあたります（実際のファイルは公開されていないので、あくまで計算上の数字です）。ノートパソコンには載りません。

ただしこの目安が使えるのは、圧縮のしかたが分かっているときだけです。上のgemma4は80億パラメータで9.6GBありますが、この形式（Q4_K_M）は1パラメータあたり0.5バイトほどなので、計算上は4〜5GBのはず。倍近くあります。このモデルは文章だけでなく画像や音声も扱うので、その部分が上乗せされていると考えられますが、内訳は確認していません。

パラメータ数と、もう1つの巨大な数字を混同しない

もう1つ、紛らわしい巨大な数字があります。学習に使ったトークンの量です。先ほどのLlama 3の「15兆トークン」がそれです。こちらはデータの量であって、モデルの重みの個数（パラメータ数）とは別物です。

この2つがどういう関係にあるべきかを調べた研究がChinchilla論文です。この論文は、モデルの大きさを2倍にするなら、学習データの量も2倍にすべきだと結論づけています。当時の多くの大規模モデルは、パラメータ数のわりに学習データが少なく、「宝の持ち腐れ」状態（undertrained）にあったと指摘されています。

これは第2部の話ともつながります。数字の個数が多くても、それを動かす回数（データの量）が足りなければ、宿る知識は増えません。 パラメータ数だけを見て「賢さ」や「物知りの度合い」を語るのは、片手落ちということになります。

データの量のほうも、冊数に直すと見当がつきます。 日本語の散文をトークンに割ると、1文字あたり0.83トークンでした（GPT-4oのトークナイザで、小説の地の文と説明文あわせて276文字を実測）。単行本1冊を10万字とすれば、1冊がおよそ8万3千トークンです。

Llama 3の15兆トークンをこれで割ると——約1.8億冊。1日1冊読んでも50万年かかる量を、1つのモデルが通り抜けたことになります。

2つの数字は、こう切り分けられます。

片方は道具の大きさ、もう片方は経験の量です。どちらも「何十億」「何兆」と書かれるので混ざりますが、単位を変えれば別のものだと分かります。

まとめ

• 知識は埋め込み（単語ベクトル）だけでなく、その先にある何十層もの重みに刻まれる。ある研究によれば、固有名詞のような事実の対応は主に中間層のフィードフォワード層に蓄積される
• 学習の原理は、文法だろうと固有名詞だろうとすべて「次の語を当てて、外れた分だけ重みを動かす」の1本。特別に教え込む工程はない
• どの固有名詞をどこまで覚えるかは、学習データの中に登場した回数でほぼ決まる。有名人が詳しいのは、Web上に何度も書かれているから
• ハルシネーションの「知らないと言うブレーキ」も、結局は頻度に左右される。頻度が中途半端な固有名詞がいちばん危険
• 最近のモデルが強くなったのは、データ量の増加・モデルの大型化・事後学習の改良・検索という別の武器が重なった結果。ロングテールがなくなったわけではない
• パラメータ数はファイルの大きさに、トークン数は冊数に直すと実感が持てる。5億パラメータ＝約500MB、15兆トークン＝約1.8億冊（いずれも本記事の実測・計算）
• 「何十億」「何兆」は基本的にパラメータ（重み）の個数。よく似た巨大な数字であるトークン数（データ量）とは別物で、両者はChinchilla論文いわくセットで増やすべきもの

固有名詞への詳しさも、モデルサイズも、根っこは同じ「次の語を当てる訓練を、どれだけの規模と量で回したか」に行き着きます。特別な知識データベースが別にあるわけではない、というのが、この2つの疑問に共通する答えでした。