このサイトの記事には、トークン・ベクトル・RAGといった言葉が繰り返し出てきます。どれも各記事の中で説明してはいるのですが、「あの説明、どの記事だったかな」となりがちです。
このページは、その置き場です。一言の説明と、詳しく扱っている記事を並べてあります。上から読む必要はありません。引っかかった言葉だけ引いてください。
先に、いちばん間違えやすいところ
「文章を書くLLM」と「文を数字に変えるだけのモデル」は、別物です。 ここを混ぜると、このサイトの実測記事の結論がひっくり返って読めてしまいます。
| 文章を書くモデル | 数字に変えるモデル | |
|---|---|---|
| 呼び名 | LLM（ChatGPT・Claudeなど） | 埋め込みモデル |
| 入力 | 文章 | 語や文 |
| 出力 | 文章 | 数字の並び（384個など） |
| 使いどころ | 書く・答える・要約する | 文書を検索する・RAGで資料を探す |
| 例 | GPT・Claude・Gemma・Qwen | paraphrase-multilingual-MiniLM-L12-v2 |
このサイトで「測ったら〜だった」という記事の多くは、後者を測っています。前者ではありません。
文章を数字にする
| 用語 | ひとことで | 詳しく |
|---|---|---|
| トークン | LLMが文章を読むときの最小の単位。単語とは一致しない。「走った」は「走」＋「った」の2つに割れる | LLMは日本語を単語に割っていない |
| トークナイザ | 文章をトークンに割る部品。割り方を決めているのは文法ではなく頻度で、よく出てくる並びほど1つの単位にまとまる | 同上 |
| ベクトル／意味ベクトル | 語や文を表す数字の並び。「犬」なら384個の数字。数字1つ1つに意味はなく、他の語との位置関係としてだけ意味が現れる | 言葉が数字になるまで／人間はチンパンジーよりマグロに近かった |
| 次元 | ベクトルを構成する数字の個数。「384次元」なら384個。モデルごとの設計値で、大きいほど細かく表せるが重くなる | 人間はチンパンジーよりマグロに近かった |
| 近さ（コサイン類似度） | 2つのベクトルがどれだけ同じ向きを指しているか。1に近いほど意味が近く、0なら無関係。 このサイトの表の「近さ」はこれ | 同上 |
| 意味空間／座標 | ベクトルが置かれている場所全体のたとえ。「意味空間の中の座標」＝「その語のベクトル」で、どちらも同じことを指す | 同上 |
| 埋め込みモデル | 語や文をベクトルに変えるだけのモデル。文章は書かない。 検索やRAGで「この文とこの文は近いか」を判定するために使う | 「犬」と「いぬ」は、別の語として扱われている |
| 分布仮説 | 語の意味は、周りに一緒に登場する語で決まるという考え方。「クジラ」の意味は、クジラという語の近くに何が書かれてきたかで決まる | クジラのほうが、人間より哺乳類だった |
モデルの中身
| 用語 | ひとことで | 詳しく |
|---|---|---|
| LLM（大規模言語モデル） | 次に来る語を当てる訓練だけで作られた、文章を書くモデル。「当てるには知識も筋道も要る」ので、結果として何でもこなす | そもそもLLMって何？／なぜLLMは、こんなに何でもできるのか |
| パラメータ | モデルのファイルの中に並んでいる数字そのもの。「0.5B」ならそれが5億個、「70B」なら700億個。1個あたり約1バイトなので、5億個なら約500MBのファイルになる。学習中に少しずつ動かされ、終われば固定される。1個だけ取り出しても意味はない | 有名人のことは詳しく、無名な人のことは知らない |
| 層（レイヤー） | 計算のかたまり1段ぶん。これを何十段も積み重ねる。浅い層と深い層で扱う情報が違い、浅いほうが文法、深いほうが意味を扱う | LLMの「層」とは何か |
| Attention | 文の中でどの語がどの語に関係しているかを見る仕組み。「彼はそれを読んだ」の「それ」が何かを解くのが、この働き | AttentionとTransformer |
| Transformer | Attentionを中心に組み立てられた、いまのLLMの土台になっている設計。2017年の論文で登場した | 同上 |
| 学習／事前学習 | 大量の文章を読ませて、上のパラメータを調整していく工程。「事前」は、個別の用途に合わせる前という意味 | 有名人のことは詳しく、無名な人のことは知らない |
| 量子化 | モデルの中の数値を粗くして、ファイルを小さくすること。q8・Q4_K_M などの表記で示される。手元のパソコンで動かすために使うが、精度は少し落ちる |
自分のパソコンでLLMを動かす |
B・M・T と 億・兆の対応
モデルの大きさは「0.5B」「70B」「15T」のように英語の単位で書かれます。英語は3桁ごと（thousand・million・billion）、日本語は4桁ごと（万・億・兆）で区切るので、両者は原理的に揃いません。ここが読みにくさの正体です。
| 英語 | 日本語 |
|---|---|
| 1K（thousand） | 千 |
| 1M（million） | 100万 |
| 1B（billion） | 10億 |
| 1T（trillion） | 1兆 |
覚えるのは2つだけで足ります。
Mが付いているときは100で割って「億」です（100M→1億）。
使うときの言葉
| 用語 | ひとことで | 詳しく |
|---|---|---|
| プロンプト | LLMに渡す指示文。「〜してください」と書いたもの全部。エージェントに渡す指示書（CLAUDE.md など）も、広い意味ではこれ | そもそも、AIエージェントって何？ |
| コンテキスト | 一度に読ませられる分量。トークンの数で数える。長い会話ほど食うので、料金と速度に直結する | AIエージェントのトークン消費を減らすコツ |
| RAG | 手持ちの資料から関係のありそうな箇所を探して、LLMに読ませる仕組み。探す工程で上の埋め込みモデルを使う | 自分の資料で専門特化のエージェントを作る |
| リランカー | RAGで拾った候補をもう一度並べ替える別のモデル。質問と文書を一緒に読むので、埋め込みモデルより細かい違いを拾える | 同上 |
| ハルシネーション | 知らないことを、知っている風の文章として出力してしまう現象。次に来る語を当て続ける仕組みなので、嘘をつく意図があるわけではない | ハルシネーション——AIは、嘘をついているわけではない |
| AIエージェント | 答えるだけでなく、実際に手を動かすもの。ファイルを書き換えたり、コマンドを実行したりする | そもそも、AIエージェントって何？ |
人間の側とそろえる言葉
| 用語 | ひとことで | 詳しく |
|---|---|---|
| アラインメント | AIが人間の望むとおりに振る舞うようにすること、およびその研究。英語では alignment（そろえること）。設定ではない——振る舞いは訓練の結果として身についたもので、書いて教えていない場面でどうするかは作った側にも完全には分からない | Anthropicのアラインメント責任者が「10年以内に10%を超える」と書いた |
| 超知能 | 人間の知能を大きく超えたAI。いまのモデルを揃える手立ては「人間が出力を読んで違うと判定できる」ことに頼っているので、判定する側が追いつけなくなったときに同じやり方が使えるかは別問題として残っている | 同上 |
| 再帰的自己改善 | AIが次の世代のAIを作る手伝いをし、その世代がさらに次を作るという繰り返し。英語では recursive self-improvement。人間が1世代ぶんを設計する時間が要らなくなるので、改善の速さそのものが上がる | 同上 |
| chain of thought | 考えを言葉にしながら答えさせるやり方。途中の言葉を人間が読めるので、どこで曲がったのかを追える。ただし書かれた説明が、実際に答えを決めた要因に触れないことがあると測定されている | ChatGPTにジョークを1008回頼むと、9割が同じ25個だった |
| AGI | artificial general intelligence（汎用人工知能）。特定の作業だけでなく、人間がこなす知的な仕事を幅広くこなせるAI。「どこからがAGIか」の合意された線は無い | OpenAIのGPT-6 Astraが、ARC-AGI-3で99.9%を取った |
日本語の文法の言葉
記事の中で日本語の構造に踏み込むとき、学校で習った言葉が登場します。
| 用語 | ひとことで | 詳しく |
|---|---|---|
| 品詞 | 語の種類。名詞（犬・机）、動詞（走る・食べる）、形容詞（高い・赤い）など | 文法を教わっていないのに、助詞を間違えない |
| 助詞 | 「が」「を」「に」「は」のような短い部品。その語が文の中で果たす役割（誰がしたのか、されたのか）を示す | 日本語で主語を省くと、椅子が2つ空く |
| 活用 | 動詞や形容詞が、用途によって形を変えること。走る・走った・走らない・走ります | 文法を教わっていないのに、助詞を間違えない |
| 形態素解析／分かち書き | 日本語を単語に割る、従来からある工程。MeCabなどの道具が担ってきた。いまのLLMはこれをしていない | LLMは日本語を単語に割っていない |
もっと詳しく——記事のほうへ
上の表は一言に切り詰めてあります。 実際に測った数字や、そこから何が言えるのかは、記事のほうに厚みがあります。用語を引いたあと、気になったところだけ読みに行くのが使いやすいはずです。
手元で測ってみた記事
公開されているモデルをノートパソコンで動かして、得られた数字をそのまま並べた系統です。
- 人間はチンパンジーよりマグロに近かった——この系統の入口。 ベクトルの実物を取り出すところから、「王 − 男 ＋ 女 ＝ 女王」の再現まで
- 「犬」と「いぬ」は、別の語として扱われている——同じ語なのに、表記を変えると近さが0.93から0.42まで落ちる。検索やRAGに直接効く
- クジラのほうが、人間より哺乳類だった——距離を決めているのは生物の分類ではなく、一緒に書かれてきた言葉だという裏づけ
同じやり方の記事は、テーマ手元で測るにまとまっています。
日本語をどう分けて、どう読んでいるか
- LLMは日本語を単語に割っていない——トークンの実物。「有名人には」が「有・名・人・には」になる。英語も同じ扱いを受けている
- 文法を教わっていないのに、助詞を間違えない——単語にすら割っていないのに、なぜ「が」と「は」を使い分けられるのか
- 日本語で主語を省くと、椅子が2つ空く——助詞が席の指定券だという見方。 日本語のタイトルが一瞬読みにくくなる仕組み
中で何が起きているのか
- 言葉が数字になるまで——ベクトルの入門。 誰も教えていないのに「犬と猫は近い」を学んでしまう理由
- AttentionとTransformer——「彼はそれを読んだ」の「それ」を解く計算を、最後まで具体例で追う
- LLMの「層」とは何か——器は人間が設計したが、中身が何を担うかは誰も決めていない
- なぜLLMは、こんなに何でもできるのか——汎用性の理由と、道具を呼ぶ仕組み
- オセロのルールを教わっていないのに、モデルは盤面を持っていた——一語ずつの相性を数えるだけの仕組みが、状況の表現に化けるまで
使う側の話
- そもそもLLMって何？／そもそも、AIエージェントって何？——最初の2本
- 有名人のことは詳しく、無名な人のことは知らない——「知っている」の正体は出現頻度。 パラメータ数が何を指すのかもここ
- 自分の資料で専門特化のエージェントを作る——RAGの組み立て方
- ハルシネーション——AIは、嘘をついているわけではない——なぜ止められないのかという、仕組みの側からの説明
- 自分のパソコンでLLMを動かす——手元で動かす。量子化の話もここ
- AIエージェントのトークン消費を減らすコツ——トークンが料金と速度を左右する話
この用語集の使い方
記事の中で引っかかったら、ここに戻ってきてください。 各記事にも説明は書いてありますが、「初めて出てきた記事」を覚えている必要はありません。
なお、ここに載っている数字（384次元、0.5Bなど）はこのサイトの記事で実際に使ったモデルの値です。モデルが変われば数字も変わります。 「384次元」はどのモデルでもそうなのではなく、記事で使った1つのモデルがそうだった、という意味です。