そもそも、AIエージェントって何?では、エージェントが「答えるだけでなく手を動かす」という話をしました。この記事は、その中身で動いているLLMそのものの話です。
名前を3つに分けてみる
LLMはLarge Language Model、日本語で大規模言語モデルの略です。3語に分けると、それぞれ意味があります。
- モデル:何かを予測する仕組み。天気予報の「予報モデル」と同じ意味の「モデル」です
- 言語:予測する対象が、言葉である
- 大規模:とてつもない量の文章で訓練されていて、中身の部品も莫大
「生成AI」という呼び方もよく聞きます。こちらは文章や画像を作り出すAIの総称で、そのうち言葉を扱うものがLLM、という関係です。
やっていることは、たった一つ
拍子抜けするかもしれませんが、LLMがやっていることは一つだけです。
次に来る言葉を当てる。
「むかしむかし、あるところに」まで与えられたら、次に来そうな言葉として「おじいさんと」を選ぶ。選んだらそれも文章の末尾に足して、また次を選ぶ。これをひたすら繰り返す。
あなたが画面で読んでいる長い回答は、そうやって1語ずつ積み上がったものです。文章がじわじわ表示されていくのは、演出ではなく、本当にその場で1語ずつ作られているからです。
「そんな単純なことで、なぜ賢いのか」
ここがいちばん面白いところです。「次の言葉を当てる」を本気で突き詰めると、いろいろな能力を持たざるを得なくなります。
- 「日本の首都は」の次を当てるには、知識が要る
- 「傘を持って出かけた。なぜなら」の次を当てるには、因果関係の理解が要る
- 「12×15の答えは」の次を当てるには、計算ができないといけない
- 「次の英文を日本語にすると」の次を当てるには、翻訳ができないといけない
つまり、次の言葉を正確に当てられるようになる過程で、知識も、理解も、計算も、翻訳も、ついでに身についてしまう。これが賢さの正体です。賢くなるように個別に教え込んだのではなく、一つの目標を突き詰めた結果として身についたものです。
だから、何にでも使える
もう一つ、汎用性の理由があります。世の中の知的作業の多くは、「続きを書く」形に書き換えられるのです。
| やりたいこと | 「続きを書く」に書き換えると |
|---|---|
| 翻訳 | 「次を日本語にせよ:〇〇 / 日本語訳:」の続き |
| 要約 | 「次を3行でまとめよ:〇〇 / まとめ:」の続き |
| 分類 | 「このメールは重要か:〇〇 / 判定:」の続き |
| プログラム作成 | 「Pythonでファイルを読む関数:」の続き |
翻訳専用のソフト、要約専用のソフト、と別々に作る必要がありません。一つの仕組みが、全部を引き受けられる。 これが「汎用性が高い」ということです。
「覚えている」わけではない
よくある誤解をひとつ。会話の続きをちゃんと覚えているように見えますが、実際は毎回、それまでの会話を丸ごと読み直しています。
新しい発言をするたびに、これまでのやり取り全部+今回の発言、をまとめて渡し直している。だから覚えているように見えるだけです。
ここから2つのことが説明できます。
- 会話が長くなるほど、1回のやり取りが重くなる。 毎回そこまでの全部を読み直すので、消費するトークン(≒お金)も増えていきます(→トークン節約のためのモデル選び)
- 一度に渡せる量には上限がある。 これを超えると、古いところから忘れていきます
そして新しい会話を始めると、前の会話のことは何も知りません。人間の記憶とは、だいぶ違う仕組みです。
苦手なこと
仕組みが分かると、苦手なことも見えてきます。
- 知らないことを、知らないと言えないことがある。 「ありそうな続き」を作る装置なので、事実かどうかとは関係なく、それらしい文章が生成されてしまうことがあります。ハルシネーションと呼ばれる現象で、実害に直結するところなので専用の記事にまとめました
- 訓練した後のことは知らない。 最近の出来事や、昨日更新された料金表のことは分かりません
- 同じ質問でも答えが揺れる。 毎回まったく同じ答えが返ってくるとは限りません
だから、道具を持たせる
これらの弱点を、外の道具で補うというのが今のやり方です。
- 最近のことを知らない → ウェブを検索させる
- 計算が苦手 → 計算プログラムを走らせる
- あなたのパソコンの中身を知らない → ファイルを読ませる
この「道具を持ったLLM」こそが、AIエージェントです。頭の中だけで答えていたものが、手を動かせるようになった、というわけです。
まとめ
- LLM=大規模言語モデル。「生成AI」のうち、言葉を扱うもの
- やっているのは次に来る言葉を当てること、それだけ
- それを突き詰める過程で、知識も理解も計算も身についた
- たいていの作業は「続きを書く」形に書き換えられるので、一つの仕組みで何にでも使える
- 覚えているのではなく、毎回読み直している
- 弱点は外の道具で補う。それがエージェント
「次の言葉を当てているだけなのに、なぜここまでできるのか」——もう一歩踏み込んだ答えは、なぜLLMは、こんなに何でもできるのかにまとめました。仕組みの話が少し登場しますが、面白いところです。