Dance with Agents

そもそもLLMって何?

そもそも、AIエージェントって何?では、エージェントが「答えるだけでなく手を動かす」という話をしました。この記事は、その中身で動いているLLMそのものの話です。

名前を3つに分けてみる

LLMはLarge Language Model、日本語で大規模言語モデルの略です。3語に分けると、それぞれ意味があります。

  • モデル:何かを予測する仕組み。天気予報の「予報モデル」と同じ意味の「モデル」です
  • 言語:予測する対象が、言葉である
  • 大規模:とてつもない量の文章で訓練されていて、中身の部品も莫大

「生成AI」という呼び方もよく聞きます。こちらは文章や画像を作り出すAIの総称で、そのうち言葉を扱うものがLLM、という関係です。

やっていることは、たった一つ

拍子抜けするかもしれませんが、LLMがやっていることは一つだけです。

次に来る言葉を当てる。

「むかしむかし、あるところに」まで与えられたら、次に来そうな言葉として「おじいさんと」を選ぶ。選んだらそれも文章の末尾に足して、また次を選ぶ。これをひたすら繰り返す。

あなたが画面で読んでいる長い回答は、そうやって1語ずつ積み上がったものです。文章がじわじわ表示されていくのは、演出ではなく、本当にその場で1語ずつ作られているからです。

「そんな単純なことで、なぜ賢いのか」

ここがいちばん面白いところです。「次の言葉を当てる」を本気で突き詰めると、いろいろな能力を持たざるを得なくなります。

  • 「日本の首都は」の次を当てるには、知識が要る
  • 「傘を持って出かけた。なぜなら」の次を当てるには、因果関係の理解が要る
  • 「12×15の答えは」の次を当てるには、計算ができないといけない
  • 「次の英文を日本語にすると」の次を当てるには、翻訳ができないといけない

つまり、次の言葉を正確に当てられるようになる過程で、知識も、理解も、計算も、翻訳も、ついでに身についてしまう。これが賢さの正体です。賢くなるように個別に教え込んだのではなく、一つの目標を突き詰めた結果として身についたものです。

だから、何にでも使える

もう一つ、汎用性の理由があります。世の中の知的作業の多くは、「続きを書く」形に書き換えられるのです。

やりたいこと 「続きを書く」に書き換えると
翻訳 「次を日本語にせよ:〇〇 / 日本語訳:」の続き
要約 「次を3行でまとめよ:〇〇 / まとめ:」の続き
分類 「このメールは重要か:〇〇 / 判定:」の続き
プログラム作成 「Pythonでファイルを読む関数:」の続き

翻訳専用のソフト、要約専用のソフト、と別々に作る必要がありません。一つの仕組みが、全部を引き受けられる。 これが「汎用性が高い」ということです。

「覚えている」わけではない

よくある誤解をひとつ。会話の続きをちゃんと覚えているように見えますが、実際は毎回、それまでの会話を丸ごと読み直しています。

新しい発言をするたびに、これまでのやり取り全部+今回の発言、をまとめて渡し直している。だから覚えているように見えるだけです。

ここから2つのことが説明できます。

  • 会話が長くなるほど、1回のやり取りが重くなる。 毎回そこまでの全部を読み直すので、消費するトークン(≒お金)も増えていきます(→トークン節約のためのモデル選び)
  • 一度に渡せる量には上限がある。 これを超えると、古いところから忘れていきます

そして新しい会話を始めると、前の会話のことは何も知りません。人間の記憶とは、だいぶ違う仕組みです。

苦手なこと

仕組みが分かると、苦手なことも見えてきます。

  • 知らないことを、知らないと言えないことがある。 「ありそうな続き」を作る装置なので、事実かどうかとは関係なく、それらしい文章が生成されてしまうことがあります。ハルシネーションと呼ばれる現象で、実害に直結するところなので専用の記事にまとめました
  • 訓練した後のことは知らない。 最近の出来事や、昨日更新された料金表のことは分かりません
  • 同じ質問でも答えが揺れる。 毎回まったく同じ答えが返ってくるとは限りません

だから、道具を持たせる

これらの弱点を、外の道具で補うというのが今のやり方です。

  • 最近のことを知らない → ウェブを検索させる
  • 計算が苦手 → 計算プログラムを走らせる
  • あなたのパソコンの中身を知らない → ファイルを読ませる

この「道具を持ったLLM」こそが、AIエージェントです。頭の中だけで答えていたものが、手を動かせるようになった、というわけです。

まとめ

  • LLM=大規模言語モデル。「生成AI」のうち、言葉を扱うもの
  • やっているのは次に来る言葉を当てること、それだけ
  • それを突き詰める過程で、知識も理解も計算も身についた
  • たいていの作業は「続きを書く」形に書き換えられるので、一つの仕組みで何にでも使える
  • 覚えているのではなく、毎回読み直している
  • 弱点は外の道具で補う。それがエージェント

「次の言葉を当てているだけなのに、なぜここまでできるのか」——もう一歩踏み込んだ答えは、なぜLLMは、こんなに何でもできるのかにまとめました。仕組みの話が少し登場しますが、面白いところです。

LLM / エージェントの記事

LLM / エージェントのページへ →