Dance with Agents

手元のパソコン内で動くAI——賢さでは負けるが使い放題

実践

2026年8月20日、GoogleがGemmaの累計ダウンロードが10億回を超えたと発表しました。Google DeepMindのClement Farabet氏とOlivier Lacombe氏の連名によるもので、外部の開発者が作った派生モデルは10万種類を超えたとあります。

ここで引っかかってほしいのは、「ダウンロード」という言葉のほうです。

ChatGPTやClaudeを使うとき、私たちは何もダウンロードしていません。文章を送って、答えを受け取っているだけです。モデル本体は向こうのデータセンターにいます。 一方Gemmaは、10億回配られている。つまり、モデルそのものが手元に来て、手元で動く種類のAIです。

これをローカルLLMと呼びます。


ローカルLLMとは何か

LLMの中身は、膨大な数値の集まりです(→そもそもLLMって何?)。この数値の集まりを重みと呼びます。学習の成果が全部そこに詰まっている、モデルの本体です。

この重みをファイルとして公開しているモデルがあります。 ダウンロードして、自分のパソコンに置いて、自分のパソコンで動かせる。こういうモデルをオープンモデル(重みが公開されているモデル)と言います。GoogleのGemma、AlibabaのQwen、MetaのLlamaなどが該当します。

Gemma 4の公式モデルカードには、想定する動作環境がこう書かれています。

deployable in environments ranging from high-end phones to laptops and servers

(高性能なスマートフォンからノートパソコン、サーバーまでの環境に配置できる)

小さいほうのモデルについては「ノートパソコンやモバイル端末での効率的なローカル実行のために設計されている」とまで明記されています。スマホで動く前提のAIが、本当に配られているわけです。

何が変わるのか

クラウドのAIと比べて、決定的に違うところが3つあります。

1. 使った量に応じた料金が発生しない。 APIの利用料は、送った文字数と返ってきた文字数で決まります(→トークン節約のためのモデル選び)。ローカルLLMには、その課金がありません。増えるのは電気代とパソコンの稼働時間のほうです。

2. データが外に出ない。 手元のファイルを読ませても、通信は発生しません。顧客情報、まだ公開していない原稿、個人の記録——外部のサービスに送る判断をしなくて済むというのは、想像より大きな違いです。

クラウド側にも、送った内容を学習素材に使わせない設定はあります(→『有料AIと契約したら、最初にやることが一つある——「学習させない」設定』)。ただしそれは設定が守られていることを信じる話で、ローカルLLMのほうはそもそも送信が起きないという違いがあります。

3. ネットが要らない。 一度ダウンロードしてしまえば、機内でも山の中でも動きます。サービス側の障害やレート制限(一定時間に使える回数の上限)とも無縁です。

代わりに諦めるものも、はっきりしています。賢さです。 最上位のクラウドモデルと同じ答えは返ってきません。そして速さは自分のパソコンの性能で決まります。

使いどころは「賢さ」ではなく「回数」

ここが本題です。ローカルLLMを「クラウドの安い代用品」と考えると、たいてい失望します。そもそも土俵が違うと考えたほうがいい。

  • 難しい判断を1回——クラウドの上位モデルの土俵
  • 単純な処理を何万回——ローカルLLMの土俵

たとえば、手元に何千冊ぶんのテキストがあって、それを全部ベクトル(意味を表す数字の並び)に変換したいとします(→言葉が数字になるまで)。自分の資料で専門特化のエージェントを作るで書いたRAGの、下ごしらえにあたる作業です。

これは賢さがほとんど要らない代わりに、回数が膨大な仕事です。1件あたりの単価が小さくても、10万件あれば積み上がります。ローカルなら、何日か回しっぱなしにするだけで料金は増えません。

しかもこの用途には、ベクトル化専用の小さなモデルがあります。GoogleのEmbeddingGemmaは3億パラメータ、ダウンロードサイズは622MB。100以上の言語のデータで訓練されていて、検索や分類のために作られています。文章を書かせるモデルではないので、これで足ります。

同じ形の仕事は、ほかにもあります。

  • 大量の文書にタグや分類を振る
  • 文字起こしの表記を整える下処理
  • 何万件のメモから関係ありそうなものを一次選別する
  • 個人情報の伏せ字処理を全ファイルにかける

下ごしらえはローカルで、最後の判断はクラウドの賢いモデルで。 この組み合わせが、いま現実的なところです。

どのくらいの機械が要るか

モデルは動かしているあいだ、まるごとメモリに読み込まれます。 なので、ダウンロードサイズがそのまま必要なメモリの目安になります(実際には、これに加えて作業用の余裕が要ります)。

Ollamaの公式ライブラリに載っているGemma 4のサイズを見ると、目安がつかめます。

モデル ダウンロードサイズ
E2B(2.3B相当) 7.2GB
E4B(4.5B相当) 9.6GB
12B 7.6GB
31B 20GB

パラメータ数の順とサイズの順が一致していないのは、量子化(数値を粗くしてファイルを小さくする圧縮)の度合いがモデルごとに違うためです。粗くするほど軽くなり、そのぶん答えの質は落ちます。

16GBのメモリがあれば、上のほうは動きます。 32GBあれば選択肢がかなり広がる、という感覚です。

Macに関しては事情が少し有利で、CPUとGPUが同じメモリを共有する構造になっています(→LLMがGPUを必要とする理由)。GPU用のメモリを別に買い足す必要がなく、搭載メモリの多い機種ほど大きいモデルを載せられます。

導入は、思っているより簡単

「自分のパソコンでAIを動かす」と聞くと構えますが、実際の手順は普通のアプリのインストールと大差ありません。

Ollama(公式サイト)は、ローカルLLMを動かすための定番です。macOS・Windows・Linuxに対応していて、アプリをダウンロードするか、ターミナルで1行打つだけで済みます。

curl -fsSL https://ollama.com/install.sh | sh

インストール後はollama run gemma4のように打つと、モデルのダウンロードから起動までやってくれます。同時に手元だけで完結するAPI(localhost:11434)が立ち上がるので、自分で書いたプログラムからも呼べます。バッチ処理(大量のファイルをまとめて機械的に処理すること)は、ここを使います。

LM Studio(公式サイト)のほうは、画面で操作するアプリです。無料で、macOSとWindowsに対応しています。モデルを一覧から選んでダウンロードし、チャット画面で話しかける——コマンドを一度も打たずに、ローカルLLMがどんなものか確かめられます。最初の1回はこちらのほうが分かりやすいはずです。

エージェントに手伝ってもらう

そして、このサイトの本題に繋がります。この導入作業こそ、エージェントの得意分野です。

つまずきそうなところは、だいたい決まっています。「自分のパソコンのメモリで動くモデルはどれか」「どのサイズを選ぶべきか」「動かしてみたが遅い、何が原因か」。どれも、手元の環境を見れば答えが決まる種類の問いです。

エージェントはその環境を見られます。頼み方はこのくらいで通じます。

このMacのメモリを確認して、快適に動きそうなローカルLLMを選んでインストールしてほしい。動作確認まで。

~/documents/archiveの中のテキストを全部ベクトル化したい。ローカルのモデルを使う前提で、手順を組んで。

ローカルLLMの返事が遅い。原因を切り分けて、直せるなら直してほしい。

インストール、モデル選び、動作確認、そして大量処理のスクリプト作成まで、まとめて頼めます。 昔なら「環境構築」という名前で何日か溶かしていた部分が、丸ごと相談相手のいる作業になった、ということです。

正直に書いておくこと

  • 一番賢いモデルの代わりにはなりません。 込み入った判断や長い文脈の読み取りでは、クラウドの上位モデルとの差がはっきり現れます
  • もっともらしい間違いは、こちらでも起きます(→ハルシネーション)。手元で動いているからといって、答えが正確になるわけではありません
  • 長時間の連続処理は、熱と電力を使います。 放置して何日も回すなら、CPUが爆熱になった話と同じ注意が要ります
  • ライセンスはモデルごとに違います。 Gemma 4は公式モデルカードにApache 2.0と明記されていますが、Gemma 3以前はGoogle独自の利用規約です。仕事で使うなら、そのモデルの条件を確認する必要があります

まとめ

  • ローカルLLMは、重みが公開されているモデルを自分のパソコンにダウンロードして動かすもの。Gemmaは累計10億回ダウンロードされている
  • クラウドとの違いは3つ。使った量に応じた料金が発生しない/データが外に出ない/ネットが要らない
  • 代わりに賢さでは劣り、速さは自分の機械の性能で決まる
  • だから使いどころは「賢さ」ではなく「回数」。単純な処理を何万回という仕事——大量のベクトル化、分類、下ごしらえ——が本領
  • 必要なメモリの目安はモデルのダウンロードサイズ。16GBあれば小さめのモデルは動く
  • 導入はOllama(コマンド1行、またはアプリ)かLM Studio(画面操作・無料)。最初の1回はLM Studioが分かりやすい
  • そして、モデル選びからバッチ処理の組み立てまで、エージェントに手伝ってもらえる

LLM / エージェントの記事

LLM / エージェントのページへ →