Dance with Agents

「やさしい言葉で」という指示で、AIが書く説明文の「インストール」が「入れる」に化けた。「わかりやすく」では起きなかった

AIに文章を書かせるとき、末尾にこう足すことがあります。

専門用語を使わず、パソコンに詳しくない初心者にもわかる、やさしい言葉で書いてください。

親切のつもりの一文です。これを足すと何が変わるのかを、4つのモデルで測りました。

結果を先に書きます。4つとも、「インストール」という語を捨てました。 そして末尾を「わかりやすく書いてください」に替えると、4つとも残しました。

「インストール」は、いまの日本では日常語です。 スマホのアプリでも、店頭でも、テレビでも見聞きします。その語が、頼み方の一言で消えたり残ったりしたわけです。


測り方は、末尾の一言を足すか足さないかだけ

設問はこれです。「新しいソフトウェアをパソコンで使えるようにする作業について、日本語で3文で説明してください。」 条件によって、末尾に一言だけを足します。他は1文字も変えていません。

設問に「動詞に注目して」といった手がかりは入れていません。 何を見られているかがモデルに伝わると、選ぶ言葉が変わってしまうためです。

使ったのは4つ。手元のパソコンで動かしたgemma4:e4b(Ollama経由)と、ChatGPT・Gemini・Claudeです。

何も足さなければ、4つとも「インストール」を選ぶ

  • ChatGPT:「新しいソフトウェアをパソコンで使えるようにする作業を『インストール』といいます」
  • Gemini:「インターネットからプログラムをダウンロードするか、インストール用メディアを用意します」
  • Claude:「『インストール』と呼ばれ、配布元から入手したファイルを実行して、(…)適切な場所に配置します」

4つとも、意味の狭い語だけで書いています。 ChatGPTにいたっては、1文目でその作業の名前を読者に教えていました。

「やさしい言葉で」を足すと、4つとも捨てた

「インストール」 「出る」「入れる」の類
gemma4:e4b 消えた 出た
ChatGPT 消えた 出なかった
Gemini 消えた 出た
Claude 消えた 出た

いちばんはっきりしていたのがGeminiです。

使いたい便利な道具をパソコンに入れるには、まずその道具の元となるデータをインターネットなどから手元に持ってきます。次に、持ってきたデータを開き、画面に出てくる案内にそって準備を進めてパソコンに覚えさせます。

「インストール」も「ダウンロード」も、さらには「ソフトウェア」まで消えて「便利な道具」になりました。

そして最後の「パソコンに覚えさせます」は、インストールの説明として正しくありません。 ファイルを決まった場所に置き、設定を登録する作業であって、パソコンが何かを覚えるわけではない。やさしくした結果、言葉が曖昧になっただけでなく、事実のほうも崩れています。

「わかりやすく」に替えると、4つとも残した

末尾を「わかりやすく書いてください」に替えると、4つとも「インストール」を残しました。

ChatGPTは、何も足さなかったときとまったく同じ形に戻ります。

末尾に足した一言 1文目
(なし) 作業を「インストール」といいます
わかりやすく 作業を「インストール」といいます
やさしい言葉で+専門用語を使わず 作業のことです(設問の言い直し)

Geminiの差は、もっと極端です。同じモデルが、末尾の一言だけで、正しい説明と誤った説明を出し分けました。

  • わかりやすく:「パソコンにソフトを設定する『インストール』という作業を行います」
  • やさしい言葉で+専門用語を使わず:「準備を進めてパソコンに覚えさせます」

どの一言が結果を変えていたのかを、切り分けた

ここまでの指示は、3つの頼みごとが混ざっています。「専門用語を使わず」「初心者にもわかる」「やさしい言葉で」。 そこでgemma4:e4bで、末尾に足す一言を1つずつに分けて測り直しました。どれも8設問×2回の16本です。

末尾に足した一言 「出る」「入れる」の類 「インストール」が残った本数(4本中)
(足さない) 0件 4
わかりやすく書いてください 1件 4
かみ砕いて説明してください 5件 2
やさしい言葉で書いてください 11件 1
専門用語を使わずに書いてください 3件 0

副作用は2種類あって、引き金が別でした。

  • 語が消えるのは「専門用語を使わず」と頼んだとき。これは指示どおりです。ただし「インストール」は日常語なので、問題は指示ではなく、モデルがこれを専門用語の側に分類したことのほうにあります
  • 動詞が曖昧になるのは「やさしい言葉で」と頼んだとき。16本中11件と、いちばん多く出ました。 こちらは誰もそんな指示をしていません

「やさしく」という指示には、対象が書かれていません。 どの語をやさしくするのか、どこまでやってよいのかが決まっていない。すると判定は安全側に倒れ、カタカナ語も、意味の狭い動詞も、まとめて避けにいきます。

このサイトの記事では、「インストール」が66回から141回に増えた

同じことが、実際に公開されている記事でも起きていました。

このサイトの記事はエージェント(Claude)が書いていて、その指示書に「専門用語は初出の箇所に必ず平易な言い換え・具体例を添える」と書いてありました。結果、記事のあちこちで「インストール」が「入れる」になっていました。

  • Gitの始め方 — 入っているか確かめて
  • Windows 11なら最初から入っています

原因が分かった日に、サイト全体を洗い直しました。95ファイル、370か所。

洗い直す前 あと
インストール 66回 141回
入れ(入れる・入れて など) 142回 50回

指示書に一語あるだけで、公開されている記事がこの規模で書き換わっていたことになります。この経緯は『何度直させても同じ書き方に戻る。原因は、指示書のたった一行だった』に書きました。

頼み方を書き替える

頼み方 起きること
やさしい言葉で書いて 動詞が汎用になる(16本中11件)。「インストール」のような日常語まで消える
かみ砕いて説明して 中間。動詞5件、用語は半分残った
わかりやすく書いて どちらもほとんど起きない(動詞1件、用語は全部残った)
専門用語には、初めて出てきたところで短い解説を添えて。用語そのものは残して 語が残り、意味も渡る
一文を短く。具体例を1つ入れて 読みやすさは、語彙とは別の軸で上がる

「やさしく」は置き換えとも読めますが、「解説を添えて」なら追加の行為しか意味しません。 置き換えようがないので、語が消えません。

読みやすさは、語彙をやわらかくすること以外の方法でも上げられます。 一文を短くする、具体例を置く、知らないものを既知として扱わない。そちらを名指しで頼むほうが、語を捨てさせるより確実でした。

なお、4つのモデルを並べた比較は設問1つ・各1回です。一言ずつ切り分けたほうはgemma4:e4bだけで、1条件あたり16本。「わかりやすく」だけは4モデルとも確かめましたが、順位そのものが他のモデルでも同じになるかは、まだ測っていません。

LLM / エージェントの記事

LLM / エージェントのページへ →