Dance with Agents

何度直させても同じ書き方に戻る。原因は、指示書のたった一行だった

エージェントに文章を書かせていると、指摘すればその場では直るのに、次にはまた同じ書き方をする、ということが起きることがあります。何度も続けば、指摘するほうが面倒になってきます。

このサイトでも同じことが起きていました。そして原因が分かってみると、エージェントの癖ではなく、指示書に書いた一行でした。


何度指摘しても、次の記事で戻ってきた

このサイトの記事は、管理人が方針を決め、エージェントが書いています。その進め方で管理人がずっと引っかかっていたのが、エージェントの選ぶ動詞でした。何かにつけて「出す」「入れる」といった曖昧な動詞を書きたがります。

  • Gitの始め方 — 入っているか確かめて
  • Tailscaleを入れると、自宅のパソコンがどこからでも手元になる
  • Windows 11なら最初から入っています

どれも「インストール」と書けば済むところです。管理人はこれを何度か指摘してきました。そのたびに直るのですが、次以降の記事でまた再現するのです。

同じ指摘を何度もするのは、管理人にとって単純に面倒です。エージェントは毎回すぐ直すので、管理人が黙っていれば、そのまま公開されます。 実際、管理人はある時期から指摘するのをやめていました。本人の言葉では「いちいち指摘するのも手間なので、妥協してしまっていました」。

原因は、指示書に書いた一行だった

きっかけは、管理人がたまたま1か所を指摘したことでした。そこから「なぜこの言い方を選ぶのか」という話になり、指示書に行き着きます。

専門用語は初出の箇所に必ず平易な言い換え・具体例を添える

この「平易な」が、そう書かせていました。 Gemma・ChatGPT・Gemini・Claudeで確かめたところ、同じ設問でも末尾に「やさしい言葉で」と足すだけで、4つとも「インストール」を捨てます。 「わかりやすく」に替えると、4つとも残します。測定は『「やさしい言葉で」という指示で、AIが書く説明文の「インストール」が「入れる」に化けた』にまとめました。

つまりエージェントは、指示に従っていただけでした。 個別に指摘されればその場では直しますが、次に指示書を読んだ時点で、また同じ判定に戻る。 個別の指摘では、上位の方針を上書きできなかったわけです。

直し方は、その一行を書き替えることでした。

  • 旧:専門用語は初出の箇所に必ず平易な言い換え・具体例を添える
  • 新:専門用語は初出の箇所に必ず短い解説と具体例を添える(語そのものは本文に残す)

「平易」という語が、置き換えを誘っていました。「解説」なら、追加の行為しか意味しません。

そのうえでサイト全体を洗い直しました。95ファイル、370か所。 「インストール」は66回から141回に増え、「入れ」は142回から50回に減りました。これだけの量が、一行の指示から生じていたことになります。

同じ型が、同じ日にもう2つ見つかった

原因の探し方が分かったので、他も調べました。同じ構図が2つありました。

  • 主語が省かれ続けていた件 ← 「削れる文は削るのが基本」。日本語の主語は文法的に削れるので、この指示の削除対象になっていました
  • 「我々」を避けた先が省略になっていた件 ← 「我々・私たちを主語に使わない」。禁止だけが書かれていて、代わりに何を書くかが指定されていなかった

どちらも、それ自体は正しい指示です。 冗長さは削るべきだし、共同執筆のサイトで「我々」は曖昧になる。ただ、他の項目との優先順位が書かれていなかった。

同じ指摘が繰り返されたら、上位の指示を疑ってみる

ここから手順が出てきます。

  • その都度直す——1回目はこれで構いません
  • 2回目で、同じことが起きたと気づく
  • 3回目の前に、指示書のどの項目がこの振る舞いを生んでいるかを探す

3回目を言えばまた直りますが、直ってしまうぶん、上流に目が向きません。 ただし回数で決めきれるものではなく、あくまで目安です。

今回、指示書が原因だと分かったのも結果論でした。管理人が「なぜ治らないのか」と個別修正の外側を聞いたことがきっかけで、次も指示書が原因だとは限りません。

違和感を手放さないところまでが、人間の側の仕事

管理人はこのように言います。

人間は自分の違和感を手放してはいけない。その違和感を言語化する努力は、人間の責務である。

人間の側が「なんとなく変」で止めると、その指摘は存在しなかったことになります。 そして、言葉にされないまま何度も見逃されたものは、そのままサイトの標準になっていきます。

エージェントは指摘を受ければ直します。速いし、370か所でも文句を言いません。ただし、何が変なのかを決めることはできない。 「意味は通っている」で通してしまうからです。

エージェントが書いた文章への違和感は、詳細に指摘するまで直りません。 問題の原因はたった一つの設定文であったことは、基本設定の大切さを痛感させられる経験となったものです。皆さまもお気をつけを。

LLM / エージェントの記事

LLM / エージェントのページへ →