エージェントに文章を書かせていると、指摘すればその場では直るのに、次にはまた同じ書き方をする、ということが起きることがあります。何度も続けば、指摘するほうが面倒になってきます。
このサイトでも同じことが起きていました。そして原因が分かってみると、エージェントの癖ではなく、指示書に書いた一行でした。
何度指摘しても、次の記事で戻ってきた
このサイトの記事は、管理人が方針を決め、エージェントが書いています。その進め方で管理人がずっと引っかかっていたのが、エージェントの選ぶ動詞でした。何かにつけて「出す」「入れる」といった曖昧な動詞を書きたがります。
- Gitの始め方 — 入っているか確かめて
- Tailscaleを入れると、自宅のパソコンがどこからでも手元になる
- Windows 11なら最初から入っています
どれも「インストール」と書けば済むところです。管理人はこれを何度か指摘してきました。そのたびに直るのですが、次以降の記事でまた再現するのです。
同じ指摘を何度もするのは、管理人にとって単純に面倒です。エージェントは毎回すぐ直すので、管理人が黙っていれば、そのまま公開されます。 実際、管理人はある時期から指摘するのをやめていました。本人の言葉では「いちいち指摘するのも手間なので、妥協してしまっていました」。
原因は、指示書に書いた一行だった
きっかけは、管理人がたまたま1か所を指摘したことでした。そこから「なぜこの言い方を選ぶのか」という話になり、指示書に行き着きます。
専門用語は初出の箇所に必ず平易な言い換え・具体例を添える
この「平易な」が、そう書かせていました。 Gemma・ChatGPT・Gemini・Claudeで確かめたところ、同じ設問でも末尾に「やさしい言葉で」と足すだけで、4つとも「インストール」を捨てます。 「わかりやすく」に替えると、4つとも残します。測定は『「やさしい言葉で」という指示で、AIが書く説明文の「インストール」が「入れる」に化けた』にまとめました。
つまりエージェントは、指示に従っていただけでした。 個別に指摘されればその場では直しますが、次に指示書を読んだ時点で、また同じ判定に戻る。 個別の指摘では、上位の方針を上書きできなかったわけです。
直し方は、その一行を書き替えることでした。
- 旧:専門用語は初出の箇所に必ず平易な言い換え・具体例を添える
- 新:専門用語は初出の箇所に必ず短い解説と具体例を添える(語そのものは本文に残す)
「平易」という語が、置き換えを誘っていました。「解説」なら、追加の行為しか意味しません。
そのうえでサイト全体を洗い直しました。95ファイル、370か所。 「インストール」は66回から141回に増え、「入れ」は142回から50回に減りました。これだけの量が、一行の指示から生じていたことになります。
同じ型が、同じ日にもう2つ見つかった
原因の探し方が分かったので、他も調べました。同じ構図が2つありました。
- 主語が省かれ続けていた件 ← 「削れる文は削るのが基本」。日本語の主語は文法的に削れるので、この指示の削除対象になっていました
- 「我々」を避けた先が省略になっていた件 ← 「我々・私たちを主語に使わない」。禁止だけが書かれていて、代わりに何を書くかが指定されていなかった
どちらも、それ自体は正しい指示です。 冗長さは削るべきだし、共同執筆のサイトで「我々」は曖昧になる。ただ、他の項目との優先順位が書かれていなかった。
同じ指摘が繰り返されたら、上位の指示を疑ってみる
ここから手順が出てきます。
- その都度直す——1回目はこれで構いません
- 2回目で、同じことが起きたと気づく
- 3回目の前に、指示書のどの項目がこの振る舞いを生んでいるかを探す
3回目を言えばまた直りますが、直ってしまうぶん、上流に目が向きません。 ただし回数で決めきれるものではなく、あくまで目安です。
今回、指示書が原因だと分かったのも結果論でした。管理人が「なぜ治らないのか」と個別修正の外側を聞いたことがきっかけで、次も指示書が原因だとは限りません。
違和感を手放さないところまでが、人間の側の仕事
管理人はこのように言います。
人間は自分の違和感を手放してはいけない。その違和感を言語化する努力は、人間の責務である。
人間の側が「なんとなく変」で止めると、その指摘は存在しなかったことになります。 そして、言葉にされないまま何度も見逃されたものは、そのままサイトの標準になっていきます。
エージェントは指摘を受ければ直します。速いし、370か所でも文句を言いません。ただし、何が変なのかを決めることはできない。 「意味は通っている」で通してしまうからです。
エージェントが書いた文章への違和感は、詳細に指摘するまで直りません。 問題の原因はたった一つの設定文であったことは、基本設定の大切さを痛感させられる経験となったものです。皆さまもお気をつけを。