AIを作っている当人たちが、6日間で立て続けに動きました。 2026年9月8日から13日までのことです。
研究者がひとり、「我々の命を賭けの対象にしている」と書いて会社を辞めました。その主張を、同じ会社で安全を率いる責任者が公に認めます。 4日後にはCEOが「開発を減速すべきだ」というエッセイを公開し、競合2社のトップが同意しました。
| 日付 | 何が起きたか |
|---|---|
| 9月8日 | Anthropicの研究者ジェイコブ・コクソンが辞任し、Xで理由を公開した |
| 9月9日 | 同社のアラインメント責任者が、その主張を公に認めた |
| 9月12日 | AnthropicのCEOダリオ・アモデイが「減速すべきだ」というエッセイを公開した |
| 9月12〜13日 | OpenAIのサム・アルトマンとイーロン・マスクが、それに同意した |
作っている側から、自分たちの速度を落とせという声が出た6日間です。何が起きたのか、順に見ていきます。
辞任したのは、事前学習の研究者だった
ジェイコブ・コクソン（Jacob Coxon）は、事前学習——モデルに大量の文章を読ませて土台を作る、学習のいちばん最初の段階——に携わっていた研究者です。本人によれば、過去3年のあいだにAnthropicとOpenAIの両方で働いていました（NPR、Fortune）。
辞任はXへの連続投稿で表明されました。書かれていたのは、次の3点です。
- 2社は「自己改善する」モデルを推し進めており、人間が制御できないほど強力になりかねない
- AnthropicとOpenAIは「我々の命を賭けの対象にしている」（“gambling with our lives”）
- 企業は開発競争に駆られて「責任ある行動を取っていない」
そして本人は、他の社員にも自分の仕事を考え直すよう呼びかけました。 共同通信の日本語記事では、コクソンの言葉として「AIが私たち全員を殺しかねないと本気で信じている」が紹介されています。
「自己改善」は、この記事で何度も使う語なので先に説明しておきます。 英語では recursive self-improvement——AIが次の世代のAIを作る手伝いをし、その世代がさらに次を作るという繰り返しのことです。人間が1世代ぶんを設計する時間が要らなくなるので、改善の速さそのものが上がっていきます。
社内のアラインメント責任者が、その場で認めた
この件がただの退職と違ったのは、ここからです。
Anthropicでアラインメント科学の部門を率いるエヴァン・フービンガー（Evan Hubinger）が、コクソンの投稿を引用して、9月9日にこう書きました（Forbes）。
“we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade.”
（我々は、AIが人類全員を殺しうると本気で信じている。 私個人としては、10年以内にその確率は10%を超えると思っている）
さらに、こう続けています。
“I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to.”
（Anthropicは最善を尽くしていると思う。しかし我々は、超知能のアラインメントを解く計画をまだ持っておらず、その軌道に乗っているとも言えない）
読みどころは3つあります。
- 社外の批評家ではなく、その研究を率いている当人が書いている
- 数字が添えられている。 「危険かもしれない」ではなく「10年以内に10%超」
- 計画が無いと認めている。 しかも「最善を尽くしている」と併記したうえで
ここでいう「アラインメント」とは何か
いま出てきた語を、説明しておきます。この先もこの語で進みます。
アラインメント（alignment、直訳は「そろえること」）は、AIが人間の望むとおりに振る舞うようにすること、およびそのための研究を指します。
「設定」ではありません。 LLMの振る舞いは、一つ一つ書いて教えたものではなく、大量の文章を読ませる訓練の結果として身についたものです（→『LLMの中でやっていることは2つだけ。語を数値の並びに変え、その並びを何十回も書き換えている』）。だから「こう振る舞え」と書いていない場面でどう振る舞うかは、作った側にも完全には分かりません。 そこを揃えにいく仕事がアラインメントです。
揃っていないと何が起きるのか。 このサイトで扱った測定が、そのまま例になります。
| 起きたこと | どこに書いたか |
|---|---|
| モデルが試験環境から抜け出して、実在の企業に侵入した | 『OpenAI・Anthropic・Metaのモデルが、試験環境から抜け出して実在の企業を攻撃した』 |
| 学習データにAIの反乱を描いた文章を増やすと、逸脱する側を選ぶようになった | 『AIの反乱を描いた文章を学習データで増やすと、モデルは逸脱する側を選ぶようになった』 |
| 説明を求めると、実際の処理とは違う説明を書いた | 『ChatGPTにジョークを1008回頼むと、9割が同じ25個だった』 |
| 人に迎合して、同意ばかり返す | 『迎合しないように作られている——Claudeの人格は、誰がどう育てているのか』 |
どれも「壊れている」のではありません。 モデルは訓練どおりに動いています。訓練が意図していたことと、実際に身についたことが、ずれている——それがアラインメントの問題の形です。
そして、フービンガーが「計画が無い」と書いたのは、いまのモデルのアラインメントではありません。 超知能——人間の知能を大きく超えたAI——のアラインメントのほうです。
上の4つは、人間が出力を読んで「これは違う」と判定できたから見つかったものです。判定する側が追いつけなくなったとき、同じやり方が使えるのかどうか。そこが別問題として残っています。
なぜ別問題になるのかを、フービンガー自身は書いていません。 書いているのは「計画を持っていない」という事実だけです。
4日後、CEOが「減速すべきだ」と書いた
9月12日、AnthropicのCEOダリオ・アモデイ（Dario Amodei）が、We Must Pace the Frontier（最前線の速度を管理しなければならない）という約3,800語のエッセイを自分のサイトに公開しました。
冒頭の主張はこうです。
“We must slow the pace at which we improve the capabilities of AI models. Progress will still seem fast”
（AIモデルの能力を高める速度を、我々は落とさなければならない。 それでも進歩は速く見えるだろう）
理由として挙げているのが、先に説明した自己改善です。
“AI has been advancing drastically faster, driven primarily by AI’s growing ability to build the next generation of AI…Left unchecked, it could outrun our ability to understand and control these systems”
（AIの進歩は劇的に速くなっており、その主な原動力はAI自身が次の世代のAIを作る能力が高まっていることだ。……放置すれば、我々がこれらのシステムを理解し制御する能力を追い抜きかねない）
減速して得た時間を何に使うのかも書かれています——運用の精度、アラインメントの訓練、解釈可能性（モデルの内部で何が起きているかを調べる研究）、そして試験と評価の手法です。
提案は3段階で、いますぐ実施できるのは1段階目だけ
エッセイの提案は3段階に分かれています。
| 段階 | 中身 | いますぐ実施できるか |
|---|---|---|
| 1 | 各社が、第三者の評価チームに社員並みの継続的なアクセスを与える | Anthropicが単独で実行すると表明 |
| 2 | 民主主義国の各社が、共通の安全基準と進歩の速度の上限で足並みをそろえる | 調整が要る |
| 3 | 米国などの民主主義国の政府が、権威主義国の政府とも可能な範囲で調整する | 交渉が要る |
1段階目が具体的なのは、自社だけで決められるからです。 報道によれば、評価チームには机・バッジ・ノートパソコンが与えられ、権限は社内のリスク部門とおおむね同等になります。
3段階目には「速度制限」という言い方が登場します。 自己改善の速さそのものに上限を設ける、という発想です。「極端に速い」から「やや速い」に落とすだけなら、失うものは比較的小さい——それがエッセイの立てている勘定です。
アモデイの提案に、アルトマンとマスクが同意した
3者が並んだ形を、もう少し細かく見ておきます。 報道の見出しは「3者が減速で一致」という形になりがちですが、起きたのは提案1本と、それへの同意2つです。
OpenAIのサム・アルトマンは、こう述べました（CoinDesk）。
“I agree with Dario that we need to pace the frontier.”
（最前線の速度を管理する必要があるという点で、ダリオに同意する）
そして独立した評価者に社員並みのアクセスを与えることについて、OpenAIも同じことをすると述べています。 つまりアルトマンが約束したのも、1段階目です。
イーロン・マスクの反応は3語でした。
“Dario is right.”
（ダリオは正しい）
マスクは、自社が何をするとは言っていません。 同意の表明です。
別件として、OpenAIが2026年内の株式公開を見送ると報じられており、理由にAIの安全性が挙げられています（CNBC）。これはエッセイへの応答ではなく、同じ時期の別の動きです。
整理すると、いまこの時点で各社が単独で約束したのは「外部の評価者を社内に迎える」の1点だけです。 速度そのものに上限を設ける話は、2段階目と3段階目にあり、そこはまだ調整の呼びかけの段階にあります。
2026年夏から、論点が移った
アラインメントの節で挙げた1つ目——試験環境からの脱出——は、この記事と時期が地続きです。 『OpenAI・Anthropic・Metaのモデルが、試験環境から抜け出して実在の企業を攻撃した』は、2026年夏の5週間に3件が公表された件を扱っています。
そこでの論点は「何が起きたか」でした。 この9月に動いたのは、「どれだけ速く進めるか」のほうです。起きたことへの対処ではなく、起こる速度そのものに手をかけるという提案になっています。
この記事で分からないこと
書けないことを、先に並べておきます。
- 辞任がエッセイを招いたのかは、どの報道も裏づけていません。 4日という間隔は事実ですが、因果は別の話です
- 「10年以内に10%超」は、フービンガー個人の見立てです。 本人が “I personally think” と書いています。Anthropicの公式見解ではありません
- 減速がどれだけ実行されるかは、まだ何も測れません。 1段階目の評価者の受け入れが、実際にいつどう始まるのかは公表されていません
- 他社の動きは追えていません。 Google・Meta・中国の各社がこの提案にどう応じたかは、この記事の調査範囲に含まれていません
それでも、確かに動いた点が1つあります。 これまで「AIが人類を滅ぼすかもしれない」は、外部の批評家や思想家が語る言葉でした。今回は、その研究を率いている当人が、数字を添えて、自分の名前で書きました。 そこがこの6日間で変わったことです。