いまのLLMは、2017年に提案された骨格をそのまま使っている。ただし中の部品は、ほぼ全部が差し替わった

2026/8/30アドバンスド比喩で止めず、実際の数値で計算を追ったり、部品ごとの差分まで踏み込みます。同じ題材の一段手前の記事を読んだ前提です

LLMの仕組みを調べると、必ず2017年の論文Attention Is All You Needに行き着きます。ここで疑問が生じます。この分野は動きが速いのに、9年前の論文をいま読む意味があるのか。

2026年8月の時点で確かめました。答えは「骨格はそのまま。中の部品はほぼ全部が入れ替わった」です。

骨格を押さえる場所としては、いまも2017年の論文で足ります。 そのうえで、何が入れ替わったかを見ていきます。

変わっていない骨格

まず、いまのLLMでも当時のままの部分です。仕組みそのものは『LLMの中でやっていることは2つだけ』に書きました。

この6つは、いまのモデルでもそのまま使われています。

一方で、中身はほとんど入れ替わりました。LLaMA論文は、元のTransformerから変更した点を3つ明記しています。

4行目に注目してください。論文の原文は「絶対的位置埋め込みを削除し、ネットワークの各レイヤーに回転位置埋め込み(RoPE)を追加」です。2017年の部品を、名指しで削除しています。

語順をどう伝えるかは、Transformerの要の1つでした。並べ替えても同じ扱いになってしまう仕組みなので、位置の情報を別に足す必要がある（→『「社長が部長を解雇した」と「部長が社長を解雇した」が、ほとんど同じ文として扱われた』）。その要の部分が、場所も方式も入れ替わりました。

部品の差し替えとは別に、形そのものに手が加わったものが3つあります。

2017年の論文が扱っていたのは翻訳でした。そのため読み取る側（エンコーダ）と書き出す側（デコーダ）の2つがあり、2つで1組でした。

いまのLLMの主流は、書き出す側だけです。文章を作るのが仕事なので、読み取る側の役目は、書き出す側が入力ごと読むことで足りる。骨格が半分になりました。

上のRoPEです。当時は入口で1回だけ位置の情報を足していました。いまは各層で扱います。場所も方式も変わったので、部品の差し替えというより形の変更にあたります。

MoE（英語では Mixture of Experts）と呼ばれます。層の中に担当違いの部品を何組も用意しておき、語ごとに一部だけを働かせるという仕組みです。

これは前提を1つ崩します。「モデルの中の数値が、毎回すべて使われる」が成り立たなくなるからです。

ただし手元で動かすときのメモリの見積もりは変わりません。 どの部品が呼ばれるかは事前に決まらないので、結局ファイル全体をメモリに載せておく必要がある（→『手元のMacでLLMを動かせるかどうかは、メモリの量で決まる』）。変わるのは1語あたりの計算量のほうです。

代表がMambaをはじめとする状態空間モデルです。

Attentionは、語が増えるほど組み合わせが増えて計算が重くなります。そこを別の仕組みで置き換えようという試みで、IBMの解説によれば、Attentionと状態空間モデルの層を混ぜたモデルが実用化されています（Jamba、IBM Granite 4.0など）。

ただし現状は置き換えではなく、混ぜる形です。主流はTransformerのままで、2026年8月の時点でここが逆転した様子はありません。

飛躍の度合いを、4段階で整理します。

骨格の中で正常に進化してきた、というのが実態に近い。 一部に構造の改変があり、Attentionを使わない試みも始まっていますが、中心はまだ2017年の論文の上にあります。

なので、仕組みを理解したい人が最初に押さえる場所は、いまも変わりません。 ここで挙げた差し替えは、骨格を分かったあとで足す知識です。