今の生成AIブームは、多くの人にとって「急に始まったもの」に見えるかもしれません。でも実は、これはAIにとって3度目のブームです。過去2回のブームは、どちらも「冬」と呼ばれる停滞期で終わっています。
この記事では、Transformerが登場する2017年までの70年——AIが二度盛り上がり、二度沈んだ道のりをたどります。続きの「LLM以降」の歴史は別記事にまとめました。
第1のブーム：「人工知能」という言葉が生まれる（1950年代〜60年代）
1950年、アラン・チューリングは論文「Computing Machinery and Intelligence」で「機械は考えることができるか」という問いを立てました。原論文は、この問いを、後にチューリングテストと呼ばれることになる「模倣ゲーム」という具体的な形に置き換えて論じています。
「人工知能」(Artificial Intelligence)という言葉が公式に使われたのは、その6年後です。1956年、ジョン・マッカーシーやマービン・ミンスキーらがダートマス大学で開いた会議の提案書に、この語が記されています。「2ヶ月、10人でこの夏に人工知能の研究を行う」という、ずいぶん気軽な書き出しで始まる提案書でした。
この時期は楽観に満ちていました。1958年、フランク・ローゼンブラットが発表したパーセプトロン——脳の学習を模したパターン認識の仕組み——は、ニューヨーク・タイムズに「歩き、話し、見て、書き、自己を複製し、自らの存在を意識できるようになると期待される、電子計算機の萌芽」と報じられたといいます（The Conversationの記事による）。1966年には、MITのジョセフ・ワイゼンバウムが対話プログラムELIZAを発表しました。単純な規則で応答を組み立てるだけの仕組みでしたが、原論文にあるとおり、心理療法士を模したスクリプトで自然な会話を成立させ、多くの人を驚かせています。
第1の冬：期待と成果のギャップが露呈する（1970年代）
ところが1960年代の終わりから、期待と実績のギャップが表面化します。
先に沈んだのは機械翻訳でした。1966年、アメリカの諮問委員会ALPACは、機械翻訳研究の現状を評価した報告書で「翻訳分野に緊急性はない」と結論づけました。この一言が、アメリカにおける機械翻訳研究への資金を事実上打ち切ります。
1973年には、イギリスでも同じことが起きます。流体力学者ジェームズ・ライトヒルが英国のAI研究をまとめて評価した報告書は、「AI研究に携わるほとんどの人が、過去25年間の約束に対して、成果の乏しさに落胆していることを認めている」と述べました。この報告書を機に、イギリスの多くの大学でAI研究への予算が絞られます。
パーセプトロンにも影が差します。1969年、ミンスキーとシーモア・パパートは著書『Perceptrons』で、単層のパーセプトロンがXORのような単純な問題すら解けないことを数学的に証明しました。多層に拡張しても「実り多いとは考えにくい」という一節も残していますが、これは証明ではなく直感的な見立てでした。「この本がニューラルネット研究全体への資金を止めた」という語られ方をすることがありますが、ミンスキー自身は後年、増補版の序文で「進展が止まっていたのは、そもそも基礎理論が不十分だったからだ」と、この因果関係に異を唱えています（出典）。通説をそのまま信じるより、割り引いて聞いたほうがよさそうな逸話です。
こうして、資金と期待が急速にしぼんだ1970年代は、後に「第一次AIの冬」と呼ばれるようになりました。
第2のブーム：専門知識を売り物にする（1980年代）
冬の後にやってきたのは、もっと実利的なアプローチでした。エキスパートシステム——特定の専門分野のルールをひたすら詰め込んだプログラムです。
スタンフォード大学で開発されたMYCINは、約350のルールで感染症の診断や抗生物質の処方を助言しました。DEC社が導入したXCON（別名R1）は、コンピュータの受注構成をルールベースで自動化し、原論文の著者らによれば1986年までに8万件の注文を95〜98%の精度で処理したとされています。日本でも1982年、通商産業省が「第五世代コンピュータ」プロジェクトを開始し、並列処理と論理プログラミングを軸にした次世代コンピュータの開発に大規模な予算を投じました。
エキスパートシステムは、初めて「AIで実際に儲かる」ことを示した技術でした。専用のハードウェアであるLispマシンを作る企業まで生まれ、市場は活況を呈します。
第2の冬：市場が急速にしぼむ（1980年代後半）
ところがこのブームも長くは続きませんでした。1987年前後、Lispマシン市場が急速に縮小します。汎用ワークステーションの性能向上・低価格化、株式市場の急落（1987年）、そしてエキスパートシステムへの過大な期待の反動——複数の要因が重なった結果とされています。専業だったSymbolics社をはじめ、この市場は数年のうちに姿を消しました。「第二次AIの冬」の到来です。
面白いのは、この冬の入り口——エキスパートシステムがまだ持てはやされていた1986年——に、後の主役となる技術がひっそりと発表されていたことです。デビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズがNature誌に発表した論文は、誤差逆伝播法によって多層のニューラルネットを学習させる手順を示しました。『言葉が数字になるまで』で「外れた分だけつまみを回す」と説明した、その学習原理の原型です。当時は主役になれませんでしたが、この論文が後にニューラルネット研究への関心を呼び戻すきっかけになります。
助走：誰も見ていないところで積み上がった技術（1990年代〜2000年代）
第二次AIの冬の後、「AI」という言葉自体が敬遠される時期が続きます。それでも、水面下では技術が積み上がっていました。
1997年、IBMのDeep Blueが、世界チャンピオンだったガルリ・カスパロフに勝利します。ニューラルネットではなく力任せの探索によるものでしたが、「コンピュータが人間の知的能力の象徴を打ち負かした」という出来事は、世間の記憶に強く残りました。
同じ1997年、ゼップ・ホッホライターとユルゲン・シュミットフーバーが発表したLSTMは、遠く離れた情報を覚えておくのが苦手だったリカレントニューラルネットの弱点を克服する仕組みでした。論文によれば、1000ステップ以上前の情報でも誤差を伝え続けられるといいます。
2006年には、ヒントンらが深層信念ネットワークの高速な学習法を発表し、「ディープラーニング」という言葉が使われ始めます。まだ一部の研究者の間の話でした。
第3のブーム：今度は、沈んでいない（2012年〜）
潮目が変わったのは2012年です。
トロント大学のアレックス・クリジェフスキー、イリヤ・サツケバー、ジェフリー・ヒントンが発表したAlexNetは、画像認識のコンペティションILSVRCで、圧倒的な成績を叩き出しました。エラー率15.3%——2位に10ポイント以上の差をつけての優勝です。GPUを使った並列計算が、それまで非現実的だった規模のニューラルネット学習を可能にしていました。この結果を支えたのが、プリンストン大学の李飛飛らが2009年に発表していた大規模画像データベースImageNetです。学習に使える「量」が揃って、初めて実力が発揮されました。
以降は、坂を転げ落ちるように技術が積み上がっていきます。2013年には単語をベクトル化するword2vec、2014年には文章を丸ごと別の文章に変換するseq2seqと、まだTransformerの前身にあたるAttention機構。2016年には、DeepMindのAlphaGoが囲碁のトップ棋士イ・セドルを4勝1敗で下し、深層学習の実力が一般の目にも明らかになりました。
そして2017年、Googleの研究チームがTransformerという構造を発表します。ここから先は、すでに書いた記事、そしてLLM以降のAIの歴史に続きます。
二度の冬から、何が学べるか
二度の冬には、共通する構図がありました。投資と期待が積み上がるスピードに対して、実際の性能の伸びが追いつかなかったということです。ALPACもライトヒルも、「約束に対して成果が乏しい」という、資金を出す側の失望を公式文書として記録しています。
第3のブームは、2012年から数えてもう10年以上続いています。過去2回よりも、はるかに長く続いていることは事実として言えます。ただし、それが「今回は違う」ことの証明にはなりません。歴史は、同じ理由で三度目の冬が来ないとは、何も保証していません。 少なくとも、これが最初のブームではないという事実くらいは、知っておいて損はないはずです。
まとめ
- 1956年、ダートマス会議で「人工知能」という言葉が生まれた。以来、AIは二度のブームと二度の冬を経験している
- 第一次AIの冬（1970年代）は、機械翻訳（ALPAC）とAI全般（ライトヒル）、どちらも「約束に成果が追いついていない」という公式評価が引き金になった
- 第二次ブーム（エキスパートシステム）は初めて商業的な成功を示したが、Lispマシン市場の急速な縮小とともに終わった
- 皮肉なことに、第二次AIの冬の入り口（1986年）に、今のLLMにつながる誤差逆伝播法の論文が発表されていた
- 2012年のAlexNet以降の第三次ブームは、GPU計算力と大規模データが揃って初めて実力を発揮した。10年以上続いており、過去最長
- 「今回は違う」保証はどこにもない。 それでも、今の熱狂が史上初めてではないと知っておく価値はある