LLMの仕組み
Attention、層の積み重ね、そしてそれを動かすGPUとCUDA。LLMがなぜここまで何でもこなせるのか、その土台になっている構造を掘り下げます。動かすだけなら要らない知識ですが、挙動に納得がいくようになります。
12本。新しい順に並んでいます。
- アドバンスドいまのLLMは、2017年に提案された骨格をそのまま使っている。ただし中の部品は、ほぼ全部が差し替わった
- アドバンスドAttentionは、クエリとキーを突き合わせて、どの語からどれだけ情報を取り込むかを決めている。その割合はモデルの中に保存されていない
- ミディアムLLMの中でやっていることは2つだけ。語を数値の並びに変え、その並びを何十回も書き換えている
- LLMが読んだWebページから、HTMLのタグは剥がされている。タグを覚えたのは、HTMLについて書かれたページのほう
- LLMが表を作れるのは、表も文章で書けるからだった——組み直して表示しているのは、受け取る側のアプリ
- そもそも、ニューラルネットワークって何?
- ミディアムLLMの「層」とは何か——器は設計者が決め、中身は誰も決めていない深掘り
- ミディアムCUDAとは何か——GPUの1万個のコアへ、仕事を割り振る仕組み深掘り
- 売上の9割がAI向けに——GPUが世界一の商品になるまで深掘り
- 賢い数人より、単純な2万人——LLMがGPUを必要とする理由深掘り
- ミディアムAttentionとTransformer——LLMの中で実際に起きている計算深掘り
- なぜLLMは、こんなに何でもできるのか深掘り