LLMと自然言語
「が」と「は」をなぜ間違えないのか、単語をどう切っているのか、「意味が近い」とは座標として何を指すのか。言語学一般ではなく、LLMがことばをどう扱っているかに絞って、実際に手を動かして測った記事を集めます。
リファレンス（早見表）
- LLMと日本語の用語集——トークン・ベクトル・RAGを、一言ずつ
「トークンって結局なに？」「ベクトルの説明、どの記事に書いてあったっけ」となったときに開く1ページ。このサイトに登場する用語を、一言の説明と詳しい記事へのリンクで並べています。
17本。新しい順に並んでいます。
- ミディアム誤字脱字があっても、AIは文脈の中で意味を把握していた深掘り
- ミディアムChatGPTにジョークを1008回頼むと、9割が同じ25個だった深掘り
- ミディアム小さいLLMも「平社員が社長を解雇した」はあり得ないと知っていた——ただし言葉で聞くと、答えられなかった深掘り実践日本語処理手元で測る
- ミディアム「社長が部長を解雇した」と「部長が社長を解雇した」が、ほとんど同じ文として扱われた——語順も助詞も、意味ベクトルには残らなかった深掘り実践日本語処理手元で測る
- ミディアム「走る」も「走った」も「走」から始まっていた——LLMの区切り方は、日本語と英語で正反対だった深掘り日本語処理手元で測る
- ミディアム「飲んではいけない」が、「飲んでよい」の検索で1位になった——否定は、意味ベクトルをほとんど動かさなかった深掘り実践日本語処理手元で測る
- ミディアム「喜ぶ」と「嬉しい」は、品詞が違うのに近かった——名詞・動詞・形容詞の区別は、意味ベクトルに残っていなかった深掘り実践日本語処理手元で測る
- ミディアムオセロのルールを教わっていないのに、モデルは盤面を持っていた——次の一手を当てる訓練だけで、状況の表現が立ち上がった深掘り
- ミディアム犬と猫は、思ったほど近くなかった——意味ベクトルで測ると、犬に近いのは牛・馬・豚だった深掘り実践手元で測る
- ミディアムクジラのほうが、人間より哺乳類だった——意味ベクトルが見ているのは、分類ではなく使われ方深掘り実践手元で測る
- ミディアム「犬」と「いぬ」は、別の語として扱われている——表記を変えるだけで、意味ベクトルは遠くなった深掘り実践日本語処理手元で測る
- ミディアム人間はチンパンジーよりマグロに近かった——LLMの意味空間は、生き物の分類でできていない深掘り実践手元で測る
- ミディアム文法を教わっていないのに、助詞を間違えない——LLMのどこに、日本語の文法は宿っているのか深掘り日本語処理
- LLMは日本語を単語に割っていない深掘り日本語処理
- 日本語で主語を省くと、椅子が2つ空く深掘り日本語処理
- 有名人のことは詳しく、無名な人のことは知らない——LLMの「知っている」の正体深掘り
- 言葉が数字になるまで——ベクトルと、意味の学習深掘り