日本語処理
LLMが日本語をどう扱っているか。単語への割り方、助詞・主語の処理、表記の違いなど、日本語特有の話を集めました。
10本。カテゴリはバラバラですが、同じ関心で並べています。
- ミディアム小さいLLMも「平社員が社長を解雇した」はあり得ないと知っていた——ただし言葉で聞くと、答えられなかったLLMと自然言語深掘り実践日本語処理手元で測る
- ミディアム「社長が部長を解雇した」と「部長が社長を解雇した」が、ほとんど同じ文として扱われた——語順も助詞も、意味ベクトルには残らなかったLLMと自然言語深掘り実践日本語処理手元で測る
- ミディアム「走る」も「走った」も「走」から始まっていた——LLMの区切り方は、日本語と英語で正反対だったLLMと自然言語深掘り日本語処理手元で測る
- ミディアム「飲んではいけない」が、「飲んでよい」の検索で1位になった——否定は、意味ベクトルをほとんど動かさなかったLLMと自然言語深掘り実践日本語処理手元で測る
- ミディアム「喜ぶ」と「嬉しい」は、品詞が違うのに近かった——名詞・動詞・形容詞の区別は、意味ベクトルに残っていなかったLLMと自然言語深掘り実践日本語処理手元で測る
- ミディアム「犬」と「いぬ」は、別の語として扱われている——表記を変えるだけで、意味ベクトルは遠くなったLLMと自然言語深掘り実践日本語処理手元で測る
- ミディアム文法を教わっていないのに、助詞を間違えない——LLMのどこに、日本語の文法は宿っているのかLLMと自然言語深掘り日本語処理
- LLMは日本語を単語に割っていないLLMと自然言語深掘り日本語処理
- 日本語で主語を省くと、椅子が2つ空くLLMと自然言語深掘り日本語処理
リファレンス
- LLMと日本語の用語集——トークン・ベクトル・RAGを、一言ずつ「トークンって結局なに？」「ベクトルの説明、どの記事に書いてあったっけ」となったときに開く1ページ。このサイトに登場する用語を、一言の説明と詳しい記事へのリンクで並べています。