トークン化

トークナイザー学習

テキストコーパスから語彙と分割ルールを機械学習するプロセスで、特定のタスクやドメインに対する表現を最適化する。

← 戻る