トークン

トークン[token]とは,自然言語テキストを処理可能な最小単位に分割したものであり,語彙[vocabulary]に基づいて言語モデルが認識・処理できる形式に変換された言語の断片である.トークンは単語全体,単語の一部,記号,あるいは特殊文字などで構成され,言語モデルの入力および出力の基本単位として機能する.

単語単位,単語をさらに細かく分割するサブワード単位,文字単位等のトークン化の方式の選択は,言語モデルの言語理解能力,計算効率,語彙カバレッジ,および多言語対応能力に直接影響するため,言語モデルの全体的な性能と効率性を左右する重要な要素である.