コードブックベクトル

$\mathbf{q} $をコードブックベクトル,$\mathbf{C}$をコードブックベクトルの集合であるコードブック,$\mathbf{e}$ をエンコーダーの出力,$\mathbf{Q(\cdot)}$をベクトル量子化層とし,エンコーダ出力 $\mathbf{e}$ に最も近いコードブックベクトル $\mathbf{q}$ を選択するものとする.

このとき,ユークリッド距離を用いる場合,ベクトル量子化層は次のように表される.\[\mathbf{Q(e)} = \arg\min_{\mathbf{q} \in \mathbf{C}} ||\mathbf{e} - \mathbf{q}||_2\]この式は,エンコーダ出力 $\mathbf{e}$ とコードブックベクトル $\mathbf{q} $ 間のユークリッド距離が最小となる $\mathbf{q}$ を $\mathbf{Q(e)}$ として選択することを意味する.

すなわち,コードブックベクトルは,エンコーダ出力が量子化される際に選択される代表的なベクトルということになる.深層学習モデルの学習プロセスを通じて,コードブックベクトルはデータセットの潜在的な特徴をより良く表現するように最適化される.

Mathematics is the language with which God has written the universe.