表現学習

表現学習[feature learning]の主な目的は,入力データを有用な表現空間[Representation Space]に変換することにある.

表現学習のプロセスを通じて,表現空間が形成される.この空間は,学習アルゴリズムによって発見された特徴や構造を反映したものとなる.

すなわち,$\mathcal{X}$ を入力空間, $Z$ を表現空間[特徴空間]とすると,表現学習は,\[f_{\theta}: \mathcal{X} \to \mathcal{Z}\]と表すことができる.

あらためて,ここで,

• 入力空間：$\mathcal{X}$ を入力データの空間とする.例えば,画像の場合は,$\mathcal{X} = \mathbb{R}^{width \times height \times channels}$ と表される.
• 表現空間：$\mathcal{Z}$ を学習された特徴の空間とする.特徴空間ともいう.
  通常,$\dim(\mathcal{Z}) < \dim(\mathcal{X})$ .
  例：$\mathcal{Z} = \mathbb{R}^d$, ここで $d$ は特徴の次元.
• 表現関数：$f_{\theta}: \mathcal{X} \rightarrow \mathcal{Z}$ を入力から特徴への写像とする.ここで $\theta \in \Theta$ はモデルのパラメータ空間である.
• データ分布：$p(x)$ を入力データの確率分布とする.
• タスク固有の損失関数：$\ell: \mathcal{Z} \times \mathcal{Y} \rightarrow \mathbb{R}^+$ をタスク固有の損失関数とする.ここで $\mathcal{Y}$ は出力空間[分類タスクのラベル空間etc]である.
• 目的関数：$\mathcal{L}(\theta) = \mathbb{E}{(x,y) \sim p(x,y)}[\ell(f{\theta}(x), y)] + \lambda R(\theta)$
  ここで,$p(x,y)$ は入力とラベルの結合分布, $R(\theta)$ は正則化項, $\lambda$ は正則化の強さを制御するハイパーパラメータとする.
• 最適化問題：$\theta^* = \arg\min_{\theta \in \Theta} \mathcal{L}(\theta)$

とする.

以上を用いて表現学習[feature learning]のフレームワークを考える.まず,入力空間から特徴空間への写像を考える.これは,すなわち,表現関数 $f_{\theta}$ によって,入力空間 $\mathcal{X}$ の要素を特徴空間 $\mathcal{Z}$ の要素に変換するということである.つまり,$\forall x \in \mathcal{X}, f_{\theta}(x) \in \mathcal{Z}$ .

目的関数 $\mathcal{L}(\theta)$ は,表現関数 $f_{\theta}$ によって生成された特徴の質を評価するものである.この評価は,タスク固有の損失 $\ell$ を通じて行われる.

最適化問題は,目的関数 $\mathcal{L}(\theta)$ を最小化するパラメータ $\theta$ を見つけることを目的とする.これにより,最適な表現関数 $f_{\theta}$ を得ることができる.

目的関数は,データ分布 $p(x,y)$ に関する期待値として定義される.これにより,学習された特徴が全データセットに対して一般化されることが期待される.

正則化項 $R(\theta)$ は,過学習を防ぎ,より汎化性能の高い表現を学習することが可能となる.

以上は,表現学習[feature learning]の一般的なフレームワークである.

INDEX