連想記憶モデル
定義：連想記憶[associative memory]
連想記憶モデルとは,スピン系のエネルギー最小化原理を利用して構築された,不完全な入力パターンから,それに関連する完全なパターンを想起[復元]できるモデルをいう.
連想記憶モデルは,以下の要素から構成される.
- 状態空間：
系の状態を表すベクトル $\mathbf{x} \in \mathbb{R}^n$ または $\mathbf{x} \in \{-1, 1\}^n$ - エネルギー関数：
状態のエネルギーを表す関数 $E: \mathbb{R}^n \to \mathbb{R}$.エネルギー関数 $E(\mathbf{x})$ は次の形式を持つ.\[E(\mathbf{x}) = -\frac{1}{2} \sum_{i,j} W_{ij} x_i x_j - \sum_{i} b_i x_i,\]ここで,- $W_{ij}$ は $i$ 番目と $j$ 番目の状態間の結合強度[重み行列]
- $b_i$ は $i$ 番目の状態のバイアス
- 更新ルール：
状態 $\mathbf{x}$ は,エネルギー関数 $E(\mathbf{x})$ を最小化するように更新される.例えば,単一ユニットの更新ルールは以下のように定義される.\[x_i^{\text{new}} = \text{sgn}\left(\sum_{j} W_{ij} x_j + b_i\right),\]ここで, $\text{sgn}$ は符号関数である. - 安定性条件：
エネルギー関数 $E(\mathbf{x})$ の局所最小点はネットワークの安定な状態[記憶パターン]を表し,入力に応じてその近くの記憶パターンに収束する.
ホップフィールドネットワークは連想記憶モデルの一種であり,特にエネルギー最小化に基づく特定の構造を持つニューラルネットワークである.
連想記憶モデルの歴史
最初期の連想記憶モデル：コンピュータ科学者のカール・シュタインブーフ[Karl Steinbuch;1917-06-15/2005-06-04]は,学習行列という形で世界で初めての工学的な連想記憶システムの提案を行う.これにより,2値パターン[binary pattern]の学習と記憶のための行列モデルが導入された.
Steinbuch, K. （1961）. "Die Lernmatrix". Kybernetik, 1（1）, 36-45.
相関行列メモリの提案：テウヴォ・コホネン[Teuvo Kohonen;1934-07-11/2021-12-13]は,入力パターンと出力パターンの間の関連を記憶することを目的とした単純な線形モデルである相関行列メモリ[Correlation Matrix Memories]を提案.
Kohonen, T. （1972）. "Correlation Matrix Memories". IEEE Transactions on Computers, C-21（4）, 353-359.
ホップフィールドネットワークによる理論的基盤の確立：
Hopfield, J. J. （1982）. "Neural networks and physical systems with emergent collective computational abilities". Proceedings of the National Academy of Sciences, 79（8）, 2554-2558.
連想記憶の理論的発展：テウヴォ・コホネン[Teuvo Kohonen;1934-07-11/2021-12-13]によって,入力パターンと出力パターンの間の関連性を学習し,適切な重み付けを行うことにより,与えられた入力に対して対応する出力を再現する適応的な連想記憶モデルが提案される.このアプローチは,後の自己組織化マップ[SOM]や他のニューラルネットワークモデルの基礎となる概念を提供した.
Kohonen, T. （1974）. "An Adaptive Associative Memory Principle". IEEE Transactions on Computers, C-23（4）, 444-445.
容量解析に関する重要な研究：アミット[Amit],グートフロイント[Gutfreund],ソンポリンスキー[Sompolinsky]は,ホップフィールドネットワークが記憶できるパターンの最大数,すなわち,ネットワークの容量について解析を行なった.彼らはネットワークのサイズ $N$ と記憶するパターン数 $p$ の比率 $\alpha=\frac{p}{N}$ がある臨界値を超えると,ネットワークはスピンガラス状態に入ってしまい,記憶したパターンの再生能力が低下することを見出した.
Amit, D. J., Gutfreund, H., & Sompolinsky, H. （1985）. "Storing Infinite Numbers of Patterns in a Spin-Glass Model of Neural Networks". Physical Review Letters, 55（14）, 1530-1533.
Mathematics is the language with which God has written the universe.
