ボルツマンマシン

ボルツマン・マシンとは

ボルツマン・マシン（Boltzmann machine）は、1985年にジェフリー・ヒントンとテリー・セジュノスキーによって発表された確率的回帰結合型ニューラルネットワークの一種です。このモデルは、主に統計物理学のコンセプトを利用した機械学習アルゴリズムの基盤を形成しています。

概要

ボルツマン・マシンは、内部の構造を学習する能力を持つ最初のニューラルネットワークの一つとして注目を集めてきました。特に、これらのネットワークは、統計的変動を用いるホップフィールド・ネットワークの一形式とみなされます。彼らは難解な組合せ最適化問題に挑むことができ、十分な時間を与えられれば、特定の複雑な問題を解決することが期待されます。ただし、ボルツマン・マシンは実用的な機械学習や推論のためにいくつかの課題を抱えており、特に接続制限のない原型は実用性に欠けるとされています。それでもボルツマン・マシンは、その局所的な性質やヘッブ的な学習アルゴリズム、さらには物理的プロセスとの類似性から、理論的に魅力的な存在であり続けています。ボルツマン・マシンは、確率密度関数を計算する能力も持っています。

構造

ボルツマン・マシンは、ホップフィールド・ネットワークと同様に、ユニット間の結合によって成り立つネットワークです。各ユニットは、活性または不活性の状態を示し、その状態は確率的に決定されます。ネットワーク全体のエネルギーは、ユニット同士の相互作用によって定義され、数式で表されるそのエネルギーの形式はホップフィールド・ネットワークと類似しています。

エネルギーの定義は以下の通りです。

$$
E = - \left( \sum_{i $$

ここで、$w_{ij}$はユニット間の結合係数、$s_i$はユニットの出力状態、$\theta_i$はユニットのバイアスを示します。ボルツマン・マシンの接続には二つの制約があり、ユニット間で自己接続がないことと、全ての接続が対称性を持つことが求められています。これにより、重み行列$W$は対称行列となります。

さらに、ユニットが取る状態が変化することでエネルギーの変化が生じ、その差は次のように表現されます。

$$
\Delta E_i = \sum_{j} w_{ij}s_j + \theta_i
$$

この式は、特定のユニットが活性または不活性になることに伴うエネルギーの変化を示しています。

施行の問題

ボルツマン・マシンは理論的には強力な計算手段を提供しますが、実用化に際しては特有の問題を抱えています。特に、ユニットが多くなることで学習が不安定になる傾向があり、平衡統計を収集するのに必要な時間が指数関数的に増大します。また、接続の強度が不安定であり、ノイズにより結果がばらついてしまうことが課題として挙げられます。

制限ボルツマン・マシン

非実用的な一般のボルツマン・マシンに替わり、「制限ボルツマン・マシン（RBM）」が開発されました。RBMは一層内のユニット間の接続を制限することで、より効率的な学習を可能にします。特にコントラスティブ・ダイバージェンス法を用いることで、高速な学習が実現されています。

RBMは、隠れユニットによって可視ユニットの分布を近似し、後に階層を重ねることでより高次の特徴を学習する方法を採用しています。これにより、深層学習における基盤的手法としても認識されています。

以下は、RBMの実用例の一つとして音声認識ソフトウェアの改善が挙げられます。

出典

• - ボルツマン・マシンに関する論文や資料が多数存在しており、進化する機械学習の一環として影響を与えています。

もう一度検索