2016年11月1日 更新

RBMとは〜Boltzmann Machinesからの発展〜

前回のBoltzmann MachineからRestricted Boltzmann Machineへの拡張をします。

2,694 view お気に入り 0

3. Restricted Boltzmann Machine の学習

以下では下図のような層構造を持ったRBMを考えていきます。
Restricted Boltzmann Machine

Restricted Boltzmann Machine

\begin{align}
&E({v},{h}) = \frac{1}{2} {\Big{\|}}\frac{{v}-{b}}{{\sigma}} {\Big{\|}}^2 -{c}^T {h} - {\Big{(}}\frac{{v}}{{\sigma}^2} {\Big{)}}^T {W} {h}\\
&Z = \sum_{{v},{h}} e^{-E({v},{h})}\\
&p({v},{h}) = \frac{1}{Z} e^{-E({v},{h})}
\end{align}
ここで、可視層同士、隠れ層同士は結合していません。$S$はソフトマックス関数、$N$はガウス分布です。
\begin{align}
&p(h_{j}=1|{v}) = S(c_{j} + {W}_{:j}^T({\frac{v}{\sigma^2}}))\\
&p(v_{i}=v | {h}) = N(v|b_{i} + {W}_{i:}{h},\sigma_{i}^2)
\end{align}

難しそうな構造をしていますが、大事なのは、「連結しているもの同士の内積がコスト関数となり、層ごとの関係はコストに入らない」ということです。
Free photo: Lake, Landscape, Switzerland - Free Image on Pixabay - 1412216 (2632)

---------------------------------------------------------------------------------------------------------------------

今回はRBMについて紹介しました。実はNetworkの構造は近年、盛んに研究されています。これからも最新の研究を追っていきたいものです。
22 件

関連する記事 こんな記事も人気です♪

この記事のキュレーター

エルピクセル編集部 エルピクセル編集部