3. Restricted Boltzmann Machine の学習
以下では下図のような層構造を持ったRBMを考えていきます。
Restricted Boltzmann Machine
\begin{align}
&E({v},{h}) = \frac{1}{2} {\Big{\|}}\frac{{v}-{b}}{{\sigma}} {\Big{\|}}^2 -{c}^T {h} - {\Big{(}}\frac{{v}}{{\sigma}^2} {\Big{)}}^T {W} {h}\\
&Z = \sum_{{v},{h}} e^{-E({v},{h})}\\
&p({v},{h}) = \frac{1}{Z} e^{-E({v},{h})}
\end{align}
ここで、可視層同士、隠れ層同士は結合していません。$S$はソフトマックス関数、$N$はガウス分布です。
\begin{align}
&p(h_{j}=1|{v}) = S(c_{j} + {W}_{:j}^T({\frac{v}{\sigma^2}}))\\
&p(v_{i}=v | {h}) = N(v|b_{i} + {W}_{i:}{h},\sigma_{i}^2)
\end{align}
難しそうな構造をしていますが、大事なのは、「連結しているもの同士の内積がコスト関数となり、層ごとの関係はコストに入らない」ということです。
&E({v},{h}) = \frac{1}{2} {\Big{\|}}\frac{{v}-{b}}{{\sigma}} {\Big{\|}}^2 -{c}^T {h} - {\Big{(}}\frac{{v}}{{\sigma}^2} {\Big{)}}^T {W} {h}\\
&Z = \sum_{{v},{h}} e^{-E({v},{h})}\\
&p({v},{h}) = \frac{1}{Z} e^{-E({v},{h})}
\end{align}
ここで、可視層同士、隠れ層同士は結合していません。$S$はソフトマックス関数、$N$はガウス分布です。
\begin{align}
&p(h_{j}=1|{v}) = S(c_{j} + {W}_{:j}^T({\frac{v}{\sigma^2}}))\\
&p(v_{i}=v | {h}) = N(v|b_{i} + {W}_{i:}{h},\sigma_{i}^2)
\end{align}
難しそうな構造をしていますが、大事なのは、「連結しているもの同士の内積がコスト関数となり、層ごとの関係はコストに入らない」ということです。
via pixabay.com
---------------------------------------------------------------------------------------------------------------------
今回はRBMについて紹介しました。実はNetworkの構造は近年、盛んに研究されています。これからも最新の研究を追っていきたいものです。
今回はRBMについて紹介しました。実はNetworkの構造は近年、盛んに研究されています。これからも最新の研究を追っていきたいものです。
エルピクセル編集部
