人工神經網路/玻爾茲曼機

玻爾茲曼學習比較了輸入資料分佈 P 和機器的輸出資料分佈 Q [24]。這兩個分佈之間的距離由 Kullback-Leibler 距離給出

$w_{ij}[n+1]=w_{ij}[n]-{\frac {\partial G}{\partial w_{ij}}}$

其中

${\frac {\partial G}{\partial w_{ij}}}=-{\frac {1}{T}}[p_{ij}-q_{ij}]$

這裡，pij 是系統處於訓練階段（正階段）時元素 i 和 j 都開啟的機率，qij 是生產階段（負階段）時元素 i 和 j 都開啟的機率。元素 j 開啟的機率 pi 由下式給出

$p_{i}={\frac {1}{1+e^{\frac {-\Delta E_{i}}{T}}}}$

T 是一個標量常數，稱為系統的溫度。玻爾茲曼學習非常強大，但隨著網路中新增更多神經元，演算法的複雜性呈指數級增長。為了減少這種影響，可以使用受限玻爾茲曼機 (RBM)。RBM 中的隱藏節點不像普通玻爾茲曼網路那樣相互連線。一旦在特定的特徵集上訓練，這些 RBM 可以組合在一起形成更大、更多樣化的機器。

由於玻爾茲曼機權重更新只需要檢視周圍神經元的預期分佈，因此它是實際生物神經網路如何學習的合理模型。