人工神經網路/霍普菲爾德網路

霍普菲爾德網路

霍普菲爾德網路是最古老、最簡單的網路之一。霍普菲爾德網路利用網路能量函式。二元霍普菲爾德網路的啟用函式由帶偏置加權和的符號函式給出

$y_{i}=\operatorname {sgn}(\zeta _{i}-\theta _{i})$

霍普菲爾德網路通常是二值的，儘管也存在連續變體。二元網路可用於分類和聚類目的。

能量函式

網路的能量函式給出為

$E=-{\frac {1}{2}}\sum _{i}\sum _{j}w_{ij}y_{i}y_{j}$

這裡，y引數是第i個和第j個單元的輸出。在訓練過程中，網路能量應該下降，直到達到最小值。該最小值被稱為網路的吸引子。隨著霍普菲爾德網路的發展，能量會自動最小化。這意味著，如果該問題可以根據網路能量來表述，那麼霍普菲爾德網路可以自動解決數學最小化或最佳化問題。

聯想記憶

霍普菲爾德網路可以作為聯想記憶網路用於資料儲存目的。每個吸引子代表儲存在網路中的不同資料值，並且可以使用一系列相關模式來檢索資料模式。儲存在這樣的網路中的不同模式 p 的數量近似為

$p_{max}\approx 0.15n$

其中 n 是網路中的神經元數量。