人工神經網路/迴圈網路

迴圈網路

在迴圈網路中，每一層 l 的權重矩陣包含來自網路中所有其他神經元的輸入權重，而不僅僅是來自前一層的權重。這些反饋路徑帶來的額外複雜性可能會在網路中帶來一些優勢和劣勢。

簡單迴圈網路

與前饋網路不同，迴圈網路具有反饋元素，這些元素使一層中的訊號能夠反饋到前一層。圖 6 顯示了一個基本迴圈網路。簡單迴圈網路具有三層：輸入層、輸出層和隱藏層。在輸入層中添加了一組額外的上下文單元，這些單元接收來自隱藏層神經元的輸入。從隱藏層到上下文單元的反饋路徑具有固定的單位權重。

完全迴圈網路是每個神經元都接收來自系統中所有其他神經元的輸入的網路。此類網路不能輕易地排列成層。只有一小部分神經元接收外部輸入，而另一小部分神經元產生系統輸出。如果迴圈網路滿足以下條件，則稱為對稱網路

$w_{ij}=w_{ji}\forall i,j$

Elman 網路

Elman 網路是簡單迴圈網路 (SRN) 的特例，具有四層：輸入層、輸出層、隱藏層和上下文層。上下文層在第 N 次迭代時向隱藏層饋送從第 N-1 次迭代的隱藏層輸出計算出的值，從而提供短時記憶效果。例如，Elman 網路用於預測一系列值。

每層有 2 個神經元的 Elman 網路。藍色連線的權重始終等於 1，紅色連線的權重可以訓練。