人工神經網路/前饋網路

前饋系統

前饋神經網路是最簡單形式的 ANN。如下圖所示，前饋神經網路只包含前向路徑。多層感知器 (MLP) 是前饋神經網路的一種示例。下圖顯示了一個具有兩個隱藏層的前饋網路。

圖：具有兩個隱藏層的前饋網路

連線權重

在前饋系統中，PE 被排列成不同的層，每一層接收來自前一層的輸入，並輸出到下一層。沒有反饋。這意味著來自一層​​的訊號不會傳輸到前一層。這可以用數學表示為

$w_{ij}=0{\mbox{ if }}i=j$

$w_{ij}=0{\mbox{ if }}layer(i)\leq layer(j)$

直接反饋路徑的權重（從神經元到自身）為零。從神經元到前一層的權重也為零。請注意，前向路徑的權重也可能為零，具體取決於網路架構，但並非必須為零。沒有所有可能的正向路徑的網路被稱為稀疏連線網路或非全連線網路。利用的可用連線百分比稱為網路的連線性。

數學關係

來自第l - 1層到第l層中每個神經元的權重被排列成矩陣w_l。每一列對應於第l - 1層中的一個神經元，每一行對應於第l層中的一個神經元。來自第l - 1層到第l層的輸入訊號是向量x_l。如果ρ_l是作用於每一行輸入的啟用函式向量 [σ1 σ2 … σn]，並且b_l 是一個任意偏移向量（用於泛化），那麼第l層的總輸出為

$\mathbf {y} _{l}=\rho _{l}(\mathbf {w} _{l}\mathbf {x} _{l}+\mathbf {b} _{l})$

兩層輸出可以透過將第一層的輸出代入第二層的輸入來計算

$\mathbf {y} _{l}=\rho _{l}(\mathbf {w} _{l}\rho _{l-1}(\mathbf {w} _{l-1}\mathbf {x} _{l-1}+\mathbf {b} _{l-1})+\mathbf {b} _{l})$

此方法可以繼續用於計算具有任意層數的網路的輸出。請注意，隨著層數的增加，此計算的複雜度也會增加。足夠大的神經網路很快就會變得過於複雜，無法進行直接的數學分析。