人工智慧/神經網路/自然神經網路
自然神經網路與神經網路的分散式處理模擬之間的主要區別在於,該模型試圖捕捉真實神經元和真實神經元自然排列的功能。從早期感知器中使用的赫布模型到現代神經模型,這些模型試圖捕捉在同一細胞內實現不同形式記憶的生化執行緒,這一直以來都是尋找一個合理的神經元模型,並從該模型的實現中學習自然神經系統如何工作。這是一條漫長而艱難的道路,儘管神經網路在人工智慧領域中獲得了聲望,也失去了聲望,但神經科學家不得不一次又一次地回到神經網路模型,因為這是學習關於自然神經元網路的最合乎道德的方法。
與其他形式的神經科學不同,神經模型不會殺死動物以獲取它們的神經元,也不會折磨動物以觀察它們的反應,它們甚至不涉及真實的動物,而是透過使它們流經計算機電路來折磨可回收的電子。這些電子甚至看不見,而且由於電子被認為不是活的,所以沒有倫理上的擔憂,除了可能使用電力,但建模不是對電流量的嚴重使用,因為計算機效率很高。簡而言之,折磨電子幾乎沒有任何倫理上的錯誤。
然後問題就變成了,什麼是以下方面的最佳模型
- 神經元
- 網路
- 學習演算法
神經元模型可以以多種方式分類
例如,一些神經元模型具有二元輸出,只有少數具有整數輸出,大多數具有浮點輸出。一些神經元具有所謂的尖峰神經輸出。有些神經元在其輸入方面具有線性輸出,而有些神經元具有非線性或動態輸出。
另一個例子是輸出計算公式,一些神經元模型具有簡單的突觸積分,一些神經元模型具有二階計算,而一些神經元模型根本沒有突觸。然後是範圍函式,它將輸入值對映到輸出值,根據被建模的神經元型別,可以有多種形狀,等等。
還有許多其他額外的複雜因素,例如習慣、不同型別的突觸,這些突觸可以影響細胞的操作方式,超出基本的抑制突觸和興奮性突觸。然後是樹突複雜度將被納入神經元模型還是外部化為網路模型的問題。
然後是學習演算法是神經元模型的一部分還是網路模型的一部分的問題。如果學習演算法在神經元內部,則沒有意義使用反向傳播網路。
網路模型包括
前饋模型,其中每一層依次饋送下一層 反饋模型,其中至少一部分後續層的輸出被饋送回前一層 迴圈模型,即使是相同的神經元也可以被饋送回自身
反向傳播,其中“誤差”訊號從後續層饋送回以“訓練”前一層。
隱藏層模型,被認為是對馬文·明斯基的奉承,是一種擴充套件神經網路動態性的方法,而無需重新設計模型。本質上,它們在“隱藏層”中捕獲樹突質量的複雜性,因為樹突的分支在數學上與胞體相同,只是輸出條件和放電閾值不同。
最初,網路在設計上是靜態的,但隨著時間的推移,有必要對可以生長新的連線並修剪現有連線以去除多餘連線的網路進行建模。
最初的學習規則是基於突觸使用越多越強,使用越少越弱的理念。
該學習規則的一個變體是 Delta 規則,它提高了學習速度,並對必須在多層網路中反向傳播的“誤差”訊號做出反應。由於其過學習的趨勢,Delta 規則網路只能在監督模式下學習。
最新的細胞學習規則是雙規則系統,它涉及一個突觸前規則和一個突觸後規則,它們在神經元本身內執行。由於它不需要反向傳播,它可以保持平衡,無需過學習,因此可以用於無監督學習。
然而,為了補充這條規則,我們必須考慮到神經系統的新模型包含並行執行的學習執行緒,並實現短期、長期,甚至可能是中期記憶。由於細胞長期記憶的某些模型需要物理連線,因此對這些連線生長的建模成為該模型的一部分。
神經元從不單獨存在。事實上,小規模的神經元網路連線到更大的神經元網路,形成貫穿整個身體的網路,其中心在身體的多箇中心處理特定型別的資訊。這些中心之一是大腦,它將數十億個神經元連線在一起,形成一個非常複雜的網路,我們現在才開始設想對其進行建模。
如果我們要處理像大腦一樣複雜的系統,我們需要新的神經網路模型,這些模型可以捕捉神經元結構的多樣性,可以解釋不同型別神經元群的功能,並解釋為什麼一些相似的神經元表現得好像它們是一個單一的實體,其中只有一個或兩個神經元為整個群體放電。
對自然神經元網路進行建模的神經網路正在捲土重來,僅僅是因為我們對神經科學的理解正在隨著新工具的出現而擴充套件,這些工具使我們比以往任何時候都更接近於瞭解神經元在做什麼。隨著我們努力理解大腦,我們有可能想象在未來 20 年內能夠建造一臺有意識的機器。