人工神經網路/歷史
神經網路的歷史可以追溯到 19 世紀後期，當時科學家開始嘗試研究人腦的工作原理。1890 年，威廉·詹姆斯發表了第一部關於大腦活動模式的著作。1943 年，麥卡洛克和皮茨提出了一個神經元模型，該模型至今仍在人工神經網路中使用。該模型分為兩部分：對加權輸入的求和以及對該和的輸出函式。
1949 年，唐納德·赫布出版了《行為的組織》，其中概述了一種突觸神經元學習定律。這條定律後來被稱為 Hebbian 學習，以紀念唐納德·赫布，它是最簡單也是最直接的人工神經網路學習規則之一。
1951 年，馬文·明斯基在普林斯頓大學工作時建立了第一個 ANN。
1958 年，《計算機與大腦》出版，這是約翰·馮·諾依曼去世一年後出版的遺作。在這本書中，馮·諾依曼提出了許多對研究人員對大腦建模方式的重大改變。
Mark I 感知機也是在 1958 年由弗蘭克·羅森布拉特在康奈爾大學建立的。感知機試圖利用神經網路技術進行字元識別。Mark I 感知機是一個線性系統，對於解決輸入類別在輸入空間中線性可分的那些問題非常有用。1960 年，羅森布拉特出版了《神經動力學原理》一書，其中包含了他關於大腦建模的大部分研究和想法。
感知機是一個線性系統，具有簡單的輸入輸出關係，定義為一個具有階躍啟用函式的麥卡洛克-皮茨神經元。在這個模型中，加權輸入與閾值 θ 進行比較。輸出 y 定義為一個簡單的階躍函式
儘管感知機和人工神經網路研究在早期取得了成功，但許多人認為這些技術的前景有限。其中包括馬文·明斯基和西摩爾·佩珀特，他們在 1969 年出版的《感知機》一書中對 ANN 研究提出了質疑，並將注意力集中在 ANN 研究的明顯侷限性上。明斯基和佩珀特最明確地指出的侷限性之一是，感知機無法對輸入空間中線性不可分的模式進行分類。下面，左側的圖顯示了一個具有線性可分分類問題的輸入空間。相比之下，右側的圖顯示了一個分類不是線性可分的輸入空間。
 |
 |
儘管 Mark I 感知機無法處理非線性可分資料，但這並不是這項技術的固有缺陷，而是規模問題。Mark I 是一個兩層感知機，赫希特-尼爾森在 1990 年證明了一個三層機器（多層感知機，或 MLP）能夠解決非線性分離問題。《感知機》開啟了一些人稱為“寂靜年代”的時期，在此期間對 ANN 的研究興趣降到了最低點。直到 1986 年重新發現反向傳播演算法，該領域才再次引起廣泛關注。
反向傳播演算法最初由韋爾博斯於 1974 年發現，它在 1986 年由魯梅爾哈特、希頓和威廉姆斯合著的《透過誤差傳播學習內部表示》一書中被重新發現。反向傳播是梯度下降演算法的一種形式，與人工神經網路一起用於最小化和曲線擬合。
1987 年，IEEE 每年一度的國際 ANN 大會開始為 ANN 研究人員舉辦。1987 年，國際神經網路協會 (INNS) 成立，以及 INNS 神經網路雜誌於 1988 年創刊。