感覺系統/非靈長類鳥鳴

鳥類：斑胸草雀鳴叫學習的神經機制

介紹

在過去的四十年裡，鳴禽已成為神經科學家研究複雜順序行為和感覺引導運動學習的廣泛使用的模式生物。與人類嬰兒一樣，幼鳴禽透過模仿成年個體學習它們用於交流的許多聲音。斑胸草雀 (Taeniopygia guttata) 是一種特別受關注的鳴禽，因為它在人工飼養中易於鳴叫和繁殖，並且成熟速度快。成年雄性斑胸草雀的鳴叫是一系列刻板的聲學訊號，其結構和調製跨越了從毫秒到幾秒的廣泛時間尺度。成年斑胸草雀的鳴叫包含一個重複的音節序列，稱為基調，持續大約一秒鐘。基調由稱為音節的更短的聲爆組成，這些聲爆通常包含稱為音符的更簡單的聲學元素序列，如圖 1 所示。鳴禽的學習系統是研究感覺運動整合的非常好的模型，因為幼鳥主動聆聽導師並透過糾正音調和偏移的錯誤來調節自己的鳴叫。鳴禽大腦中在學習中起關鍵作用的神經機制和結構類似於人類大腦額葉皮層中的語言處理區域。對參與學習過程的層次化神經網路的詳細研究可以為人類語言學習的神經機制提供重要的見解。

鳴禽典型鳴叫結構和學習階段的示意圖。

鳴叫學習經歷一系列階段，從感覺階段開始，在此階段，幼鳥只是聆聽其導師（通常是其父親）發聲，通常不產生任何類似鳴叫的叫聲。鳥類利用這個階段來記憶導師鳴叫的特定結構，形成鳴叫的神經模板。然後它進入感覺運動階段，在此階段，它開始咿呀學語，並利用聽覺反饋來糾正錯誤。最早嘗試重現導師鳴叫模板的嘗試非常嘈雜、無結構且變化多端，被稱為亞鳴叫。圖 1 中的聲譜圖中顯示了一個示例。在隨後的幾天裡，鳥類進入“可塑階段”，在此階段，負責產生高度結構化音節的神經網路具有很大的可塑性，鳴叫的變化減少。當它們達到性成熟時，變異性基本上被消除——這個過程被稱為結晶——幼鳥開始產生正常的成年鳴叫，這可能是導師鳴叫的驚人模仿（圖 1）。因此，從早期的亞鳴叫到成年鳴叫的鳴叫變異性逐漸減少，以及模仿質量的逐漸提高，是鳴禽聲音學習的不可或缺的方面。在接下來的部分中，我們將探索鳴禽大腦的幾個部分，以及負責在這些鳥類中觀察到的這種非凡的聲音模仿的潛在神經機制。

參與鳴叫序列生成的層次化神經網路

瞭解鳴禽的神經解剖學至關重要，因為它提供了有關參與各種運動和感覺整合通路學習機制的重要資訊。這最終可以闡明人類語言處理和聲音學習。人類語音處理系統的確切神經解剖學資料仍然未知，鳴禽的解剖學和生理學將使我們能夠提出合理的假設。本章的最後部分 (圖 6) 對哺乳動物大腦和鳴禽 (鳥類) 大腦進行了比較。在鳥類大腦中觀察到的通路可以大致分為運動控制通路和前腦前通路，如圖 2 所示。聽覺通路提供誤差反饋訊號，導致參與運動通路的突觸連線增強或抑制，這在聲音學習中起著至關重要的作用。運動控制通路包括尾側腹側紋狀體 (HVC)、頂蓋核 (RA)、舌下神經核的喉氣管分支 (nXIIts) 和鳴管。這條通路對於產生產生高度結構化鳴叫的必需運動控制訊號以及協調呼吸和鳴叫至關重要。前腦前通路包括前背側大腦的側鉅細胞核 (LMAN)、X 區 (X) 和背側丘腦內側核 (DLM)。這條通路在幼鳥的鳴叫學習、成年個體的鳴叫變異性和鳴叫表徵中起著至關重要的作用。聽覺通路包括黑質 (SNc) 和腹側被蓋區 (VTA)，在處理聽覺輸入和分析反饋誤差中起著至關重要的作用。鳴管的肌肉由來自 nXIIts 的運動神經元的一個子集支配。一個主要的投射到 nXIIts 來自前腦核 RA 中的神經元。RA 核接收來自另一個皮質類似物 HVC 核的運動相關投射，而 HVC 核又接收來自幾個腦區的直接輸入，包括丘腦葡萄核 (Uva)。

生成高度結構化和時間精確的音節模式的神經機制

HVC 核和 RA 核以層次化的方式參與鳴叫的運動控制 (Yu and Margoliash 1996)。對鳴叫斑胸草雀的記錄表明，投射到 RA 的 HVC 神經元傳遞一個非常稀疏的爆發模式：每個投射到 RA 的 HVC 神經元在鳴叫中的一個特定時間生成一個持續約 6 毫秒的單一高度刻板的爆發 (Hahnloser, Kozhevnikov et al. 2002)。在鳴叫過程中，RA 神經元產生一個複雜的高頻尖峰爆發序列，其模式在每次鳥鳴叫其基調時都被精確地複製 (Yu and Margoliash 1996)。在基調期間，每個 RA 神經元產生一個相當獨特的模式，大約有 12 個爆發，每個爆發持續約 10 毫秒 (Leonardo and Fee 2005)。基於以下觀察結果：投射到 RA 的 HVC 神經元在鳴叫基調期間產生一個單一的尖峰爆發，並且不同的神經元似乎在基調中的許多不同時間爆發，人們假設這些神經元在時間上產生一個連續的活動序列 (Fee, Kozhevnikov et al. 2004, Kozhevnikov and Fee 2007)。換句話說，在鳴叫的每個時刻，都有一小組 HVC (RA) 神經元在那個時候而且只有在那時活動 (圖 3)，並且每個小組瞬時啟用 (約 10 毫秒) HVC 神經元在 RA 中的突觸連線決定的 RA 神經元的一個子集 (Leonardo and Fee 2005)。此外，在這個模型中，肌肉活動的向量，以及因此發聲器官的配置，由來自 RA 神經元的短時間尺度 (大約 10 到 20 毫秒) 的會聚輸入決定。RA 神經元可能僅僅以某種有效權重瞬時貢獻於聲音肌肉活動的觀點與靈長類動物手臂運動皮質控制的一些模型一致 (Todorov 2000)。許多研究表明，鳴叫的時間由透過 HVC 神經元稀疏傳播的波或鏈在毫秒級控制。這種假設得到了對自然鳴叫期間時間變異性的分析 (Glaze and Troyer 2007) 以及操縱 HVC 中電路動力學以觀察對鳴叫時間影響的實驗的支援。因此，在這個模型中，鳴叫時間由透過 HVC 中的鏈傳播的活動來控制；此 HVC 鏈的通用順序啟用由 HVC 在 RA 中的連線轉換為特定精確的聲音配置序列。

後腦通路中的突觸可塑性是鳴禽發聲學習的潛在基礎

人們已經發現了許多與鳴叫相關的鳥類大腦區域（圖 4A）。鳴叫產生區域包括 HVC（背側紋狀體尾部）和 RA（弓狀核），它們產生神經活動模式的序列，並透過運動神經元控制鳴叫過程中的發聲器官肌肉（Yu and Margoliash 1996, Hahnloser, Kozhevnikov et al. 2002, Suthers and Margoliash 2002）。損傷 HVC 或 RA 會導致鳴叫立即消失（Vicario and Nottebohm 1988）。前腦通路 (AFP) 中的其他區域似乎對鳴叫學習很重要，但至少在成年鳥類中不參與鳴叫的產生。AFP 被認為是哺乳動物基底神經節丘腦皮質環路的鳥類同源體（Farries 2004）。特別是，損傷 LMAN（背側紋狀體外側大細胞核）對成年鳥類的鳴叫產生幾乎沒有立即影響，但會阻止幼鳥的鳴叫學習（Doupe 1993, Brainard and Doupe 2000）。這些事實表明，LMAN 在驅動鳴叫學習中發揮作用，但可塑性的位置是在與鳴叫產生相關的腦區，例如 HVC 和 RA。Doya 和 Senjowski 在 1998 年提出了一種三方模式，其中學習基於行動者和批評者之間的互動（圖 4B）。批評者評估行動者在預期任務中的表現。行動者利用這種評估來改變自身，以改善其表現。為了透過試錯學習，行動者每次以不同的方式執行任務。它會產生好的和壞的變化，而批評者的評估被用來強化好的變化。通常情況下，人們認為行動者自己產生變化。然而，變化的來源是行動者之外的。我們將這個來源稱為實驗者。行動者被識別為 HVC、RA 和控制發聲的運動神經元。行動者透過 HVC 到 RA 的突觸可塑性學習（圖 4C）。基於在鳴叫學習期間發生在 HVC 到 RA 投射中的結構變化（如軸突生長和回縮）的證據，這種觀點被廣泛認為是一種合理的機制。對於實驗者和批評者，Doya 和 Senjowski 轉向了前腦通路，假設批評者是 X 區，實驗者是 LMAN。

鳴叫學習機制背後的生物物理上可實現的突觸可塑性規則

生物物理上可實現的模型 LMAN 輸入到 RA 的作用是在一個鳴叫階段的持續時間內產生一個靜態的波動，直接作用於來自前運動核 HVC 到 RA 的突觸強度。從功能的角度來看，Doya 和 Sejnowski 的模型類似於權重擾動（Dembo and Kailath 1990, Seung 2003），並且相對容易實現：一個持續一個鳴叫階段的暫時但靜態的 HVC->RA 權重變化會導致鳴叫表現發生一些變化。如果表現良好，批評者會發送一個強化訊號，使這種暫時的靜態擾動永久化。從神經生物學的角度來看，這個模型需要一種機制，透過這種機制，來自 LMAN 到 RA 的 N-甲基-D-天冬氨酸 (NMDA) 介導的突觸傳遞可以驅動突觸權重變化，這些變化在 1 到 2 秒內保持靜態。簡而言之，LMAN 似乎驅動在亞音節水平上的快速、瞬態的鳴叫波動，這些波動受普通興奮性傳遞的影響，這種傳遞驅動後突觸 RA 神經元中動態的後突觸膜電導波動。該模型的目標是將三方模式中的強化學習的高階概念與鳥鳴系統中突觸和神經元微觀事件的生物學上可實現的低階描述聯絡起來。它應該在現實的尖峰神經元網路中展示鳴叫學習，並檢驗強化演算法在解釋鳥鳴網路中關於學習時間的生物精細運動技能學習的可行性。本模型基於 Doya 和 Sejnowski 所做的許多相同的普遍假設。我們假設一個三方行動者-批評者-實驗者模式。批評者很弱，只提供一個標量評估訊號。HVC 序列是固定的，只有從 HVC 到運動神經元的對映是透過 HVC->RA 突觸的可塑性學習的。LMAN 透過其對鳴叫前運動通路的輸入來擾亂鳴叫。然而，LMAN 輸入的結構和動力學以及它們對學習的影響是不同的，具有不同的神經生物學意義。為了符合我們的假設，即 LMAN 驅動到 RA 的功能是為試錯學習進行實驗，從 LMAN 到 RA 的連線將被稱為經驗突觸（圖 4C）。從 HVC 中的神經元 j 到 RA 中的神經元 i 的可塑突觸的電導由 $W_{ij}S_{ij}HVC(t)$ 給出，其中突觸啟用 $S_{ij}HVC(t)$ 決定電導變化的時間程序，而可塑引數 $W_{ij}$ 決定它們的幅度。 $W_{ij}$ 的變化受可塑性規則支配，可塑性規則由以下公式給出： ${\frac {\partial {{W}_{ij}}}{\partial t}}=\eta \,R(t)\,{{e}_{ij}}(t)$ 正引數 $\eta$ 稱為學習率，控制突觸變化的總幅度。資格痕跡 $e_{ij}(t)$ 是一個假設存在的量，存在於每個可塑突觸上。它表示突觸是否“有資格”透過強化進行修改，並且它基於可塑突觸的最近啟用以及指向同一 RA 神經元的經驗突觸的啟用。 ${{e}_{ij}}(t)=\int \limits _{0}^{t}{d{t}'}\,G(t-{t}')\left[S_{i}^{LMAN}(t)-\left\langle S_{i}^{LMAN}\right\rangle \right]\,\,S_{ij}^{HVC}(t)$ 這裡 $S_{i}^{LMAN}(t)$ 是經驗性 (LMAN->RA) 突觸到 RA 神經元的傳導性。時間濾波器 G(t) 被認為是非負的，它的形狀決定了資格追蹤可以“記憶”過去的程度。經驗性突觸的瞬時啟用取決於平均活動 $\left\langle \,S_{i}^{LMAN}(t)\right\rangle$ 。學習原則遵循圖 5 中顯示的兩個基本規則。第一條規則：如果同一個 RA 神經元上的可塑性 (HVC->RA) 突觸和經驗性 (LMAN->RA) 突觸的同步啟用之後是正強化，那麼可塑性突觸就會增強。第二條規則：如果可塑性突觸的啟用沒有同一個 RA 神經元上的經驗性突觸的啟用，之後是正強化，那麼可塑性突觸就會減弱。這些基於執行神經元動態電導擾動的規則對強化訊號的期望值執行隨機梯度上升。這意味著由評論家評估的歌曲表現平均而言肯定會提高。

哺乳動物和鳴禽大腦結構的比較

鳥類的 X 區與哺乳動物的基底神經節 (BG) 同源，包括紋狀體和蒼白球細胞型別。BG 構成一個高度保守的解剖學回路，它穿過多個站點，從皮層到 BG (紋狀體和蒼白球)，然後到丘腦，再回到皮層。類似的迴路在鳴禽中也有：與皮層同源的 LMAN 核投射到 X 區，X 區的紋狀體成分投射到丘腦 DLM 核，然後 DLM 核投射回 LMAN。紋狀體成分負責基於獎勵的學習和強化學習。圖 6 所示，神經元型別及其功能在鳥類的 X 區與人類的基底神經節完全相同。這種密切的解剖學相似性促使我們更詳細地研究鳴禽大腦，因為透過研究鳴禽大腦，我們最終可以對人類的言語學習獲得一些重要的理解，並更精確地治療許多與言語相關的疾病。

參考文獻

Brainard, M. S. and A. J. Doupe (2000). “在學習和維持聲音行為中的聽覺反饋。” Nat Rev Neurosci 1(1): 31-40.

Dembo, A. and T. Kailath (1990). “無模型分散式學習。” IEEE Trans Neural Netw 1(1): 58-70.

Doupe, A. J. (1993). “專門用於聲音學習的神經迴路。” Curr Opin Neurobiol 3(1): 104-111.

Farries, M. A. (2004). “從比較視角看鳥類鳴唱系統。” Ann N Y Acad Sci 1016: 61-76.

Fee, M. S., A. A. Kozhevnikov and R. H. Hahnloser (2004). “鳴禽聲音序列產生的神經機制。” Ann N Y Acad Sci 1016: 153-170. Glaze, C. M. and T. W. Troyer (2007). “對鳴禽聲音的精確時間運動碼的行為測量。” J Neurosci 27(29): 7631-7639.

Hahnloser, R. H., A. A. Kozhevnikov and M. S. Fee (2002). “超稀疏程式碼是鳴禽中神經序列產生的基礎。” Nature 419(6902): 65-70.

Kozhevnikov, A. A. and M. S. Fee (2007). “斑胸草雀中識別出的 HVC 神經元與鳴唱相關的活動。” J Neurophysiol 97(6): 4271-4283.

Leonardo, A. and M. S. Fee (2005). “鳥類聲音控制的整體編碼。” J Neurosci 25(3): 652-661.

Seung, H. S. (2003). “透過強化隨機突觸傳遞進行尖峰神經網路學習。” Neuron 40(6): 1063-1073.

Suthers, R. A. and D. Margoliash (2002). “鳴禽聲音的運動控制。” Curr Opin Neurobiol 12(6): 684-690.

Todorov, E. (2000). “隨意手臂運動中肌肉啟用的直接皮層控制：模型。” Nat Neurosci 3(4): 391-398.

Vicario, D. S. and F. Nottebohm (1988). “斑胸草雀聲音控制系統的組織：I. 舌下神經核中鳴管肌肉的代表。” J Comp Neurol 271(3): 346-354.

Yu, A. C. and D. Margoliash (1996). “鳥類鳴唱的時間層次控制。” Science 273(5283): 1871-1875.