感覺系統/多感官整合

多感官整合

概述

人類能夠處理來自各種來源、跨越不同感覺模態（如視覺、觸覺、嗅覺和聽覺）的感官資訊。這些感覺訊號為我們提供了有關周圍環境的重要資訊，並幫助我們在生死攸關的情況下做出關鍵決策。完全來自一種模態的訊號為我們提供了一個物體一個方面的的資訊，例如它的顏色或形狀。然而，僅僅依賴於來自一個感測器模態的輸入並不是非常有效的，因為物體通常在各種模態上提供訊號，並且不能僅透過分析這些訊號中的一個來進行獨佔性描述。例如，椰子味的軟糖豆與香草味的豆子形狀相同，在觸碰下變形方式也相同，但味道卻截然不同。為了正確識別豆子，一個人必須觸控和品嚐它，並將由此產生的刺激結合起來，才能對該物體的真實情況有一個連貫的解釋。只有這樣，大腦才能決定如何做出反應。這種跨越多個模態處理和融合感官資料的任務被稱為多感官整合。

功能性多感官整合對於讓人類對周圍環境產生連貫而穩健的感知至關重要。人類的感覺系統不斷受到來自周圍環境的各種刺激的轟炸，而大腦必須正確地確定這些刺激對應於哪些來源，並過濾掉那些與其行為控制相關的刺激。

多感官錯覺

多感官整合的複雜性往往會導致神秘的現象。麥格克效應，例如，描述了同時處理兩個不同刺激如何產生一個與任何組成部分完全不同的融合結果。在麥格克和麥克唐納於 1976 年進行的一項研究中，參與者觀看了一段影片，影片中一個人說了一個特定的音素，同時配上了一個人說第二個音素的音訊，他們報告說他們實際上聽到和看到的是第三個不同的音素。“ga”音素的視覺表示與“ba”音素的聽覺表示相結合，導致“da”音素的融合感知。麥格克和麥克唐納對此的解釋是，特定的音素組很容易混淆，具體取決於刺激表達的模態。例如，在視覺上很難區分“ga”和“da”，而在聽覺上很難區分“ba”和“da”。因此，大腦將“da”視為這兩個衝突刺激的最佳共同解釋，並將其確定為最可靠的感知。

另一個常見的視聽錯覺被稱為雙閃光錯覺。參與者被展示一個組合，包含 1 到 4 個閃光和 0 到 4 個嗶嗶聲，並要求他們確定出現的閃光次數。當嗶嗶聲次數超過閃光次數時，參與者報告看到幻覺閃光以匹配他們的聽覺感知。

資訊處理理論

雖然多感官整合的確切機制尚未明瞭，但存在各種理論來解釋大腦如何選擇將多個訊號分離或組合成連貫的感知。

科拉維塔視覺優勢效應

視覺優勢是指視覺刺激在腦內被優先處理，高於其他模態。當視覺刺激與聽覺或觸覺刺激同時呈現時，只有視覺刺激被識別出來。F.B. 科拉維塔在 1973 年進行的一項研究中，讓受試者接觸三種類型的刺激：純粹的聽覺、純粹的視覺或同時出現的視聽刺激。在每次測試後，受試者被要求識別發生了哪種型別的刺激。科拉維塔發現，雖然受試者對兩種單模態目標都做出了正確反應，但當聽覺刺激與視覺刺激同時出現時，他們經常無法識別聽覺刺激。當測試觸覺和視覺刺激的組合時，發現同樣的結果。該研究表明，在多模態感官中，視覺在腦內具有某種優先地位，甚至可以完全消除受試者對其他刺激的感知。Harther-O’Brien 等人將科拉維塔效應歸因於各種模態之間處理資源訪問的不平衡。視覺感測器可能比其他模態的同步刺激擁有更好的處理和意識訪問，導致這種感官優勢。此外，視覺是最準確和可靠的模態之一，因為只有很少的外部干擾可以改變刺激，從而向大腦提供錯誤的資訊（將其與聽覺訊號進行比較，聽覺訊號可以從牆壁上反射或被強風帶走，欺騙聽者關於聲源的真實位置）。科拉維塔效應的神經學基礎尚不完全清楚；即使是在效應發生在反射性水平還是自願水平上，結果仍然沒有定論。

在包括牛、鳥類和人類在內的各種物種中都觀察到了普遍的視覺優勢。然而，一些研究表明，科拉維塔效應也可以逆轉：例如，Sinnet 和 Ngo 表明，在某些條件下，參與者對聽覺刺激的反應比視覺刺激更強。這可能是由於人類和動物在特別緊張的情況下最依賴聽覺刺激，這表明視覺優勢是依賴於情境的。

模態適宜性

 1980 年，韋爾什和沃倫提出了模態適宜性理論，該理論指出，模態在多感官整合中的優先順序取決於該模態對特定情況的適用性。該理論得到了最大的支援是，不同的感覺模態更適合於不同的特定感官任務。例如，在確定聲源的確切位置（一項稱為空間處理的任務）時，視覺刺激支配所有其他刺激——即使是定位聲源。這種效應在電視中得到了很好的體現：一個演員的聲音似乎來自演員的嘴巴而不是電視音響系統，因為我們的視覺系統識別了移動的嘴唇並支配了感官處理。類似地，聽覺刺激在確定事件的確切時間或事件的順序（時間處理）中占主導地位。

Alais 和 Durr 最近的研究表明，模態優勢隨著感官不確定性的增加而減弱。當參與者解決空間處理任務時，他們最初最依賴視覺刺激，正如模態適宜性和視覺優勢理論所預期的那樣。然而，當透過模糊和過濾有意地降低視覺刺激的質量時，參與者開始優先考慮來自伴隨聽覺刺激的資訊。因此，模態適宜性理論表明，大腦不斷優先考慮和權衡每個刺激的可靠性，以產生最可信的組合。

貝葉斯整合

貝葉斯整合為模態適宜性理論提供了統計基礎。它表明，大腦使用貝葉斯推理來確定一組多模態刺激中最可能的共同來源。貝葉斯推理是一種基於貝葉斯定理的統計推斷方法

$P(H|E)={\frac {P(E|H)\cdot P(H)}{P(E)}}$

貝葉斯公式根據假設 H 的先驗機率 P(H)、證據 E 的機率 P(E) 以及假設為真時觀察到證據的機率 P(E|H)，計算出給定證據 E 時當前假設 H 的機率。隨著更多資料的可用以及證據集的擴充套件，假設機率可以根據新資料是否進一步支援或削弱當前假設而得到改進。貝葉斯更新是確定如何最好地理解資料以確定最可能解釋的一種有用方法^[16]。

應用於多感官整合，貝葉斯推理評估多模態刺激 E 與特定源事件 H 相對應的機率，並根據這些刺激在 E 中的組合或分離來產生具有最大機率的假設。因此，貝葉斯整合在接觸過豐富感官體驗的大腦中最為有效，因此可以訪問大量統計資料集來生成先驗機率^[17]。

三個一般原則

雖然沒有一個提出的理論解釋所有研究過的多感官體驗，但它們有助於得出三個一直被證明有效的普遍原則。

1. 空間規則^[18]：當各種單感官刺激源於大致相同的位置時，多感官整合最強。
2. 時間規則^[19]：當各種單感官刺激在大致相同的時間發生時，多感官整合最強。
3. 逆效原理^[20]：當組成單感官刺激單獨提供微弱訊號時，多感官整合最強。

視覺-聽覺整合的細節

儘管視覺線索本身通常很可靠，但當伴隨著聽覺線索時，刺激會感知得更強、更可靠。事實上，由同時出現的聽覺和視覺線索表示的刺激的檢測閾值遠低於由單一模態表示的相同刺激的閾值^[21]。許多提出的理論和效應側重於將視覺和聽覺刺激整合到連貫的知覺中。實際上，視聽整合是最常研究的感官整合之一，因為兩種模態通常傳遞有關相同事件的資訊，並且這兩者的適當組合對於日常生活至關重要。這兩種感官系統各自提供了另一系統無法獲得的關鍵資訊：例如，視覺系統無法確定隱藏在陰影中的物體的方位，而聽覺系統可以補充此資訊^[22]。

單模態感官資訊首先在皮層中進行處理，正如對聽覺和視覺刺激所詳細描述的那樣。多感官整合主要發生在中腦中的上丘 (SC)（雖然在腦的其他一些區域也發現了不太瞭解的多感官處理叢集）^[23]。SC 由七層交替的白色和灰色物質組成。資訊直接從視網膜和其他皮層區域到達 SC 的外層，因此構成了整個視野的拓撲圖^[24]。SC 的更深層包含來自視覺、聽覺和體感模態組合的二維多感官地圖^[25]。

SC 中多模態刺激的匯聚遵循所謂的“空間規則”，要求來自不同模態的刺激必須落在 SC 內的相同或相鄰的感受野上才能激發神經元^[25]。然後，訊號從 SC 傳送到脊髓、小腦、丘腦和枕葉的附近神經元。然後，這些神經元沿著肌肉和進一步的神經結構傳播它們的訊號，以指導一個人對刺激做出反應的定向或行為^[26]。

如果視覺刺激先於聽覺刺激到達，則產生的神經興奮最強且最統一^[22]。這種時間偏移被認為是必要的，以便抵消視覺刺激相對較慢的處理時間。雖然聽覺刺激的處理是一個完全機械的過程，持續時間約為 1 毫秒，但視覺處理需要視網膜內的光轉導以及各種神經化學過程，因此持續時間約為 50 毫秒。因此，視覺刺激必須在大約 50 毫秒前發生，以便這兩個刺激被感知為同時發生。幸運的是，光速比聲速快，即使是由單個事件引起的，也會導致兩種知覺自然地以輕微的偏移到達。然而，這種自然偏移並不總是 50 毫秒，研究表明大腦可以彌補這個問題的一種關鍵方法。Alais 和 Burr 提供的資料表明，大腦記憶體在一個主動過程，可以利用聽覺刺激的深度線索將其在時間上與視覺對齊^[27]。透過訊號中直接能量和混響能量的能量比，可以可靠地推斷出聽覺刺激源的距離^[28]。然後，大腦似乎利用對聲速的固有知識來確定特定距離引起的時滯。這種聲速的近似值很可能是基於經驗的，並在每次連續的感官體驗中得到改進^[29]。

SC 的中間層也在注意力分配方面起著重要作用，包括自動（外源性）和自願（內源性）^[22]。在自願注意的情況下，大腦可以主動地從 SC 層選擇某些刺激，以將注意力和處理集中在這些刺激上。此外，更引人注目的刺激往往被認為比那些不太顯著的刺激發生得早，即使它們實際上是同時發生的。這樣，如果物體的顏色和運動方向同時改變，顏色變化被認為先發生，因為它吸引了大腦更多的直接注意力^[22]。

低階感官整合

前面的例子討論了透過各種複雜程度的神經過程實現的感官整合。但感官整合也發生在更低、更本能的水平上。

例如，前庭系統提供了大量的感官資訊。它負責檢測我們身體的運動、保持平衡並確定我們在空間中的方位。為了做到這一點，它主要依賴於我們內耳中的機械系統，該系統解釋半規管和耳石中的流體流動以確定我們頭部相應的運動^[30]。前庭系統和視覺系統高度整合，最顯著的是透過前庭-眼反射，該反射在檢測到頭部運動時引起眼球運動，以保持當前視野中的影像並保持平衡^[31]。（這類似於當我們旋轉時被告知專注於一個特定點以防止或減少通常引起的噁心時）。當半規管檢測到頭部旋轉時，刺激透過前庭神經發送到腦幹中的前庭核。前庭核接收刺激，進而刺激對側動眼神經核，其中包含誘導眼肌活動的神經元^[32]。這種跨模態刺激是自動發生的，無需真正對刺激進行神經處理，這與上面描述的其他多感官效應不同。

這種相互作用也會反過來發生，提供了低階多感官整合的一個很好的例子：即使我們沒有移動，某些視覺運動也會刺激前庭系統^[33]。例如，當我們坐在靜止的火車上，看著相鄰的火車慢慢駛出車站時，我們會感覺到我們的火車正在移動。移動的影像刺激沿著 NOT（視束核）傳送，導致前庭核中通常由頭部運動引起的活動。我們的身體也會對誘發的刺激做出反應，調整我們的姿勢以抵消感知到的（但實際上不存在的）加速度。同樣，觀看過山車的視角影片可能會讓我們感到頭暈，即使我們坐著不動。這樣，前庭刺激可以直接驅動眼肌運動，而無需深層腦處理的參與。