專業/2003 年東北大停電

2003 年的東北大停電是一次大規模停電事件，發生在 2003 年 8 月 14 日星期四，影響了美國東北部和中西部以及加拿大安大略省的部分地區。

背景

原因

停電的主要原因被確定為通用電氣常用的 XA/21 電網控制系統中的一個當時未知的軟體錯誤，具體是在俄亥俄州 FirstEnergy 的伊斯特萊克 5 號電力變電站中。伊斯特萊克工廠最近出現過維護問題，在炎熱的夏季很難滿足需求。（該工廠由於可靠性和升級成本問題，已被關閉。）該工廠的特定條件觸發了軟體錯誤，導致競爭條件，阻止了超載期間必要的警報觸發，並減緩了其對後續錯誤的處理速度。該錯誤還導致後臺伺服器系統在負載增加的情況下發生故障，進一步加劇了這種情況。FirstEnergy 的其他員工沒有注意到伊斯特萊克工廠的這些初始故障，並且不知道何時幾條線路會過度負荷。熱膨脹引起的下降使一條高壓線路接觸到一棵樹，觸發了級聯故障，其中一個故障導致另一個故障；每次事件都會給剩餘裝置帶來更大的壓力，使其更有可能發生類似的故障或自行離線，從而擴大影響。透過這種過程，伊利湖和紐約州附近的大片區域最終完全與外界隔離並關閉，癱瘓了該區域，使其包含的多數地區沒有主要的或備用電力。

結果

伊斯特萊克 5 號變電站和其他發電站的故障導致美國東北部和安大略省大片區域出現大範圍停電，影響了 5000 萬人以上。。受影響的地區幾乎完全陷入科技停滯狀態。由於泵的壓力不足，幾個地區停水，併發布了汙染警告。克利夫蘭、紐約、金斯敦和紐瓦克發生了主要汙水洩漏到水道的事件。該地區的交通線路全部關閉。紐約市的所有火車由於停電而無法執行，不過柴油動力服務最終上線。加油站無法加油，導致卡車和供應服務的停止。該地區的機場也無法正常執行，因為存在安全問題，即使電力恢復後，計算機系統也難以訪問機票資訊。蜂窩通訊完全中斷，許多工廠由於不僅缺電，而且還缺供應，無法運營數日。紐約市是受影響最大的城市，完全關閉。由於交通工具缺乏，人們被困在城市裡，沒有燈光來調節交通，導致嚴重的交通堵塞。高溫和高溼度加劇了問題，許多人睡在戶外，以避免沒有空調的建築物中的高溫。

其他影響

在美國，布什政府強調需要改變美國國家能源政策、關鍵基礎設施保護和國土安全。在停電期間，大多數探測系統都失效。它突出了電網被停用的容易程度，並引發了人們對恐怖主義可能利用的擔憂。

電力恢復後，安大略省的一些城市參加了節能挑戰活動，例如由安大略省電力局主辦的自願停電日。在這些活動中，鼓勵市民最大限度地進行節能活動。

專業性

責任分散

停電並非由某一特定事件引起。相反，事件鏈中涉及多個元件。

北美電力可靠性委員會 (NERC) 對停電進行了廣泛的調查，確定了幾個單獨的故障點。根據其報告，“停電的原因源於參與的個人、團體和組織的決策、行動以及未能採取行動的缺陷。”具體來說，它將這些原因分為三個主要類別。

無效的支援和溝通

其他操作員：“嘿，你認為你可以幫助一下 345 伏的電壓嗎？”

伊斯特萊克 5 號操作員：“兄弟，我正在——是的，我會把它推到我的最大值。你只能得到一點。”

其他操作員：“沒關係，這是我能要求的全部。”

中大陸獨立系統運營商 (MISO) 是一個總部位於印第安納州的區域電網管理和協調組織，負責監督和監控美國中部和馬尼托巴省的運營。但是，在 2003 年，這些監控操作是使用沒有設計為提供真正即時資料的系統進行的。因此，MISO 無法提供在故障開始級聯之前阻止故障所需的即時支援。它也沒有充分的內部程式來應對其收到的初步過載報告。

缺乏態勢感知

一系列原因干擾了 FirstEnergy 的態勢感知。這阻止了操作員採取糾正措施來維持系統平衡。

• 伊斯特萊克工廠的警報故障檢測系統中的冗餘不足。競爭條件導致的無限迴圈鎖定停用了警報，但沒有跡象表明存在問題。
• 計算機支援人員沒有有效地傳達警報功能失效的訊息。對警報處理器故障缺乏瞭解加劇了已經惡化的狀況。
• 計算機支援人員在伺服器恢復後沒有完全測試功能。伺服器故障是獨立事件，但在重啟後進行全面測試本可以發現警報故障。
• 操作員沒有有效的方式視覺化系統狀況。操作員沒有其他顯示器或狀態概覽來監控系統。
• FirstEnergy 沒有有效的應急分析能力。即時分析發電機和輸電線路本可以提醒操作員系統狀況正在惡化。

植被管理

NERC 確定，引發連鎖反應的原因是一條電力線接觸到了一棵過度生長的樹木。他們發現，在 345 千伏線路周圍，樹木被允許不受控制地生長，導致三條線路在 30 分鐘內相繼停運，如果樹木得到適當修剪，這是一個統計學上的不可能事件。有效的植被管理本可以避免觸發這些線路停運，但不足以緩解其他故障模式。即便如此，當時也沒有關於樹木修剪的標準。^[2]

結論

由於責任分散且缺乏明確的個人責任來源，沒有對任何一方進行處罰。^[12] 無論這是否正確，公平分配責任確實非常困難。在現實世界中，這種災難性故障通常是多個較小問題疊加在一起的結果，而不是單一根本原因。任何一個問題都不會導致故障，但當它們組合在一起時，系統就無法補償，故障變得不可避免。專業人士有責任防止這種情況發生：專業人士是那些關注細節並採取行動承擔責任的人。如果更經驗豐富的個人身處正確位置，軟體錯誤可能會在測試中被發現。如果 MISO 實施了足夠的協議和技術，則可以制定應急計劃以有效地應對系統故障。也許，即使樹木得到更有效的修剪，停電也可能永遠不會發生。此外，專業人士之間的溝通極其重要。對於依賴子系統相互互動的複雜系統，不同層級之間需要進行溝通。開發人員需要通知終端使用者其產品的缺陷。這可能不那麼令人愉悅或具有市場競爭力，但它可以確保使用者瞭解產品的不足。產品的操作人員或系統的操作人員也需要相互溝通。正常執行的偏差、改進領域和維護要求都會影響系統性能，因此這些細節必須在同事之間明確，包括髮送到指揮鏈，以便採取適當的行動。