專業性/伊萊恩·赫茨伯格的死亡

2018 年 3 月 18 日晚上，在美國亞利桑那州坦佩市，一輛自動駕駛汽車（AV）與伊萊恩·赫茨伯格發生碰撞並導致其死亡。這輛自動駕駛汽車，一輛經過改裝的沃爾沃 XC90，是優步高階技術集團（ATG）的測試專案的一部分。赫茨伯格在騎腳踏車橫穿一條四車道的道路時被撞，當時正在違規橫穿馬路。毒理學篩查顯示，她血液中含有甲基苯丙胺和四氫大麻酚。自動駕駛汽車的安全駕駛員拉斐拉·瓦斯克斯在撞車前正在手機上觀看電視節目，違反了優步的政策和亞利桑那州的法律。國家運輸安全委員會 (NTSB) 發現瓦斯克斯的分心影響了她的反應時間，導致她在收到自動駕駛汽車的提示後未能手動避開赫茨伯格。

赫茨伯格的死，是人，而不是技術的問題

優步的軟體存在危險缺陷

如上所述，赫茨伯格死亡的直接原因是赫茨伯格的損害和違規橫穿馬路以及瓦斯克斯的分心，但是，我們必須仔細檢視自動駕駛汽車的機制以確定更高級別的起因。自動駕駛汽車有三種感知周圍環境的機制——雷射雷達、雷達和攝像頭。這三者協同工作，描繪出周圍環境的 3D 影像，並允許汽車的計算機視覺演算法判斷距離、預測移動物體的軌跡，並將不同的物體歸類為汽車、腳踏車、行人或其他東西。

優步的自動駕駛軟體（稱為“感知”）存在一些關鍵缺陷。首先，重新分類的物體丟失了運動歷史，自動駕駛汽車無法預測它們的軌跡。在赫茨伯格死亡前的幾秒鐘內，計算機視覺系統多次重新分類赫茨伯格，在未知物體、腳踏車和車輛之間迴圈。自動駕駛汽車無法預測赫茨伯格的運動路徑以避開她。其次，被歸類為未知物體的物體沒有預測軌跡。第三，根據 NTSB 的說法，“感知”中“沒有考慮違規橫穿馬路的行人”。第四，“感知”的緊急制動系統有缺陷。優步將沃爾沃的原生緊急制動系統程式設計為在“感知”啟用時停用。事故發生後，沃爾沃對事故場景進行了模擬，並確定如果沃爾沃的緊急制動系統處於啟用狀態，它將允許自動駕駛汽車避開赫茨伯格，或者至少減速以降低撞擊速度。“感知”自身的緊急制動系統沒有啟用以降低撞擊速度，而只是在自動駕駛汽車能夠避免撞擊的情況下才啟用。

令人震驚的是，沒有發生技術故障，所有感測器系統都處於完全啟用狀態並正常工作。雷射雷達供應商 Velodyne 的一位高管表示，雷射雷達“不會決定踩剎車或避開她 [赫茨伯格]”。 關鍵的結論是，自動駕駛汽車在“感知”下按程式執行了操作，因此“感知”的設計存在缺陷，而不是底層技術。

糟糕的安全文化導致悲劇

如果問題在於“感知”的設計，為什麼優步沒有早點發現這些缺陷，或者為什麼他們沒有在自動駕駛汽車中設計冗餘安全措施以防範未發現的缺陷？NTSB 指出了優步的“對安全文化缺乏承諾”。 這是優步的倫理陷阱。以下是 NTSB 提及的優步 ATG 的一些做法，這些做法被視為安全文化薄弱的證據

• 安全冗餘性降低
  • 2017 年取消第二名安全駕駛員
  • 停用沃爾沃的原生緊急制動和前方碰撞檢測
• 對安全駕駛員的監管不力
  • 例如，主管使用安全駕駛員的內向攝像頭畫面“抽查”安全駕駛員
• 未能預料到“人為因素”
  • 行人——違規橫穿馬路
  • 安全駕駛員——不注意性盲視、自動化自滿和風險補償（見下文）
• 沒有專門部門來監督安全

值得注意的是，優步 ATG 的員工在赫茨伯格死亡之前就意識到“感知”和安全標準存在缺陷。優步的自動駕駛汽車經常發生事故，在赫茨伯格死亡前的二月，幾乎“每隔一天就發生一起”。犯下可開除罪行的安全駕駛員，例如瓦斯克斯使用手機，卻沒有受到處罰。 值得肯定的是，優步聲稱在事故發生後糾正了幾乎所有這些薄弱環節， 但是，這些因素仍然導致了赫茨伯格的死亡。

自動駕駛系統內建倫理假設

在設計自動駕駛汽車軟體時，始終會嵌入倫理決策。後果主義認為，正確行動就是以量化指標（例如，死亡人數最少）衡量結果最好的行動。 當自動駕駛汽車製造商考慮碰撞最佳化時，他們會應用後果主義——如果碰撞即將發生，自動駕駛系統將如何最大程度地減少損壞、傷害或死亡？ 為此，會實施目標演算法，這些演算法會故意針對特定的人群，具體取決於某些因素。

例如，考慮一個思想實驗，一輛汽車必須在撞擊戴著頭盔的摩托車手和不戴著頭盔的摩托車手之間做出選擇。 這似乎是合理的，因為不戴頭盔的人可能無法在撞車中倖存。但是，這實際上意味著摩托車手因戴著頭盔而受到懲罰和歧視，這可能會鼓勵摩托車手不戴頭盔以避免這種針對行為。結果主義與歷史上最著名的倫理困境之一，即電車問題有關。 與電車問題類似，沒有明確的答案來解決如何完善碰撞最佳化。

自動駕駛汽車公司拒絕承擔責任並支援繼續進行街道測試

針對自動駕駛汽車的事故，優步和特斯拉等公司拒絕承擔責任。2016 年，約書亞·布朗駕駛特斯拉 Model S 在自動駕駛模式下與一輛半掛卡車相撞，不幸遇難。特斯拉執行長埃隆·馬斯克將布朗等人的事故歸咎於駕駛員對自動駕駛汽車的過度自信，稱“問題更多的是自滿”，而不是特斯拉自動駕駛系統的任何缺陷。 像特斯拉的“自動駕駛”這樣的營銷術語可能暗示了比系統提供的更高的自主性水平。 無意中導致了馬斯克提到的自滿問題。優步表示，他們在進行街道測試之前不可能“預測和消除”所有潛在風險，這就是在公共道路上進行測試的必要性。 優步糟糕的安全文化可能會有不同的說法。優步在赫茨伯格遇難之前就意識到了其自動駕駛系統和安全標準的缺陷，儘管經常發生撞車事故，但他們仍然在公共道路上測試其車輛。 Waymo 也呼籲繼續進行街道測試。 但是，他們的安全記錄更好，沒有記錄死亡事件。

人類行為不適合使用自動駕駛汽車

當前的自動駕駛汽車對人類注意力的要求不切實際

SAE 國際，也稱為汽車工程師學會，已為自動駕駛汽車定義了六個級別的自主性。 3 級自動駕駛汽車，例如涉及赫茨伯格死亡的那輛車，不適合人類心理，會讓安全駕駛員產生虛假安全感。當人類駕駛（0-2 級）時，人類會參與駕駛任務並專注於道路。在 3 級自主性中，自動駕駛汽車消除了專注於道路的必要性，但駕駛員仍然必須專注於道路，並準備在緊急情況下接管。由於不注意的盲視，即在不注意時無法注意到事物（例如橫穿馬路的行人），這對人類來說是不合理的任務。

自動化導致駕駛員魯莽

當工程師設計一項更安全的技術時，使用者可能會使用該技術承擔更多風險，從而抵消任何安全益處。這種現象被稱為風險補償。 自動化技術會發生一種特殊的風險補償變體，稱為自動化自滿。當技術自動化後，使用者往往會忘記執行系統現在自動執行的舊手動任務。如果自動化系統發生故障，使用者會忘記糾正故障。 當安全駕駛員操作自動駕駛汽車時，自動化自滿會讓他們忘記他們在駕駛傳統汽車時會採取的舊安全預防措施。例如，安全駕駛員更容易分心，例如瓦斯克斯使用手機。因此，安全駕駛員面臨的挑戰是，他們可能在自動化故障發生時分心，並且可能沒有準備好接管緊急情況。

經濟和政治因素導致了赫茨伯格的死亡

當加州說不，亞利桑那州說yes

2016 年，優步最初在其總部城市加利福尼亞州舊金山測試其自動駕駛汽車。然而，在優步自動駕駛汽車闖紅燈後，加利福尼亞州官員要求優步申請許可。 回溯到 2014 年，加利福尼亞州建立了一個自動駕駛汽車測試許可制度。 優步拒絕進行許可流程，亞利桑那州州長道格·杜西試圖吸引優步的自動駕駛汽車測試到他的州。杜西在一份新聞稿中表示，雖然“加州以更多官僚主義和更多監管來阻礙創新和變革，但亞利桑那州正在為新技術和新企業鋪平道路”，以及“亞利桑那州張開雙臂，歡迎優步自動駕駛汽車”。 杜西促進該州經濟的意圖可能是純粹的，但他急於吸引優步的做法讓亞利桑那州容易受到悲劇的影響。他在沒有制定法規來篩選自動駕駛汽車公司或其安全做法的情況下，將優步引誘到亞利桑那州，最終導致亞利桑那州公民伊萊恩·赫茨伯格的死亡。事故發生後，杜西州長透過行政命令對優步的自動駕駛汽車測試實施了禁令，但國家運輸安全委員會批評亞利桑那州未能為自動駕駛汽車測試建立一個“以安全為重點的申請審批流程”。

缺乏聯邦監管導致州政府面臨道德困境

國家運輸安全委員會 (NTSB) 還批評了國家公路交通安全管理局 (NHTSA) “沒有向各州提供明確的領導，以管理自動駕駛汽車測試的快速增長”。 NHTSA 尚未釋出自動駕駛汽車的全面標準，概述自動駕駛汽車測試的最佳實踐，或為自動駕駛汽車和自動駕駛汽車公司的安全協議建立強制性審查流程。2017 年和 2020 年，美國國會 試圖透過全面的自動駕駛汽車立法，但失敗了。 這導致了監管真空，迫使各州自行監管自動駕駛汽車標準。也許各州不應完全為自動駕駛汽車測試帶來的倫理困境負責，因為聯邦政府沒有提供統一的指導。

關鍵教訓

此案表明，當我們重視進步和利潤勝過安全時會發生什麼。Uber 早已預料到他們的自動駕駛汽車專案和感知系統存在安全問題。他們透過消除第二名安全駕駛員來降低成本，使問題更加嚴重。亞利桑那州政府本可以在允許 Uber 在其街道上進行測試方面更加謹慎，但杜西州長對經濟繁榮的渴望超越了該州的自動駕駛汽車立法。結果，一名無辜的行人喪生。赫茨伯格的死亡可能在經濟上損害了 Uber，因為該公司在 2018 年的增長速度放緩。 Uber 在事故發生後的幾年裡似乎解決了一些這些問題，但所有行業都應該將此案作為一項教訓，將安全放在首位。

未來方向

未來的研究可以檢驗各州自動駕駛汽車法規的效力。我們還可以預測聯邦自動駕駛汽車監管機構的成本以及此類組織的潛在效益。自動駕駛汽車領域存在無數倫理問題，其中一些問題，例如碰撞最佳化，可能永遠不會有明確的答案。一個可能會有明確答案的倫理問題是，確定自動駕駛汽車公司是否對事故負有道德責任的客觀標準。最後，我們必須認識到，事後諸葛亮，任何自動駕駛汽車公司都無法在街道測試之前預測所有可能的意外情況。