專業/2015 年自主武器公開信

關於 2015 年自主武器公開信背後的職業道德的案例研究

與弗吉尼亞大學 STS 4600 對應。

簡介

在討論自主武器時，信函特別討論了“進攻性自主武器”，這些武器“在沒有人類干預的情況下選擇和攻擊目標”。本案例手冊不會深入探討人工智慧在戰鬥或防禦中的其他用途，但將重點關注公開信的主要論點，自主武器的現狀以及可能為該主題的未來行動提供資訊的歷史案例。

術語自主武器和人工智慧（AI）武器在對人類獨立武器的分析中可以互換使用，因為它們是可比的。

信件

“總之，我們認為人工智慧具有巨大的潛力，可以在許多方面造福人類，而該領域的目標應該是這樣做。啟動軍事人工智慧軍備競賽是一個壞主意，應該透過禁止超出有意義的人類控制的進攻性自主武器來阻止。”

該信函於 2015 年 7 月在國際人工智慧聯合會議（IJCAI）開幕式上宣佈，呼籲全面禁止開發自主武器。迄今為止，該信函已由 4502 名人工智慧/機器人研究人員以及 26000 多人簽署，其中包括主要大學的教授、主要計算機科學公司的專業人士，以及史蒂芬·霍金、埃隆·馬斯克和史蒂夫·沃茲尼亞克等重要人物。該信函的主要論點是自主武器將在幾年內變得可行，儘管它們在戰鬥中提供了重大優勢，但它們易於使用，因此濫用是不可避免的。該信函將這些武器與多個類似的歷史案例進行比較，並警告稱，如果開發出來，人工智慧武器將比自動槍支更便宜，而且比核武器更有效。

技術如何運作

自主武器有很多不同型別：無人機、槍支、坦克等。統一這些武器的是它們無需直接人工干預即可操作的能力。

影像分類

武器演變成自主武器所需的基本技術是能夠接收視覺輸入並識別目標。這是透過使用攝像頭捕捉即時影片並將該影片透過影像識別演算法來完成的，以找到潛在的目標。對於這些演算法來說，識別任何特定的人類都很容易，但是當你試圖區分戰鬥人員和非戰鬥人員時，它會變得非常困難。這是因為確定戰鬥人員與非戰鬥人員的因素取決於許多情境和情境資訊，這些資訊在不同的情況下會發生變化。

自主武器現狀

“人工智慧技術已經發展到可以在幾年內，而不是幾十年內部署此類系統，無論是在實踐上還是在法律上。”

由於實施基本人工智慧武器的理論非常簡單，因此有很多自制版本的例子。一名高中入門程式設計和機器人課程的學生開發了一款可旋轉和傾斜炮塔的 NERF 槍，該槍僅使用面部識別就可以瞄準和射擊。 其他 YouTube 影片提供了“自己動手”的 nerf 和氣槍炮塔的示意圖和組裝說明。 這些示例都是使用廉價且易於獲得的電路板、電機和程式設計平臺實現的。

自公開信釋出以來，高階人工智慧武器研究也一直在進行。從 2016 年到 2019 年，五角大樓為自主武器技術預算了 1800 萬美元，並與亞馬遜和微軟簽訂了持續合同，以開發人工智慧作為其“武器戰略的核心”。 前國防部副部長沃克先生是戰爭中人工智慧的堅定倡導者。他鼓勵國防部投資人工智慧，以此“在競爭開始時獲得優勢”，這與冷戰和新時代的軍備競賽驚人地相似。早在 2016 年，無人機上面部識別的軍事測試在某些情況下更擅長識別非戰鬥人員而不是人類。 雖然無人機沒有被賦予攻擊這些目標的許可權，但實施自主武器的這一方面非常簡單。

歷史比較：技術

“自主武器被稱為戰爭中的第三次革命，繼火藥和核武器之後……它們將成為明天的卡拉什尼科夫。”

2015 年信函提供了多個歷史案例，這些案例深入瞭解了自主武器作為“戰爭中的第三次革命”的潛在影響。史查瑞是《無人軍隊》的作者，他指出，這些武器系統可能會引發“閃電戰”，在這種戰爭中，武器之間的戰鬥速度如此之快，以至於人類無法跟上，無法考慮每次攻擊的含義。 這反映了戰爭中的第二次革命，即核武器。有了核武器，現在可以立即摧毀整個城市，就像在廣島投下鈾彈後，140,000 人喪生，而在長崎，75,000 人喪生一樣。 “閃電戰”的速度可能會很快變得像核武器一樣具有破壞性。與核武器的另一個相似之處是軍備競賽的可能性。第二次世界大戰結束後，核武器的發明導致了一場爭奪霸權的競爭，核武器的研發和生產都大幅增加。

軍備競賽期間的核武器儲備

2015 年信函的簽署方認為，自主武器軍備競賽的可能性更大，“幾乎是不可避免的”。他們認為，雖然核武器軍備競賽主要涉及美國和蘇聯，但自主武器軍備競賽可能涉及更多國家。進入這場軍備競賽的障礙將低得多，因為“與核武器不同，自主武器不需要昂貴的或難以獲得的原材料。”

這封信還提到了卡拉什尼科夫步槍，它是世界上最受歡迎的槍支設計。據估計，全球約有 5 億支槍支，其中 1 億支是卡拉什尼科夫步槍，其中約 7500 萬支是 AK-47。 它的優點包括設計簡單，使用壽命可達 20 到 40 年。這支槍易於製造、使用和修理，而且可靠且便宜。 基利科茨在“武器學”論文中發現，AK-47 在東歐和亞洲的交易價格僅為 40 美元，在非洲和中東的價格低至 12 美元。 AK-47 最初是為俄軍研發的，但其低廉的價格和龐大的供應量導致它被革命者、恐怖分子、販毒集團和罪犯所使用。 這封信斷言，這種問題將在自主武器中得到複製。低廉的成本將導致武器的無限供應，而武器的製造者將無法阻止它們落入不法之徒手中。鑑於這些武器的潛在威力，它們在恐怖主義中的使用危險是無限的。

利弊

“當今人類面臨的關鍵問題是，我們要發動全球人工智慧軍備競賽，還是阻止它發生。”

公開信提供了一個關於自主武器雙刃劍效應的例子。用機器取代士兵將減少擁有者的傷亡和成本。 然而，潛在的影響是進入戰爭的門檻降低，以及不僅可能捲入更多衝突，而且由於沒有美國人的生命處於危險之中，可能會增加參與不光彩衝突的可能性。

自主武器也可能具有減少或消除某些人類偏見的能力。缺乏種族主義或文化偏見可能會對戰鬥產生影響，同樣缺乏生存本能也是如此。沒有生存本能，機器將缺乏“先開槍，後問問題”的心態，在做出決策時不會受到腎上腺素或恐懼的影響。 如果該系統沒有武器化，這種影響可能會在較小程度上感受到。如果全球軍備競賽已經開始，那麼對該技術的投資也將開發出更好的 AI 武器防禦系統，並防止未來出現技術劣勢。

開發這些武器的缺點更多。AI 武器的低成本導致不法分子可以輕鬆地大量生產和獲取。一個武器化的無人機可以由擁有適當聯絡的人部署，更不用說恐怖組織或敵對政府了。這些武器，例如無人機，也非常適合恐怖主義行為、獨裁統治、種族清洗和暗殺。 軟體也有可能出錯，並且可能帶有生產者內建的偏差。亞馬遜的面部識別軟體在識別女性和有色人種時，準確率明顯較低，雖然亞馬遜建議在置信度閾值下對結果進行二次檢查，但俄勒岡州華盛頓縣警長辦公室 (Rekognition 的已知客戶) 表示，“我們沒有設定或使用置信度閾值”。 使用程式碼來管理武器也增加了程式碼錯誤或駭客攻擊的風險。當 AI 失敗時，問責制問題也隨之而來，將在後面討論。

歷史比較：監管

“事實上，化學家和生物學家廣泛支援國際協議，這些協議已成功禁止化學武器和生物武器，就像大多數物理學家支援禁止太空核武器和致盲雷射武器的條約一樣。”

1930 年倫敦海軍條約

第一次世界大戰後，美國幫助談判了倫敦海軍條約，以禁止對民用船隻的無限制潛艇戰。這種做法與自主武器有相似之處，因為在條約簽訂時，它被認為是一種具有破壞性影響的未來武器。該條約由所有主要大國簽署。珍珠港事件發生後，美國僅用了 6 個小時就違反了這項已實施 11 年的條約，攻擊了日本商船隊。 在第二次世界大戰中，所有交戰國普遍使用這種做法。 對於自主武器來說，當這項技術不再是未來技術時，條約是否仍然實用？如果敵對國（包括非政府組織）使用這些武器，各國是否會繼續遵守禁止自主武器的條約？

1975 年關於重組 DNA 的阿西洛馬會議

阿西洛馬會議是國際監管的一個更成功的例子。1975 年，包括生物學家、律師和醫生在內的 140 位專業人士聚在一起，討論制定指南，以確保重組 DNA 技術的安全使用。在會議之前，許多生物學家出於對潛在危險的恐懼而停止了實驗。在這場會議上制定的指南允許科學家繼續他們的研究，這既增加了公眾對生命過程的興趣，也增加了他們對生命過程的瞭解。這場會議為創造該技術的參與者參與制定監管規定樹立了先例。

倫理考量

關於自主武器倫理的關鍵問題是，當事情出錯時，該怪誰。“出錯”在這裡指的是錯誤地攻擊/殺死目標或攻擊平民。

責任

從自主武器的開發開始到最終發射，有一條複雜的命令鏈。對於人類在/在迴路武器來說，有負責監督武器的人，如果武器發生故障，而他們沒有阻止它，是他們的錯嗎？還是編寫錯誤識別演算法的程式設計師的錯，導致武器錯誤地發射？如果開發演算法的公司受到時間/資金限制，導致程式設計師的經理催促他們編寫粗製濫造的演算法，怎麼辦？
關於責任的進一步問題來自自主武器一旦在公眾中使用，它們是多麼容易複製。如果研究人員的預測可以信賴，那麼自主武器將是繼火藥和核武器之後的下一場戰爭革命。擁有如此容易複製的武器，而且具有如此大的危險性，加劇了誰應該承擔責任的問題。
由於關於自主武器的責任非常模糊，因此共同簽署這封信的 AI 研究人員已經決定不參與自主武器的進一步研究。

職業道德

進入該領域的工程師可能想知道他們可以採取哪些措施來防止事態升級。谷歌工程師可以提供一個很好的例子，比如，當谷歌被曝出幫助美國政府進行“Maven 專案”時。該專案利用谷歌的影像識別軟體來製造自主武器。當這些資訊洩露後，公司內部的工程師們進行了大規模的抗議，最終迫使谷歌撤出了該專案。

結論

作為一項新技術，自主武器和人工智慧研究有可能極大地造福人類，也可能極大地傷害人類。自主武器公開信的作者和簽署者認為，無論其建立背後的意圖如何，不受限制的人工智慧發展在全球範圍內都將是災難性的。他們呼籲禁止進攻性自主武器，但這些武器的製造容易，並且具有有效的致命戰術潛力，這可能使其變得不可能。

未來的探索可以包括對這些武器被駭客攻擊或被盜的可能性、包括防禦在內的自主武器技術未來以及該技術的當前全球狀況進行研究。