Lentis/Deepfakes

簡介

Deepfake是一種偽造的影像、影片或音訊錄製，旨在看起來和聽起來都很真實。Deepfake是使用動畫、面部識別和機器學習技術建立的。

背景

歷史

基於計算機的面部動畫技術自20世紀70年代初就已存在，但它們缺乏用於製作現代Deepfakes的技術的真實感和便利性。

1997年的“影片重寫”研究專案是朝著現代Deepfake技術發展的一個關鍵進步。“影片重寫”利用計算機視覺、面部動畫和現有素材來“自動建立一個人在原始素材中沒有說的話的新影片”。 這將多種技術合成到一個單一的自動化過程中，為Deepfake生成應用程式鋪平了道路。

在影像或影片中跟蹤面部特徵是現代Deepfake技術的一個關鍵方面。2001年，加州大學伯克利分校的研究人員開發了一個計算機模型，將形狀對映到現有影像上，實現了這一目標。

2000年代後期和2010年代初期，計算機處理能力、機器學習、面部識別和動畫技術取得了漸進式進步。

2016年，斯坦福大學的研究人員提出了一種新穎的方法，用於“單目影片序列（例如YouTube影片）的即時面部重演”。 這種技術將演員的嘴巴疊加到目標影片上。與舊方法相比，這是即時完成的，是Deepfake技術發展的一個里程碑。一年後，華盛頓大學的研究人員建立了一個程式，可以真實有效地改變目標影片的影片和音訊，使用個人電腦硬體在約45分鐘內生成一個66秒的Deepfake。 這種方法的速度和質量，以及其在普通硬體上執行的能力，使得公眾能夠爆炸式地生成高質量的Deepfake。

隨著Deepfake技術的改進，Reddit使用者在“r/deepfakes”子版塊開始釋出原創Deepfake，FakeApp應用程式建立了一個“用於建立Deepfake的桌面工具”。

現代Deepfakes

現代Deepfake是透過在現有面部影像或影片上訓練神經網路來製作的。一旦網路學會了面部在不同表情和環境下的樣子，它就可以生成自己的面部Deepfake。 遵循過去的趨勢，Deepfake的質量幾乎肯定會持續提高，直到人類無法分辨真實和生成的之間的任何區別。這可能會造成嚴重的資訊誤導，並給經常成為Deepfake主題的名人和公眾人物帶來問題。

商業應用

Deepfake用於影片翻譯和庫存照片生成。Canny AI雖然將他們的服務稱為“影片對話替換”，並表示他們沒有建立Deepfake，但他們提供翻譯源影片和修改面部以使其看起來像是在說新語言的服務。 一家國際企業可以使用Canny AI對高管用不同語言發表的演講進行Deepfake，而不是使用字幕。如果使用者能夠證明獲得同意，Canny AI還為名人模仿提供其服務。Generated.photos銷售人造生成的肖像，用於試用軟體、頭像、遊戲設計和廣告。他們還提供匿名化服務，為個人資料生成一張新面孔，該面孔“會讓你想起你的膚色、年齡、性別、[和]頭髮長度”。 為了避免資料隱私問題，所有照片都是由公司拍攝的，而不是從網際網路上抓取的。

擔憂

Deepfake可能被濫用來建立未經他人同意的人員影像和影片。例如，迪士尼和YouTube頻道已經對已故演員進行了Deepfake。 使用Generated.photos的遊戲開發者發現，“當需要刻畫不太討喜的角色時，合成照片特別有用”。 除了遊戲之外，Deepfake還可以用來傳播不受歡迎的、有爭議的或危險的資訊。例如，一家公司可以建立一個虛假的高管來為失敗的商業計劃背黑鍋，或者一個政治競選活動可以建立對手方面的虛假影片。

Generated.photos和Canny AI都設有旨在防止使用者從事非法或惡意活動的條款和條件。但是，Deepfake程式的原始碼是公開可用的。 Google Colab等雲平臺的免費層允許使用者從瀏覽器建立Deepfake。 隨著Deepfake的質量和可訪問性不斷提高，它們很可能很快就會成為模仿和傳播虛假資訊的主流工具。

身份盜竊

面部識別和語音合成允許不法分子假扮成他們不是的人。 虛假的聲音可用於電話呼叫，從資料庫管理員那裡竊取受害者的私人資訊，例如使用者名稱或密碼。或者，不法分子可以使用Deepfake假扮成身份盜竊的受害者，以受害者的身份致電銀行或其他服務機構，以獲取私人資訊或將受害者的賬戶資金轉到他們自己的賬戶。目前的Deepfake技術使得語音合成攻擊在今天成為可能，並且只需要很少的語音資料。 Deepfake詐騙的著名例子包括一位CEO損失了243,000美元，以及一位寡婦向她認為是海軍上將的人提供了287,928美元。 Deepfake身份盜竊的有效性值得懷疑，因為在許多情況下，犯罪分子使用自己的聲音模仿他人更容易且更可信。

敲詐勒索

犯罪分子利用Deepfake勒索受害者，主要是女名人，索取金錢或資訊。犯罪分子可能會威脅釋出包含受害者面孔的色情影片來勒索受害者，儘管受害者從未參與其中。這種型別的勒索沒有簡單的解決方案。

假新聞

儘管尚未成為普遍問題，但我們發現與深度偽造相關的對社會最大的威脅是其對新聞的潛在影響。透過深度偽造將錯誤資訊歸因於政治家或專家可能會被解讀為真實資訊。2018年，Buzzfeed釋出了一段影片，影片中展示了前總統巴拉克·奧巴馬的虛構版本，由喜劇演員喬丹·皮爾配音，貶低唐納德·特朗普。 該影片明確表示它是假的，並旨在提高人們對深度偽造對媒體的影響的認識。2020年4月，全球氣候倡導組織“滅絕叛亂”的比利時分部， 釋出了一段比利時總理談論環境問題與新冠疫情危機的影片，許多人在揭露其為偽造之前都認為它是真實的。

達特茅斯學院教授哈尼·法裡德擔心深度偽造可能影響2020年總統大選，因此建立了一款軟體，能夠以95%的準確率檢測深度偽造。 這種技術在未來將成為避免虛假新聞的必要條件，但它仍然可能無法阻止人們相信它。

政府回應

2019年6月，眾議院情報常設特別委員會主席希夫將深度偽造描述為“有能力擾亂整個競選活動，包括總統競選”，因為“不僅虛假影片可能被當作真實影片傳播，而且真實資訊也可能被當作虛假資訊傳播”。 防禦高階研究計劃局（DARPA）建立了媒體取證（MediFor）平臺，以自動檢測和識別被操縱的影像和影片。 早期的工作涉及影像拼接等編輯技術，並在2019年向測試資料中添加了GAN輔助操縱。

2019年10月，美國參議院通過了2019年深度偽造報告法案，“要求國土安全部長髮布一份關於深度偽造技術使用的年度報告，以及其他目的”。 它還於2020年7月作為一項修正案被新增到2021財年國防授權法案（NDAA）中。 截至2020年11月，眾議院尚未透過獨立的法案或修正後的NDAA。在NDAA修正案之後，參議員羅布·波特曼（他同時是最初法案和修正案的發起人）評論說，“以人工智慧為基礎的威脅，例如深度偽造，已成為對我們民主日益增長的威脅”，並且“我們必須應對這一挑戰，並解決與公民自由和隱私相關的重大問題”。

MediFor和其他政府活動是否能夠成功應對現代深度偽造尚存疑問。較舊的媒體操縱依賴於修改源材料，但新技術可以從頭開始生成影像和影片。研究人員也在不斷提高其程式的質量。例如，第一版人臉生成程式StyleGAN在背景中存在模糊點和牙齒錯位，促使研究人員建立了改進版的StyleGAN2。 該程式碼可在GitHub上獲取。

積極的深度偽造

以下是深度偽造的一些積極影響的示例。

醫學

深度偽造可用於建立腦部MRI的合成影像。 這些合成影像可用於研究阿爾茨海默病和腦腫瘤的形成。

獨特的聲音

語音合成技術（例如vocalid.ai） 為使用者提供人工智慧生成的語音。這使那些無法說話的人有機會用獨特的合成語音進行交流。

翻譯

深度偽造可用於聽到其他人用多種不同語言的聲音，而無需翻譯或字幕。2019年釋出的一段影片展示了大衛·貝克漢姆使用深度偽造技術用9種不同的語言講話，以提高人們對瘧疾的認識。

解決犯罪

2018年，手機影片、監控攝像頭錄影和屍檢報告被用於數字重建犯罪現場，以協助解決基輔3名抗議者被謀殺案。

結論

本案例研究主要關注深度偽造的背景及其一些應用。未來的研究人員將希望研究如何識別深度偽造， 如何製作深度偽造， 以及合成音訊的進步。 可以對與深度偽造相關的訴訟以及法律體系的回應進行進一步調查。 由於深度偽造的發展速度很快，本案例研究中的一些資訊可能會過時。未來應重新調查本案例研究的幾乎所有方面，以瞭解發生了哪些變化。