Deepfake深偽技術
Deepfake「深偽技術」又稱「深度偽造」，是以深度學習「Deep Learning」和偽造「fake」的混成詞，是利用深度學習技術來進行人體圖像合成的應用，而廣為人知的就是運用此技術來進行換臉，如小玉事件[1]以及大選時造假韓國瑜的影片[2]就是2020-21年在台灣所發生的重大事件，駭客運用深偽技術將大量名人的臉置換到日本成人影片中進行散播販售，引起軒然大波。而更早之前，大約2016、17年，網路上就開始出現了大量運用深偽技術將歐美的明星置換至成人影片的內容並開始流傳。
精彩內容
1. 拆開深偽技術神秘面紗
2. 深偽技術的黑暗與光明
3. 偵測造假影片行不行 |
深偽技術運用了深度學習中的自動編碼器（AE, Autoencoder）、對抗式生成網路（GAN, Generative Adversarial Network）等技術，對影片中的人臉進行置換，如下圖1所示，可將影片1中A的人臉，置換成影片2中B的人臉，且在進行大量AI演算與調適之後，影片中的A人物動作與表情與B的臉可以微妙微翹的結合，甚或連人眼都辨識不出真偽。這類表情偽造主要就是將其他人臉圖像的表情替換到目標人臉上，從而達到目標人物做指定表情的目的，在融合動態影像以及語音偽造技術後，則更容易在第一時間騙過大部分的人。
圖1 運用自動編碼器（Autoencoder）進行人臉置換
圖2 運用對抗式生成網路，建立可騙過辨識器（Discriminator）的生成器（Generator）
未來在元宇宙的運用中，各類虛實融合的人物出現在各自的場景之中，如何確認你所看到的影像，是真實世界的投影（真實發生）還是全虛擬或虛實整合的合成影像或造假影像，你眼前與你侃侃而談、掏心掏肺的虛擬化身（Avatar），到底是真的還是假的，深偽技術帶來的影響，值得大家深思。
深偽技術的惡（黑暗面）為何讓大家如此害怕
在筆者學生時代的記憶，早在無名小站這類靜態圖像網站流行時，就已經有偽造的圖像出現，為什麼如今對運用深偽技術進行換臉或造假如此害怕呢?事實上，早期的靜態影像，其造假流程多多半是運用一些如Photoshop之類的修圖軟體，以人工方式剪輯目標人臉到欲造假的相片中，再透過影像技巧進行修飾，從而騙過瀏覽者。現今則是運用人工智慧技術，在動態影像中，從偵測擷取人臉，到訓練學習欲造假的人臉模型，再到生成搭配原始影片中人物的表情變化的影像，整個流程可以自動化完成，甚或出現了整合深度學習框架（如Tensorflow）的簡易造假工具如FaceApp、DeepFaceLab以及手機可用的軟體ZAO等，自動化與普及化的工具使用，使的各類假新聞、惡意惡作劇不斷的在Youtube、Vimeo或Facebook 等網路媒體上出現並飽受抨擊，從而使的Facebook與微軟發起，透過亞馬遜贊助在Kaggle上舉辦了深偽偵測挑戰（Deepfake Detection Challenge）競賽[3]，有2265隊參賽，在官方提供的訓練測試資料集上，最高可達82%的辨識率，但遇到10萬則黑箱測試影片，也就是模型訓練時沒看過的影片時，辨識率就大幅下降到只有65%左右，換言之，在實際網路上要檢測各式各樣五花八門的造假影片時，偵測率就只有65%。這使得運用深偽偵測技術（Deepfake Detection）在內容網站上篩檢造假的影片，在實用的路途上還需要努力。未來當元宇宙的應用逐漸深入我們的生活時，真與假的界線將會愈來愈模糊，也更難分辨。
深偽技術也有善良的一面
深偽技術其實也可以運用在許多好的地方，如俄羅斯在疫情期間，就購買了好萊塢明星布魯斯威利的肖像權，運用深偽技術製作了一系列的廣告[4]，而廣告商就認為，在疫情期間，用深偽技術打造演員的替身，不失為一個可以避免疫情危害演員又可以創造收入的方式。而韓國不只是整容大國，在運用深偽技術建構虛擬人物上，更是打造了女子組合Eternity[5]以及網紅YouTuber「Rui」[6]，若不是打造Eternity的Pulse 9和Rui的dob Studio兩間公司主動承認，眾粉絲都沒有發現追蹤許久的網紅竟是虛構人物，而Pulse 9則發表Eternity是它們結合人工智慧與深偽技術所發展的深度真實人工智慧（Deep Real AI）所打造出來的超現實圖像，也發行了相關的音樂影片。除了上述公司之外，韓國另有一間新創KLleon，利用「深度學習技術」開發人工智慧的臉部／語音合成和轉換解決方案。透過四種技術來改變和改進視頻生成的角色。其技術包括機器對機器（M2M）人臉語音交換、虛擬人臉生成、語音唇形同步、2D轉3D等功能[7]，提供B2B與B2C服務給媒體公司、廣告商、教育公司、小型娛樂企業、廣播公司、電影製作人等各種企業使用。
工研院在Deepfake Detection技術上的成果
目前工研院在深偽偵測（Deepfake Detection）技術的研發上，運用深度學習技術，整合了網路上使用度最高的三個深偽訓練資料庫:
- FaceForensics++（F2F） [8]: 由youtube收集的1000支影片，內含1000個不同人物，再加以交互偽造
- DFDC[9]: 深偽偵測挑戰（Deepfake Dtection Challenge） 競賽所提供的資料集，是Facebook建置，影片由商業演員拍攝而成，再加以交互偽造
- DeeperForensics-1.0[10]: 原始影片由商業演員拍攝而成，以F2F的1000支影片為目標，再運用所拍攝影片偽造F2F影片。較特別是，原始影片包含演員各種角度，偽造影片效果較好我們運用上述三個資料集進行混搭，亦收集了部分國內的一些資料加入，並導入分離卷積網路架構（Separable CNN）整合影像分割（Image Segmentation），建構了一個內容獨立深偽偵測技術（Content-Independent Deepfake Detection），在小玉事件的偵測上，雖然沒有預先看過小玉事件中的人物（相當於前述的黑箱測試），但偵測率可達到70%（22／30）以上，均遠優於深偽偵測競賽中前三名的模型（偵測率只有1／30），對於開源的相關深偽換臉工具所製造的影片（較小玉的影片粗糙，且小玉的影片除了使用深偽技術工具外，內容有進行特別篩選與後製），偵測率可達100%。如下圖3我們運用開源深偽技術工具所製作的深偽樣本之一，有些樣本作為台灣本地的資料源協助訓練，有些則做為測試資料，可讓大家體驗到深偽技術的效果。
圖3 以工研院同仁臉部影像所製作的深偽樣本資料
結論
基於深偽技術的應用，目前不僅止於人臉或影像的合成或置換，也應用於聲音的生成與偽造，技術本身是中性的，對未來元宇宙的應用發展，運用AI技術來生成或產出各式各樣的影音合成類的應用，甚或是透過一些文字描述，來創造一個自己專屬的元宇宙場景，人在元宇宙中甚至可以變身為上帝一般的存在，天花板只會是我們的想像力。而同樣的技術，運用到偽造影像、聲音、圖片等來進行詐欺等行為，只會愈來愈平凡，未來技術發展或應用的展開，除了AI技術外，也會結合如生物特徵識別聯盟（FIDO）、非同質化代幣（NFT）等各種技術應用，共同來拓展元宇宙的深度並滿足元宇宙的應用需求。
