工業技術研究院 資訊與通訊研究所 梁菁珊 郭慧冰 李協衡 吳益銘 戴源助 溫逸倫 鄧友清

無人機娛樂應用已成為新興市場，競速無人機產業預期從傳統競速無人機賽事擴展為虛實整合的數位娛樂服務。

近年素有「空中F1，來自未來的運動」之稱的競速無人機（Racing Drone），自2016年美國Drone Racing League（DRL）大力推動以來，已成為全球最具潛力的電子競技賽事（Esports），使得無人機娛樂應用成為全球聚焦的新興市場。

競技無人機與一般空拍機不同，空拍機如同空中之攝影機，主用來進行資料收集，其所強調的是影像畫質與辨識分析技術；競技無人機則強調的是快速、準確與性能，如空中的F1賽車比賽。因其以FPV（First Person View，第一人稱視角）來操控無人機，故影像傳輸的品質與延遲性就非常關鍵，圖1 為空拍無人機與競技無人機之差異比較。

圖1 空拍無人機(（左)）與競技無人機(（右)）之差異

因現行技術頻寬問題，目前國際上競速無人機均以類比FPV進行，畫質差且容易破格、產生雪花。若欲改用數位FPV，將有大頻寬（每台無人機需上行頻寬>50Mb）、低延遲（數位即時串流延遲<50ms）之需求。故要呈現5G MR無人機競技，就需要先解決數位串流延遲問題；再者，為豐富遊戲賽事體驗，讓實體無人機可在虛擬環境中競技，虛實互動（如圖2所示），需要解決定位與MR混合實境互動技術，以讓真實的無人機被對方虛擬的子彈擊落。
</50ms>

圖2 5G MR無人機競技示意圖

5G MR競技無人機技術說明

低延遲數位串流技術

本項技術讓多架無人機機上攝影機所拍攝之畫面實時傳遞至系統核心，並同時滿足多路、穩定且低延遲的無線傳輸要求，以進行後續的畫面處理。
一般常見的串流裝置效能而言，其影像串流從攝影機拍攝到顯示器顯示的總延遲約110～150ms來看，當無人機飛行時速達到每小時60公里（16.7m／s），意味著玩家看到某個時刻的畫面時，此時無人機實際的位置已經往前移動了至少1.8～2.5公尺，串流影像的延遲量對操控競技無人機有著關鍵性的影響，因此降低影像串流延遲是競技無人機系統內重要的一環。
第一人稱攝影機影像傳輸系統可以用圖3的功能區塊表現其管線（Pipeline）運作方式。影像自攝影機端（FPV Camera）擷取（Capture）後，以幀（Frame）為單位，依序經過壓縮編碼（Encode）後，以封包型態送出（Send）；負責接收的電腦端（Player PC）則是先接收封包（Receive）、重組回幀進行解壓縮（Decode），最後進行渲染（Render），並顯示於螢幕上。

圖3 數位串流系統功能區塊架構圖

量測數位影像串流的延遲數值，完整的延遲應從攝影機拍攝畫面開始計算，影像資訊最終在顯示器上呈現為止。在數位串流延遲組成管線圖內可以看到延遲時間的組成，欲改善延遲就必須縮短整個管線週期所需要的時間，在此設計處理平行化與解碼渲染加速兩個方法來降低延遲。上述的影像傳輸系統，由於影像擷取之後的處理是以幀為單位，需等到一整張完整的幀壓縮編碼完畢後，才能開始將資料切成封包並放入佇列等待傳送。在這邊使用切片壓縮封裝技術，將一整張的幀以小切片編碼後立即送至傳送端進行處理（如圖4所示），當程序返回編碼端編碼剩餘的切片的同時傳送端已經可以開始封裝封包，藉此使管線中編碼與傳送階段可以平行進行。

圖4 切片壓縮封裝處理之管線示意圖及平行化方式示意

再者，傳送端使用另一執行序，以平行封包封裝的方式來縮短編碼器中斷後返回的時間，使每一切片處理的週期縮短；類似地，在接收端處理封包的同時，前一個切片的資料也可以平行地進行重組，藉此提升平均影像幀率，縮短影像更新的延遲。 前述方法，已完成實作應用於整合單晶片系統，使用高效率影像編碼（High Efficiency Video Coding, HEVC）進行壓縮，最高可支援到解析度1080p，同時幀率可達每秒120張，每幀切分為4塊切片的方式來傳輸。
最終系統使用整合硬體解碼與渲染的方式，透過於初始階段從應用程式提供渲染區域設定，讓解碼完成的像素直接於圖形處理器（Graphics Processing Unit, GPU）顯示記憶體等待被渲染或是後續的混合擴增實境的虛擬物件疊合。
這樣的解碼／渲染加速結合Unity遊戲引擎的架構圖如下圖5。

圖5 解碼與渲染加速配合Unity渲染方式架構圖

HEVC的每一張畫面透過GPU的解碼器輸出Y／UV的planer資料後，就一直在GPU內的記憶體內傳送，而避免搬移回DRAM記憶體產生額外的時間，而Y／UV planer透過D3D11的texture結構參照之後，即可送至Unity的shader處理。在此利用shader可以有兩個好處：1）利用shader語法可以利用GPU同時做Vectorization運算的硬體優勢將Y／UV的color space快速轉換成最終要顯示的RGB格式，進一步減少潛在的延遲；2）針對MR應用常見的沈浸式視覺效果，視覺頭盔常有一些特殊的光學扭曲設計因而需要對畫面預先做一些變形處理。透過shader可以在取樣進行color space轉換時，可以一併進行變形處理且不會造成額外的延遲，利用這個功能，甚至可以做到如下圖6在不造成額外的延遲下，同時進行兩種不同的shader輸出以配合飛手操控與大螢幕轉播等不同需求。表1則呈現有無採用此加速方法在處理時間的比較。

圖6 同時以兩種不同shader進行不同需求的畫面變形情境示意

表1 加速前後所需計算時間

經實測，將解碼與渲染同時以硬體加速之後，每一張高效率影像編碼（HEVC）的資料處理平均時間由原本的14.7ms大幅縮短至0.78ms。由此證明透過播放端修改管線設計，合併解碼與渲染，使系統管線縮短，達到進一步縮短系統延遲的目標。 在加入了處理平行化與解碼渲染加速兩個方法後，透過前述的數位串流系統延遲量測方法去檢視成果，在傳遞以高效率影像編碼（HEVC）的影像，解析度1080p，每秒120張的畫面時，所得到的總延遲數據從原本的75ms降至50ms，減少了33.3％的延遲。

5G組網技術

無論在一般民眾遊玩之無人機亦或是由專業競賽人員執飛之競技（競速）無人機，都無法逃離無線通訊之課題。從無人機上之攝影機影像回傳到操作人員及無線控制器之訊號回傳到無人機上，皆需要無線通訊進行資料的傳輸，如同遊玩電腦遊戲一樣，傳輸時間愈短、畫面及控制穩定性愈高，獲得的操作體驗會愈佳。 目前現行主流的無人機通訊技術為Wi-Fi及類比訊號，但這兩種技術皆為無授權頻譜，任何人都可以進行無線訊號發射及使用，容易產生的無線網路的干擾，進而導致飛機的不受控或是墜毀。

5G專屬網路的優勢如下：

1. 專屬授權頻段：於台灣內發射及使用皆需通過NCC（國家通訊傳播委員會）之許可，若無許可就自行使用屬於違法的範疇，因此不會發生無線訊號干擾之問題。。
2. 較大的無線頻寬及較高的傳輸速率：相較於4G網路，5G網路擁有更大的頻寬，由20Mhz提升至100Mhz。傳輸速率也由4G單站基地台的下載／上傳由120／20Mbps提升至1,000／80Mbps。
3. 較低的延遲：5G基地台大幅提升了無線傳輸的網路延遲，使得端到端的延遲由原先4G的30ms降低至10ms。

因此在導入5G專網系統後，可有效改善無人機的飛控影像畫質同步讓操作者有更精確靈敏的操作手感，有助於提升競技無人機應用體驗。

圖7 5G核網（左）與基地台（右）
 

快速無人機體定位技術

本項技術以無人機飛航過程中的三維位置資訊，支援多機同時定位、較高定位精度、和較高的定位頻率。
競技無人機賽事定位要求須滿足無人機飛行速度達每小時60公里（16.7m／s）的快速飛行定位能力，在此情況中定位頻率至少需大於55Hz才可滿足一個機身（30cm）的解析度，因此無法使用GPS定位。目前現行市售視覺定位方案，支援定位頻率達240Hz，但其應用範圍較小（邊長<15公尺），可適用於室內；若在室外大範圍應用，市售超寬頻（Ultra Wide Band, UWB）定位模組可涵蓋100m距離，較接近需求，惟定位頻率僅約10Hz，對應用於競技無人機賽事略有不足。緣此，本團隊便以現有超寬頻定位裝置環境中，進一步開發並導入快速無人機定位技術，用以滿足室外競技無人機賽事的需求。
</15>
超寬頻無線電定位原理是利用飛行時間（Time of Flight, ToF）測距，在此採用雙向定位法來定位無人機，雙向定位法依賴於兩個設備之間的雙向通信，並具有節點間不需進行時間同步和容易部署的優點。當他們進行數據交換時，設備也測量它們之間的超寬頻無線電信號的傳遞時間，藉由信號往返時間就可以得出兩個設備之間的實際距離。基於雙向定位法，進一步可通過測量機體上標籤（Tag）和固定基站（Anchor）之間的距離來實現2維和3維定位。

儘管超寬頻無線電定位在定位的範圍和精確方面，給予了不錯的成果，但仍有定位頻率不足，以及因無線電的多重路徑效應影響，使得定位結果產生漂移的問題，為了滿足競技無人機賽事定位規格的需求，本團隊進一步開發將慣性導航定位融入超寬頻無線電定位的定位融合技術，用以提高定位頻率，同時提升定位結果的穩定度。 慣性導航定位技術以慣性測量單元（IMU）的感測資訊為定位基礎，透過慣性測量單元的測量結果，用以計算當前裝置的姿態、速度和從某個已知起始參考點之後某個時間點的位置。IMU的加速度測量值必須經過適當的轉換來獲取相對位置估計，但這樣的轉換也會同時帶入由於慣性測量單元噪聲（Noise）和偏置（Biases）所引起的誤差，所以則需進一步去同時降低或消除這些誤差值，在此通過使用擴展卡爾曼濾波器（Extended Kalman Filter, EKF）來校準慣性傳感器的系統誤差，同時透過超寬頻無線定位數據融合提供位置校正，以慣性導航定位感測值約200Hz之更新頻率進行輔助計算和結合非線性濾波演算法估算座標，達到飛競所需之快速機體定位。另外，由於舉辦競技無人機賽事的環境可能會使用大量的金屬支架來搭建賽道、燈光或舞台設施，無人機的飛行環境中可能存在較複雜的環境阻擋（Blockage）事件，影響超寬頻無線電的傳遞，以及偶發的較大通訊雜訊干擾，皆會對定位結果產生較大偏差，為了改善此現象，進一步導入Rauch-Tung-Striebel smoother（RTS）平滑演算法，提高整體定位精確度。

混合實境互動技術

本項技術用以使無人機機上攝影機所拍攝畫面，可實時連結定位系統，透過遊戲引擎計算生成虛擬物件，並且能與無人機發生互動效果。

為擁有較大視野範圍的畫面，無人機上配置了廣角攝影機，但因鏡頭自帶的物理特性會使得畫面各處的成像產生不同幅度的扭曲和畸變（如radial distortion、tangential distortion、和undistort等），因此必須先進行適當的畫面校正，用以便於後續可以較完美的與虛擬物件進行匹配呈現。此處使用OpenCV camera calibration套件取得真實攝影機參數，以及高級語言著色器語言（High-Level Shading Language, HLSL）相關套件來優化所拍攝畫面內容，同時同步導入圖形處理器的算力，用以提高畫面生成幀數。

圖8 碰撞回饋模組架構及爆破場景視覺效果

此外，基於現場安全，本系統亦具備電子圍籬功能，用於限制無人機的飛行範圍，當無人機飛行至圍籬附近，系統會介入遙控無人機，降低其往圍籬外部前進的速度至懸停狀態，降低因玩家操作不嫻熟或誤操作而引起的危險。

成果

本團隊2021年12月於高雄市亞灣地區舉辦全球首創5G+MR無人機大賽，並於室內場地架設架設無人機競技區安全圍網TRUSS，供一般民眾體驗以簡易遙控器操控無人機，進行虛實對戰（實體無人機在虛擬環境中進行射擊掩蔽）。玩家所觀看的FPV影像將疊合虛擬物件，虛擬事件產生的效應（如爆炸、擊落等等），可直接反饋給無人機，要求無人機抖動與迫降等等，並提供兩個大螢幕給旁觀民眾觀看混和MR之遊戲實況。開放體驗三週中吸引不少民眾參與，包括親子同樂、同事相約、夫妻情侶檔共同參與體驗，多表示親自操控無人機與純粹打電動，感覺不同，看到即時傳輸的混合實境影像，宛如親自駕駛飛機對戰一樣的臨場感，非常新奇有趣。

圖9 競技無人機與無人機操作區

圖10 擊中時，兩台無人機玩家所看到的效果（左：攻擊方，右：被擊中方）

圖11 民眾體驗，老少咸宜

經濟部次長林全能表示「得應用服務就得天下」，因5G有大頻寬、低延遲的特性，且技術發展相當快速，但成功決戰的關鍵是應用服務，將5G技術開發結合無人機競賽的應用服務及互動娛樂，可帶起台灣無人機從軟硬體、直播轉播及相關資源產業的發展，如同F1賽車帶動車輛、娛樂、明星、週邊商品等關聯產業，預期將會為我國無人機產業發展帶來嶄新的機會與商機，本項技術應用已在亞灣場域實際淬鍊獲得經濟部、高雄市政府、產業界及民眾多方的肯定與支持。

結論 

傳統競速無人機為類比通訊傳輸，近期雖有DJI最新研發的數位傳輸，但仍局限於點對點傳輸。傳統類比圖傳畫質差及易受干擾，不符合市場轉播畫質需求，更無法Live轉播，縮限成長空間。本系統導入5G傳輸，可打破實地距離限制，同時開發高畫質低延遲FPV（First Person View）、高速機體、精準定位、虛實融合為競速無人機未來發展關鍵，相關技術模組可擴散至消費／商用無人機、AR／VR及娛樂運動應用市場，多項技術大幅延伸應用可創造難以數計之龐大商機。

未來，競速無人機產業預期可依循電競市場發展軌跡，整合虛實應用，從傳統競速無人機賽事擴展為虛實整合的數位娛樂服務，而市場規模也將從傳統競速無人機賽事擴展至上游（虛實整合賽事開發商、營運商）、中游（賽事承辦商、贊助商、賽事參與方、數據服務商）、下游（網路直播平台、電視頻道、廣播、電競媒體），乃至周邊商品、網紅、運動明星及運動博弈娛樂，商機無限成為兵家必爭之地，對帶動台灣無人機產業及關聯產業鏈奠定成功的關鍵與全自主研發能量。

參考文獻 

[1]https://www.polarismarketresearch.com/industry-analysis/racing-drone-market

[2] Yao, L., Wu, Y. W. A., Yao, L., & Liao, Z. Z. （2017, September）. An integrated IMU and UWB sensor based indoor positioning system. In 2017 International Conference on Indoor Positioning and Indoor Navigation （IPIN） （pp. 1-8）. IEEE.

[3] A. Shimada, "Kalman Filter Design with Disturbance Estimation", IEEJ Technical meeting MEC-16-027, 2016.

[4] Yigit Mahmutoglu and Kadir Turk, "Received signal strength difference based leakage localization for the underwater natural gas pipelines [J]", Applied Acoustics, vol. 153, 2019.