工研院電光系統所  林顯昌 林浪津 陳世杰

數位化革命不僅帶來數位資通訊電腦及智慧手機產業的發展，預期AR（擴增實境）／VR（虛擬實境）將會是接下來繼起的新革命性產業。如果說資通訊的發達改變了人類的生活與工作方式，那AR／VR將會是奠基在此基礎上，延伸人類的感知，實現夢想。

AR／VR緣起

AR是Augmented Reality簡稱，是一種以電腦計算生成虛擬影像與真實世界空間視覺疊合呈現的科技。AR第一個應用出現在1960年代晚期及1970年代初期之間，但直到1990年，才由波音前研究者Thomas Caudell首先提出AR的名稱。近期最知名熱門的AR產品就屬2012年Google發布的AR眼鏡Google Glass以及任天堂在2016年推出的Pokemon GO手機遊戲。Google Glass配備攝影鏡頭，支持藍牙和Wifi，可以通過語音指令，實現拍攝照片、發送信息、直播、輔助教學等功能。不過因價格過高以及有侵犯隱私疑慮，市場反應不如預期，2015年Google終止該產品。Pokemon GO手機遊戲允許玩家以現實世界為平台，捕捉、戰鬥、訓練和交易虛擬怪獸「寶可夢」，造成全球數億人口瘋狂追逐，不過虛實影像單純只有2D疊合，未來技術上仍有相當大的發展空間。蘋果執行長庫克（Cook）認為AR將會與智慧型手機一樣，有著同等的革新潛力，次世代AR增強實境技術，環境感知與即時互動能力增強，將會改寫主流溝通模式。

VR是Virtual Reality簡稱，是一種電腦計算生成的虛擬影像，藉由包覆雙眼的裝置顯示虛擬影像，使觀者沉浸在虛擬的影像世界中。VR的出現最早在1935年，小說家Stanley G.Weinbaum在其作品中提及一款可以看見虛擬世界的眼鏡，被視為VR的發展雛型。1957年，Morton Heiling發明了Sensorama，一種可以生成3D影像的模擬器，試圖創造出如真實般的幻覺。在1990時代已有頭盔式顯示器開始販售，受限於影像解析度與缺乏內容，致難以普及；直到21世紀的今日，隨著資通訊、網路、處理器晶片、半導體、微型高解析顯示、電腦視覺影像處理技術的快速發展，次世代VR技術逐漸萌芽，尤其新的技術更能藉由眼球追蹤技術改善暈眩問題，帶入空間避障感測、即時追蹤使用者動作，以及操縱虛擬影像來與內容進行更多的互動，在創新應用帶動下，市場分析紛紛看好VR產業的發展。

國外廠商如Google、Facebook、Microsoft、Samsung及Sony等大廠，國內廠商如宏達電、華碩、宏碁等相繼大力投資，陸續整合新一代軟硬體和平台技術，在各行各業開發新的應用。以下章節將聚焦次世代AR／VR軟體技術及專利詳細說明。

次世代AR／VR發展技術

當VR不再是頭盔、AR不再只有眼鏡時，AR／VR的應用如雨後春筍般在各行各業展開，而連結這些產品應用，多數需要軟體技術接軌。如果產品還要即時互動則處理速度與精確度更是重要，我們就分別以（1）空間定位技術、（2）虛實影像融合與顯示技術、（3）互動感測辨識技術作說明。

空間定位技術
空間定位技術隨著科技的發展日漸成熟和精確，而使用者要將虛擬的信息應用到真實世界，把虛擬物體和真實環境即時疊加在同一個畫面或空間時，除了感測器感知到使用者的移動外，必須靠精準的定位技術來做強大的技術支撐。其中

（1）同步定位與地圖構建技術（SLAM, Simultaneous Localization and Mapping）
使用者在空間中移動，將重複觀測到的地圖特徵（例如：牆角、柱子、交通號誌等），定位自身位置和姿態，利用特定演算技術，而達到同時定位和地圖構建。按照不同的感測器、應用場域、核心算法，SLAM有很多種分類方法，其中採用先進視覺影像結合慣性感測器的Inside-Out空間定位方法，具有不受限於固定空間的優點，是次世代技術發展方向。

（2）內部追蹤（Inside-Out）技術
現有VR設備多是搭配空間上所架設的位置與動作偵測裝置，所謂的Outside-In技術，必須在使用前先架設好，使用的場域也就被限制在可被偵測到的範圍。但次世代AR／VR裝置要能在室外運作，且不受限於在固定的空間範圍，而無法架設外部定位器取得使用者位置與動作，只能使用內建於AR／VR裝置的感測器讀取深度信息，利用特定演算法，轉換成使用者身處的空間位置。

Google搭載Tango系統的聯想Phab2 Pro手機、Oculus正在開發的VR一體機產品Santa Cruz、與微軟的HoloLens，對外展示的產品形態迥異，但核心卻都是Inside-out追蹤技術。

虛實影像融合與顯示技術
高解析度及快速更新率的AR／VR顯示裝置，在虛實影像融合過程，因需要處理的影像資料相當大，以致虚擬物件顯示有延遲現象。除了CPU、GPU、ASIC晶片外，改善圖像與3D物件重建的影像處理資料量也可有效解決問題，圖像與3D物件重建有下列關鍵技術：

（1）注視點宣染（Foveated  Rendering）技術
因為人眼分辨率最高的區域是視網膜中央窩（fovea），在這個區域外分辨率會急遽降低，而且視網膜中央窩(fovea)的直徑約占視網膜直徑的十分之一。如果藉由圖形處理，將人眼注視的畫面進行高解析度處理，同時降低周圍的畫面解析度，這種圖像處理技術可降低處理器性能需求及電池功耗，而降低AR/VR裝置的成本。

（2）眼球追蹤技術
實現注視點渲染技術必須搭配眼球追蹤技術，但眼球追蹤技術最大的挑戰在於人們的眼睛有不同的形狀和大小，使得眼睛很難被追蹤，如果眼球追蹤沒有即時響應或即時計算偏差量與補償，影像渲染結果會造成使用者在體驗時不舒服，而使注視點渲染技術失效。

（3）3D建模技術
進行空間掃描3D建模，實際移動值與感測值的差異不能有累積誤差，例如手持裝置對物件或場景掃描繞了一圈，終點位置必須和起始位置重合，才可取得完整的3D模型，而讓使用者可以將3D虛擬物件在真實環境中精確擺放或進行即時互動。

互動感測辨識技術
互動感測辨識技術主要提供使用者與AR / VR裝置的互動操作，現有做法是提供外接裝置，例如數據手套等。借助數據手套、力回饋裝置、磁感應器等裝置進行互動，這種方式精度高，沉浸感較强，但是成本也相對較高。另有結合人工智慧的語音辨識技術的語音輸入裝置也是系统的互動方式之一。

最新的發展是徒手式互動，是一種基於電腦視覺影像處理的自然手勢互動方式，需要借助複雜的人手辨識演算法。對人手的運動軌跡進行追蹤定位，最後根據手勢狀態、人手當前的位置和運動軌跡等信息估算出操作者的意圖，並將其正確映射到相應的輸入事件中。這種互動方式沉浸感最强，成本低，但算法複雜，目前困難度仍高，結合機器學習技術是發展方向。

另有特定情境的辨識技術需求，例如: 臉部辨識、表情辨識、虹膜辨識、情緒辨識、物體辨識等都是值得投入開發的技術。

次世代AR / VR專利技術剖析

專利布局分析
（a）專利數量年度成長分析
在TI (Thomson Innovation)搜尋公開專利資料庫，針對擴增實境（AR）與虛擬實境（VR）技術檢索，專利公開從90年代初起步，在1998年專利數量為224件，並自2010年開始快速成長，數量增長為760件，到了2016年為5743件，其中AR技術開發時間相對比VR技術晚，從2014年由Google Project Tango 和Microsoft HoloLens發起。

（b）專利權人分析
針對全球次世代AR / VR重要專利權人作分析，自2010年至2017年的累積專利件數，得知都是國際知名IT業的企業，如Microsoft、Oculus、Samsung、Google、Sony，如表一所示。依資料解讀Apple投入市場較晚，其名下專利不多，另大陸專利權人多屬大學與研究機構。企業若獲得更多相關專利技術，未來即可獲得更大的競爭優勢，因此國際知名企業除研發自己產品，也儲備自家的核心技術專利。

表1 重要專利權人AR / VR累積專利件數(2010-2017)

專利技術分析
（a）專利技術分類分析
國際知名企業專利都在美國先卡位，圖一是2010年至2017年的美國專利技術IPC分類，統計以頭盔式顯示器（G02B002701)、互動感測辨識技術（G06F000301)、與虛實影像融合與顯示技術包含移動追蹤（motion tracking)等（G06T001900)三項技術群為前三名，Microsoft、Google、與Samsung三個區域都有布局，Magic Leap步局集中於頭盔式顯示器，Intel步局集中於互動介面。

（b）重要專利技術分析
（i）空間定位技術
次世代AR / VR裝置成為一種行動式裝置是未來趨勢，使得空間定位技術成為AR/VR業者競相投入開發的技術。Microsoft 在2016年上市的HoloLens產品相當亮眼，分析該公司專利布局，除了頭盔裝置專利外，在追蹤技術的專利也不少。其中
Microsoft在2015年5月獲證的專利US 9024972 B1－｢Augmented reality computing with inertial sensors｣ ，揭露一種空間定位的演算方法，可在真實環境中藉由一個或多個慣性感測器探測到頭盔的轉動度，結合Microsoft平台系統的算法，就會得知使用者在6個自由度的位置，如圖二所示。目的是讓一個行動裝置，透過其內部的感測器，即可進行定位追蹤。

（ii）虛實影像融合與顯示技術
在AR裡是要虛擬影像套在現實世界，手持裝置或頭戴式顯示裝置要能即時感知周遭環境，並要取得裝置與真實世界相對位置，才能即時將虛擬影像套入真實環境正確位置，如AR室內空間3D裝潢或AR室內導航等，這些在AR領域裡屬於進步性技術。

Google在 2014年推出Project Tango技術，並提出US 9407837專利｢Depth sensor using modulated light projector and image sensor with color and IR sensing｣，揭露了一個電子裝置或平台使用多重感測器如影像感測器、深度感測器與慣性感測器，取得地區周遭環境multi-view影像，並運用電腦視覺技術識別物件特徵，比對不同位置之相同物件特徵，計算出裝置或平台與物件相對位置 / 方向(position/orientation)如圖三，目的讓裝置或平台具有「空間感知」與「動態追蹤」能力。

（iii）互動感測辨識技術
AR / VR互動介面的技術範圍相當廣泛，手勢識別互動、身體姿態識別互動、眼球位移追蹤互動與頭部位移追蹤互動等。但在AR / VR互動技術領域裡，具省電、快速刷新率、體積小，屬進步性技術。

Google在2016年11月公開了US20160320852專利｢Wide-Field Radar-Based Gesture Recognition｣，揭露一種以雷達波反射的原理，去分析反射波訊號來辨識手勢，將整個手勢操控的功能縮小到一個長寬各小於1公分的單晶片中。這種特殊設計的雷達傳感器去追蹤mm精準度的高速運動，然後將雷達訊號進行處理，辨識成一系列通用的交互手勢，如按鈕、轉盤、或滑桿等平時所熟悉的一些動作如圖四。相較於依賴PrimeSense、SoftKinetic深度感測器，其體積大不易攜帶，且紅外線的深度感測器在室外環境可靠性很差，此毫米波雷達則無這方面問題。

AR / VR技術改變溝通模式，AR則是把虛擬的物件展現在真實世界裡，更強調虛擬與真實影像之間的互動；VR強調在沉浸虛擬3D空間展現，有互動機制可改變內容。兩者內容展現都是過去沒有的體驗，代表過去多數內容要重製，相信又有很多新的應用領域會被開發出來，屆時興起新的一波AR / VR產業，這是大家看好的商機。現在國際IT巨頭砸錢投資AR / VR技術不手軟，他們可以做平台、軟硬體，台灣硬體產業基礎不錯，其他技術待建立，必須靠業界高度整合，還要靠長期投資，AR/VR產業不像短打暴利模式。由專利數統計，台灣在AR/VR數量相對少，不利於大規模商業競爭，容易引起外國大廠覬覦，盡早投資IP，如等商機來時再投資IP，恐怕時不我予。