趨勢觀點

虛擬教育應用服務

工研院資通所 李嘉和

隨著近幾年AR/VR技術的蓬勃發展,手機Cardboard上的應用及VR 頭戴式顯示裝置的普及,帶動了AR/VR技術與其應用的發展。而在教育應用上,運用AR/VR技術的虛擬教育應用服務,無論是一般課堂的上課教學或者特殊的技能教育訓練應用,都有顯著的萌芽發展與漸漸茁壯的趨勢。而本文也將深入探討目前線上教育的現況問題與需求如何改善,以及AR/VR技術在虛擬教育產業上的機會,與教育領域上利用AR/VR技術的應用場景與服務案例。

線上教育現況問題與改善

線上教育應用,主要分成兩大塊應用領域:第一部分是教育,包含學校或職場上的上課,由上課來傳授與獲取教學上的知識。第二部分是訓練:包含技能或職場上的訓練,在職場或特殊技職能場域上的教學訓練。

現行傳統的教育教學上,主要仍集中於老師對學生單面向的教學為主,而大部分線上學習系統,如OpenEdx、MOOCs……等,目前大都也只利用課程影片,搭配電子教科書、講義及圖卡的方式來教學與訓練。這樣的學習方式,讓學生的感受是,課程為單方向且較靜態式的學習,學生無法獲得有效地參與,學習缺少了師生間或與課程教材內容上的互動,學習專注力與黏著度也會下降,學習成效也有限。而老師對於現行線上學習的感受是,在於教學內容製作與呈現上,以目前現有的技術,不容易將靜態的課程內容,設計製作成更具互動性的內容,讓學生有直接參與,並在課程互動之間學習,深入課程內容的學習感受,無法讓學習成效大加分。

另外在訓練課程方面,可能因為訓練性質、訓練種類、訓練設備或訓練環境的大小與人數上的限制關係,會縮限並影響到訓練的進行,引發訓練不便,造成訓練成效上的問題。

然而現行的線上教育或訓練上,老師與學生在面對學習時,比較常有一些學習上感受與問題,而這些問題與狀況大致如下:

領域應用 感受與問題
教育方面

1.傳統課程學習較不具互動性,學生缺乏參與感,無法深入其中
2.教材內容的製作上,偏靜態呈現,缺乏可互動技術及應用

訓練方面

1.部分真實訓練場域,有其安全性的考量,訓練課程有其危險性(如:火場訓練)
2.訓練設備因造價昂貴,可能無法實際操作或多次操作(如:晶圓設備)
3.部分訓練場域,有人數或操作上之限制(如:手術室場域與大體解剖)


而這些現行的問題,後續在AR/VR技術成熟下,將可利用AR/VR的技術,運用在未來虛擬教育的應用上,將這些狀況加以改善與解決,特別是AR/VR技術擁有了一些重要的特點,這些特點在教育的應用上,可解決老師與學生的需求,改善以往學習不好的感受,並為學習帶來不同的獨特體驗。以下是AR/VR技術的重要特點:

  1. VR能提供的沉浸式場景能讓教學與學習更加貼近深入與豐富生動。
  2. VR能以百分百3D模型方式建立擬真的實體教學教具物件。
  3. VR提供虛擬情境,可比實境下更安全地操作,訓練及互動學習,並有如親臨現場的感覺。
  4. 虛擬空間的場景與物件,無空間上使用或操作人數的限制。
  5. AR提供擴增實境,在原本的現實世界疊加擴增虛擬物件與資訊,現實世界充斥虛實交替的感官體驗。

而利用AR/VR技術在虛擬教育應用上,讓學生在學習過程中能有參與性,並透過虛擬實境的場景,讓學生沉浸式地親身體驗,並主動思考與深入學習,而有別於傳統的填鴨被動式教學,利用AR/VR技術擬真模擬展示與提供教學互動應用,來增加教學的實踐感與真實性,讓學習確有深入其境而參與其中的效果。

虛擬教育產業與機會

高盛在《VR與AR報告:了解下一個計算平台的競賽》中預測,到2025年AR/VR整體市場規模將達到800億美元。而VR/AR教育名列於高盛認為的最有可能成功的九大AR/VR行業之一,並預測2020年該市場規模將達到3億美元,而2025年將達到7億美元,並且認為AR/VR技術有潛力成為教育市場的標準工具,將給教學方式帶來新的革命[1]。

來源:Goldman Sachs Global Investment Research.來源:Goldman Sachs Global Investment Research.

數據分析顯示,未來教育的趨勢,勢必會大大地利用AR/VR技術與其獨特的技術特點,來創造新的學習方式與教育應用,而有別於傳統的學習,虛擬教育在虛實間有不同感官及擁有獨特的學習新體驗,未來也將會為教育帶來新變革。

虛擬教育應用服務

而在教育與訓練上的應用這兩大塊應用領域之中,又有哪些教育應用的場景或服務,是運用AR/VR技術發展的,接續將一一探討這些重要且熱門虛擬教育應用服務:

一.學校教育
現今上課教學上,選擇利用AR/VR技術來輔助教學是越來越被倚重的應用方式,學生只需要使用AR眼鏡或VR頭戴式顯示裝置便可擴展或沉浸於課程VR虛擬教學場景之中,並且使用VR控制器就能與虛擬教學物件作互動性操控,來學習並獲取教學上的知識。

以下是學校教育相關的可應用場景與服務案例:
1.教材教具AR擴增實境應用:使用AR眼鏡利用攝影鏡頭對課程教材、圖卡、教科書上靜態Marker或Markerless的標的圖示作判別與辨識,並在AR眼鏡實境上擴增虛擬物件,並且能與虛擬物件作互動操作。例如: Google Expedition AR的擴增實境,透過手機,小朋友們可以看到3D模型出現在教室裡[2]; 另外,台灣師範大學互動式擴增實境學習輔具APP使用AR技術結合虛實的教學工具,將科學概念轉化成3D模型的立體教材,提供互動學習,突破原有感官學習方式[3]。

來源:截取自Google探險先鋒計畫網站來源:截取自Google探險先鋒計畫網站

2.VR360影片的應用:在特殊情境課程上,如自然、地理課程或特殊場域環境,利用360゜攝影機拍攝該場景的VR360影片,授課者使用VR頭戴式顯示裝置設備,便能沉浸於VR360影片之中,並有深入其境之感受。例如: Discovery VR提供360゜環境影片,讓使用者感受深入其境的學習與觀察新體驗[4]。

3.虛擬實驗室/教室應用:虛擬實驗室應用場景,學生藉由VR頭戴式顯示裝置設備,進入虛擬實驗室場景中,進行虛擬實驗設備實驗與操作。例如: Labster公司創造提供了許多種科學實驗模擬的虛擬實驗室模擬器,以便在科學教育上,以VR虛擬的方式來了解科學的應用[5]。

二.醫療教育與訓練
AR/VR技術為醫療教育與醫生學習新選擇的趨勢,在一般傳統的手術或醫療教學上,因為手術室場地與設備使用上限制,往往會限縮到真正可參與在現場實習或觀摩教學的人數,利用手術或醫療教學VR直播,讓學習的醫生不用進到手術室內,也能像處於手術的現場一樣觀看手術教學的進行與學習。而以VR技術用於虛擬模擬現實的手術操作或人體器官教學應用上,醫生只要戴上VR頭戴式顯示裝置設備及使用操控VR控制器,就可以沉浸式學習並體驗虛擬手術操刀的感覺,亦能反覆試作操刀練習,在第一視角的角度上操作學習,並熟悉了解手術的各個環節,提高現實中手術的準確性。

以下是醫療教育與訓練相關的可應用場景與服務案例:

1.VR手術教學直播應用: VR直播手術教學的過程,讓學習的醫生只需戴上VR頭戴式顯示裝置設備就能沉浸於手術教學現場,觀摩與學習。例如:2016年4月14日13:00,全球第一場VR手術串流直播,並使用360度影片來呈現整個手術檯與手術操刀過程[6]。

2.虛擬手術室:Marion Surgical虛擬手術模擬器,將人體3D建模並利用VR技術模擬,並使用VR頭戴式顯示裝置設備與手術刀控制器或VR控制器便能操控手術刀模擬開刀的動作[7][8]。另外,VirtaMed手術模擬器則是使用實物3D器官模型,並以真實的手術器械來擬真模擬手術進行,手術進行中的影像則是以VR虛擬物件模型方式顯示於顯示幕上[9]。

來源:截取自Marion Surgical網站來源:截取自Marion Surgical網站

3.手術AR擴增輔助:利用AR擴增實境的技術,將手術開刀患處投影至手術的人體或器官上,並可進一步輔助手術之開刀的進行。例如:飛利浦公司開發AR技術,應用於人體脊椎手術,利用環繞式X光系統與高解析度的光學相機,建構出3D的人體內部及表面解剖構造影像,並可於手術當下,利用其AR自動導航系統,精準輔助引導醫師手術確切的置入位置[10]。

三.職場技能教育訓練
職場或技能教育,往往因為訓練場域特殊或設備昂貴數量少,故這些特殊職場技能訓練場域,都會利用AR/VR的技術來將這些訓練場域虛擬化,訓練人員以VR頭戴式顯示裝置設備進入VR虛擬技能訓練場域進行擬真式的技能訓練學習。

以下是職場技能教育訓練相關的可應用場景與服務案例:

1.虛擬駕駛訓練:利用VR技術於駕駛訓練場景,駕駛使用VR頭戴式顯示裝置設備於駕駛模擬設備上,擬真地操作模擬駕駛與訓練。例如:CXC生產的駕駛模擬設備與模擬器,配備VR裝備能夠實現逼真的汽車運動駕駛系統,不僅是動力系統模擬,更通過VR視域、聲場、與模擬氣流的感知,讓用戶如同真正在駕駛真正的車一樣[11]。

2.虛擬火場滅火與逃生訓練:以AR/VR技術建立虛擬火場場景,訓練人員藉由VR頭戴式顯示裝置設備與VR控制器,擬真地進入失火的場景內,利用VR控制器拿取滅火設備進行滅火,或進行火場擬真情境的火場逃生演練。例如:FLAIM TRAINER為澳洲Deakin大學教授James Mullins運用了HTC Vive的VR科技,加上了擬真的防火衣與消防水管,創造出了虛擬火場消防訓練的體驗[12]。另外,高雄市消防局與文藻外語大學數位內容應用與管理系合作共同研發,虛擬實境火災逃生VR訓練APP是一款火災逃生訓練的APP,搭配VR虛擬實境眼鏡,可親自感受於360度火災現場,學習火場避難及使用滅火器滅火情境訓練[13]。

3.運動人員訓練:運動人員訓練時,利用穿戴式設備上的各類型感測器將運動人員速度步伐,距離與心律等訓練的即時資訊以AR技術擴增輔助至運動人員的AR眼鏡上,運動人員藉此可參照這些資訊即時調整訓練的進行。例如: ChaseWind智慧眼鏡為自行車運動訓練所打造的智慧AR眼鏡,透過藍牙連線到自行車,能提供騎士於高速移動時所需的運動資訊(心跳及時速)、語音交談、記錄分享GPS位置[14]。

四.維修與操作訓練
高專業的機器設備維修訓練,除設備實機的維修與故障排除之外,也有越來越多使用VR的技術擬真地模擬機器設備的趨勢,並進行虛擬機器設備的操作及維修工作,或利用AR擴增實境技術,投以在維修時,以擴增資訊方式來輔助維修設備人員訓練,並提供設備詳細的維修步驟,給予維修人員可依循步驟作檢測及修復。另外,傳統的操作手冊都是靜態的圖文或影片,而現今已有利用AR技術的操作手冊,或在操作手冊上加以使用AR擴增實境技術功能作為輔助應用。

以下是維修與操作訓練相關的可應用場景與服務案例:

1.虛擬維修與操作訓練:使用VR的技術擬真地模擬機器設備,進行虛擬機器設備的操作及維修工作,或利用AR技術輔助維修。例如:BMW汽車使用智慧眼鏡結合AR技術在汽車維修給予維修人員輔助性的操作指導[15]。

2.AR操作手冊應用:AR操作手冊利用AR眼鏡或隨附安裝的應用程式APP對於標的物Marker進行辨識後,便能以AR擴增實境方式顯示虛擬的操作手冊應用,並且以互動方式的獲取設備相關資訊。例如:Hyundai為業界首家主流車廠,引入AR形式的虛擬車主手冊,來取代傳統車主手冊,車主只須於智慧手機或平板電腦上安裝該Hyundai Virtual Guide App,並打開車頭蓋後,便能使用手機或平板鏡頭,並利用先進2D及3D追蹤技術來辨識,啟用AR車主手冊來檢視車內不同部件與了解各部件詳細資訊[16]。

未來可擴展方向與趨勢

在虛擬教育AR/VR技術,可擴展的方向與技術趨勢上,未來應用仍主要於VR多人協同、高互動與即時性的虛擬教育應用服務上發展,而這幾個特性的應用,對於端點與端點間VR內容的傳輸都需要低延遲,而如何做到在VR內容是高品質高頻寬下,傳輸低延遲,將是一個未來技術發展的重點,例如:VR直播、MR混合實境教育應用或6DoF教育內容……等。而另一個方向是VR感知的擴增:感測器(sensors)與致動(actuators)的使用與擴展應用,例如:VR觸覺、嗅覺與味覺……等。最後是VR教育學習行為的數據收集與決策分析:VR操控下感測器與致動器在學習互動的反應下,操控行為與記錄的大數據收集及決策分析,相信在AR/VR的技術發展浪潮的推展之下,未來虛擬教育領域的應用服務,也必將被推升且蓬勃發展。

作者介紹
李嘉和(工研院資通所視訊多媒體通訊技術組寬頻影音多媒體系統部技術副理)

參考文獻

[1] Goldman “Virtual & Augmented Reality: Understanding the Race for the Next Computing Platform,” Goldman Sachs Global Investment Research Report, January 13, 2016.
[2]The Google Expeditions website [online]. Available: https://edu.google.com/expeditions/#about
[3]擴增實境教具homepage [online]. Available: http://news.ltn.com.tw/news/life/breakingnews/1555429
[4] Discovery VR website [online]. Available: http://www.discoveryvr.com/
[5] Labster website [online].Available: https://www.labster.com/simulations/
[6]VR手術串流直播 homepage [online]. Available: http://www.ithome.com.tw/news/105254
[7] Marion Surgical虛擬手術 website [online]. Available: http://www.marionsurgical.com/
[8] 虛擬手術homepage [online].Available: http://mashable.com/2015/10/05/surgeons-virtual-reality/?utm_cid=mash-com-yt-desc-link#ufPpTJQ4asqm
[9]VirtaMed虛擬手術 website [online].Available: https://www.virtamed.com/cn/
[10]Philips AR surgical navigation technology homepage [online].Available: http://www.philips.com/a-w/about/news/archive/standard/news/press/2017/20170112-philips-announces-new-augmented-reality-surgical-navigation-technology-designed-for-image-guided-spine-cranial-and-trauma-surgery.html#
[11]Motion Pro II | CXC Simulations homepage [online]. Available: http://www.cxcsimulations.com/news/cxc-simulations-announces-virtual-reality-integration/
[12]The FLAIM TRAINER website [online]. Available:http://invenio.deakin.edu.au/cisr-haptically-enabled-flaim-trainer-on-show/
[13]火災逃生VR APP homepage [online]. Available:https://play.google.com/store/apps/details?id=com.Wenzao.FireEscape
[14] ChaseWind website [online].Available: http://chasewind.co/
[15]BMW smart glasses homepage [online]. Available: http://www.dailymail.co.uk/sciencetech/article-2543395/The-end-mechanic-Smart-glasses-make-possible-fix-car-engine-just-looking-it.html
[16]Hyundai Virtual Guide homepage [online]. Available:https://play.google.com/store/apps/details?id=com.hyundaiusa.vr&hl=zh_T