工業技術研究院 資訊與通訊研究所  吳俊民 涂日昇 林敬傑 李嘉和

前言

人類的生活主要由食、衣、住、行、育、樂等多方面構成，隨著科技日新月異，生活也變得更便利，追求科技化且多元化的智慧生活已成為近年來人們所追求的目標，各式各樣的應用服務也如雨後春筍般紛紛出現。透過數位發展部的永續數位創新應用計畫，由工業技術研究院資訊與通訊研究所（以下簡稱資通所）的技術團隊融合在地觀光特色開發創新應用服務，結合藝文及觀光產業讓民眾在智慧生活的育、樂層面上能有別於以往的特別體驗，不僅可協助當地藝文及觀光發展、創造收益，更重要的是藉由導入數位化的創新應用服務，讓民眾對智慧生活有更深的認識，並潛移默化地帶領民眾走入智慧生活的世界。

在選定示範場域上，最主要考量的是當地地方政府的配合意願以及在地觀光所面臨的困境。一方面思考如何將智慧化技術開發結合當地觀光特色，另一方面則是思考如何寓教於樂，達到智慧生活娛樂創新的體驗，最終選擇馬祖作為落地實證的場域，主要考量是離島觀光服務量能不足，對於導入數位化應用，連江縣政府、馬祖國家風景區管理處、在地文史工作者及相關業者都極具參與的興趣，相信透過數位化的應用將為產業注入觀光活水創造利潤價值，同時，也能為當地民眾與遊客的連結引入新的智慧化應用體驗。

工研院資通所採用多人混合實境即時互動技術，利用透明顯示器做為展示載具，以南竿津沙村著名的閩東建築意象為主題，將虛擬與現實重合，再結合釀酒步驟的教育互動，讓遊客利用自己手上的智慧型手機連結混合實境MR互動及沉浸式應用系統平台，在同一平台上共同創作虛擬世界的內容，並即時呈現於透明顯示器上，為智慧生活打造專屬之旅遊新體驗。

沉浸式數位應用服務對於智慧生活的重要性影響

沉浸式數位應用服務（Immersive Digital Application Services）是指透過虛擬現實（Virtual Reality, VR）、擴增現實（Augmented Reality, AR）或混合現實（Mixed Reality, MR）技術，創建一個讓使用者深度沉浸於數位或虛擬環境中的體驗，使其感覺彷彿置身其中，與環境產生強烈的互動與感知，並且隨著沉浸式技術的持續發展與進步，讓數位體驗更加貼近真實和直覺，其所發展的數位應用服務在智慧生活中扮演著重要的角色，包含可以提升使用者體驗與互動性、強化智慧家庭與物聯網（IoT）整合、改變醫療與健康照護模式、革新教育與數位學習體驗、優化智慧零售與消費體驗、促進智慧城市發展與推動未來工作模式與數位協作等等。沉浸式數位應用服務不僅提升個人生活便利性，也推動智慧城市、數位健康、教育與產業升級。隨著 AI、5G、物聯網的發展，沉浸式技術將進一步塑造未來智慧生活，讓我們的世界更加高效、智能且具互動性。

雖然沉浸式應用服務擁有極大的潛力，並且在許多領域已經取得了一定進展，但仍面臨著技術、內容、商業化、使用者接受度等多方面的困境與挑戰。市場不斷依需求精進技術，但仍需要多方面努力與創新。其中，我們認為使用者接受度將是左右該應用服務成敗的關鍵，為避免一般使用者不習慣或抗拒使用，沉浸式應用的使用者介面和互動方式設計必須要夠簡易、直觀的低學習成本，且不需要讓使用者佩戴頭盔或其他硬體設備，以免造成長時間使用視覺疲勞或頭暈等不適。進而影響使用者對於應用服務的體驗度與接受度。因此，我們的建議從此處著手進行互動式服務設計與技術導入，並透過實作呈現，收集使用者反饋作為後續改良之參考。

服務設計與技術導入

資通所運用MR混合實境沉浸式技術、3D虛擬物件及管理技術、透明顯示裝置等，打造以MR互動展示為特色的通訊傳播數位應用服務，活潑化呈現離島當地的物產人文或景觀介紹。在MR應用互動服務設計主要以馬祖南竿津沙聚落每年所舉辦的「津冬酒祭」作為MR情境式互動腳本。服務設計說明如下：

1.服務設計定義：本案互動裝置的現場場景以津沙聚落西邊山石階上精彩的古厝群為主。另外，津沙聚落以釀製老酒聞名，老酒是津沙的記憶，也是傳承家鄉的技藝，因此，選定酒甕為本案互動的彩繪物件設計。

2.透明顯示裝置呈現設計：我們製作白色素模模型，並將其置於透明液晶螢幕展櫃中，然後將現場場景畫面效果呈現於透明顯示液晶螢幕上，以藉此展現出虛實融合的效果，如圖1。

圖1 虛實整合的設計

3.互動方式設計：使用者於手機完成互動彩繪並上傳後，展櫃的透明液晶螢幕上會即時出現該創作，使用者可以直接在螢幕上觸控，拖拉酒甕至其他位置擺放，其他使用者也可以同步將透過互動網頁上傳的創作酒甕上傳在同一場景中（如圖2），點選螢幕上任一個酒甕，可以進行放大與旋轉瀏覽觀看。

圖2 多使用者之互動呈現

在技術導入方面，我們結合馬祖在地特色，運用MR混合實境技術及透明顯示裝置等，規劃以馬祖老酒文化特色和閩東建築景觀等兩個特色主題，將其與津冬酒祭活動相融合，打造出透明顯示MR互動應用服務，完成沉浸式體驗數位創新應用服務內容系統，系統主要包含XR沉浸式體驗服務應用程式的前後台系統架構設計、透明顯示箱互動操作與渲染程式、通訊載具與後台系統流程API與應用渲染伺服器與後台系統流程API等。我們將系統粗分成後台軟體與手機端前台軟體兩大部分，其中，後台軟體定義為一管理平台，其可對影音和3D物件的取用、上下架等動作進行操控，而手機端前台則讓使用者可透過網頁瀏覽器操作互動式數位內容，在透明顯示裝置設備端則有「透明顯示箱互動操作與渲染程式」負責接收使用者的指令，再將使用者操作互動內容的顯示到透明顯示器上。

1. 前後台系統架構設計：依據系統整體運作流程，我們定義了系統包含使用者端操作程式、透明顯示箱互動操作與渲染程式和後台管理軟體等角色，於使用者端操作程式使用者可透過手機對透明顯示器呈現的內容進行互動操作，依照操作程式上的使用者介面，可以選擇在透明顯示螢幕上要出現哪些虛擬效果，或是在哪些位置擺設3D藝術虛擬物件。
2. 透明顯示箱互動操作與渲染程式：使用者透過個人移動通訊載具傳遞指令到此程式時，此程式應即時反映相對應3D藝術虛擬物件，並渲染生成畫面呈現到透明顯示箱上。此程式也依據情境式互動腳本規劃之內容及使用者的反饋指令，依序顯示動畫內容。另外，於後台管理軟體則提供一套完整的後台管理上下架服務模組及功能，可透過Web介面或iOS和Android在內的App應用程式以RestfulAPI呼叫，可供使用者觀看後台系統所提供的影音、圖片或是3D模型等數位內容。
3. 後台系統流程API：連線呼叫API實作，流程上包含「通訊載具與後台系統流程」與「應用渲染伺服器與後台系統流程」。

多樣態的應用導入與互動服務體驗

為強化智慧生活之沉浸式數位應用服務，團隊推動結合多樣態的MR互動應用技術，並與馬祖在地文旅業者合作，將沉浸式數位應用服務導入於津沙文化聚落進行落地實證，如圖3。以落實智慧生活、強健在地觀光、加深遊客旅遊記憶為出發，運用原有之創作素材擴充津沙聚落的風俗節慶、閩東式建築特色，透過實體的模型與透明顯式屏幕的虛實融合，讓虛擬物件疊合在實體物品上面呈現於遊客體驗。

圖3 津沙聚落落地實證遊客體驗

多樣態的應用導入方面，團隊在開發沉浸式互動平台上，結合了每一年馬祖在津沙聚落所舉辦「津冬酒祭」活動，如圖4所示。把當地老酒的釀製步驟透過與遊客互動的方式來進一步傳承老酒文化與釀造技藝，讓遊客對於老酒有更深入的認識與體驗，經過與平台的互動服務體驗之後，再參加酒祭的實際釀酒的過程，就能夠讓遊客感受老酒文化所造就的馬祖人的生活。

如圖5所示，互動服務體驗方面，使用者可以用手機彩繪自己專屬的酒甕圖案與顏色，並且把彩繪完成的酒甕上傳到透明顯示器的屏幕場景裡面，和活動吉祥物IP，如兔子娃娃或是Q版媽祖進行互動問答，達到三五好友多人一起共創同樂的目的，為這趟旅行生活留下美好的記憶。

圖4 多樣態的應用導入- 結合津冬酒祭進行落地實證

圖5 打造多人共創、親子同樂的互動服務體驗

應用擴散與展望

在推動智慧生活上，服務應用的數位化對於促進休閒娛樂觀光產業發展極為重要，透過數位化應用能提升遊客體驗感、激發當地娛樂活力，更能讓遊客更容易了解與貼近在地教育文化融合，達到寓教於樂的宣傳效果。

本次透過建立馬祖之沉浸式數位體驗服務，融合當地釀酒文化與地景特色，並以數位化科技方式來呈現，不僅打造一個可以與遊客互動且充滿豐富的教育與科技體驗，使遊客能在這個體驗中獲得沉浸感和豐富感知，帶來前所未有的智慧化體驗。同時也透過本案例建立離島數位創新應用實證典範，促進地方創生效益。

展望未來，可再加上眼球追蹤等技術來豐富使用者的體驗感，同時，我們也將朝向增加多語言支援、加入觀光地圖導航體驗，並整合社群互動功能，透過可持續累積資料庫並增加島嶼環境的互動體驗，增加觀眾對平台的造訪率，未來亦可延伸至其他地區推廣，促進地方創生與文化生活。