透過海洋保育區環境，結合海洋元宇宙場域，以虛實系統整合方式進入浩瀚海洋
海洋，一個神祕且充滿危機的環境，占地球表面積約70％；台灣，一個四面環海島國，具備豐富漁業、能源和休閒觀光資源，其中能源相關產值達千億元以上，漁業和潛水觀光產值也達百億以上，因此在許多商業活動下如何兼顧生態與環境永續將是一大課題，政府規劃2030年占台灣海域保育區範圍將從8.17％提高至30％。
維護海洋資源和生態永續，讓生物和環境棲地免於遭受破壞，劃設保育區範圍就成為現階段首要之重，於此同時，好的監控、調查和執法將成為保育區是否成功的關鍵。工研院在2021～2023年和海洋元宇宙應用場域及地方政府合作，在保育區內架設監控設備，透過水下科技協助保育區監控與調查，長時間觀測生物和環境棲地的變化，對於海洋生物研究或生態鏈觀測將有實質幫助，同時整合VR與資通訊技術以活潑互動方式展現海洋生物原始面貌，讓民眾有不一樣的沉浸式體驗。
海洋是美麗的、豐富的、多變的，一個極具挑戰且充滿生機的環境，我們將實境海洋帶入元宇宙實驗場域概念來提高跨域技術並驅動新商機。透過海洋保育區環境，結合海洋元宇宙場域，以虛實系統整合方式進入浩瀚海洋，呈現在我們眼前不再只是虛擬及一層不變的畫面，而是透過水下4K即時串流系統，將影像投射進入頭盔顯示或互動牆，欣賞到不同時間點海洋（生態／光線／環境）變化，聽到海洋的聲音，感測海洋大氣的變化，讓民眾參訪博物館也不再是一次性，而是每次到訪都有不一樣的感受。以下文章將介紹和元宇宙場域合作，將海底實境串流系統應用於互動和VR系統服務。
精彩內容
1. 水下4K視訊／聲音／數據串流系統
2. 水下環景影音即時互動系統 |
水下4K視訊／聲音／數據串流系統
即時，讓我們了解當下環境與生態變化，在與海洋元宇宙應用場域和智崴科技合作下，在基隆潮境保育區海底，布建水下4K多視角影音串流資訊服務系統，藉由即時影像投射於智能潮境海洋館環型電視牆，再搭配海底水聽和溫度模組，視覺和聽覺及環境與溫度的變化一覽無遺，彷彿置身於海底。在系統架構建置上含括水下設備、岸機設備和遠端監控與串流平台；水下設備由多視角（3組）4K攝影機、環境水聽模組及溫度壓力感測器組成，透過長距離纜線通訊系統將即時訊號傳輸至岸機與遠端平台，並用環景型螢幕讓民眾於場域內，以沉浸式體驗海洋之美，架構如圖1所示；由於水下設備事涉許多安全層面，包含基座和纜線固定、光線、能見度和水下藻類或生物附著等等，而且不同海水深度，設備可承受壓力也不同，因此架構上需要許多輔助感測器協助判斷設備目前狀態，當發生狀況時能快速針對問題進行排除。
圖1 水下4K多視角影音串流資訊服務系統
在水下設備中除影像串流外，聲音和感測系統扮演重要角色，由於台灣東北角海域潮汐關係，水下能見度、溫度變化和生物活動關聯性，將影響民眾水域活動安全性。遠端監控與串流平台包含轉碼主機群及串流主機，轉碼主機群包含編解碼主機，可同時接取影像及水聽器聲音所傳來不同視角的4K影像訊號及48KHz音訊，進行HTTP 即時可適性串流編碼，轉碼出包含12Mbps及6Mbps兩種碼率的直播串流，並將音訊進行24小時同步錄音存檔；串流主機主要負責提供4K直播串流推播、快取及直播串流同步錄影，並包含各類管理後台如轉碼主機群管理、視角串流管理、直播站台管理、水下感控管理等，提供包含站台檢視、直播時段設定、直播內容預覽、一週側錄時段設定、側錄內容預覽、側錄內容匯出與下載、水下感控設備自動啟閉與監管等功能。在應用服務部分導入生物辨識和虛實互動，透過光達技術，民眾碰觸牆面物種時，即出現名稱，讓民眾在不需配戴裝置下如同沉浸式體驗海底風光；未來，在整合環境感知、聲音和影像等感測裝置下，將有同步效果彷彿置身於水底的潛水人員，如圖2(1)水下設備實拍、圖2(2)水下環境溫度與能見度變化關係、圖2(3)AI生物多樣性辨識應用、圖2(4)智崴科技虛實互動生物辨識牆。
圖2 水下即時環境與虛實互動應用服務
未來可透過實境以姿態辨識的互動科技，讓遊客餵食海底生物，或透過VR的360度畫面與海洋生物共舞，讓遊客化身海洋志工，與其他體驗者一起拯救海洋生物。
水下環景影音即時互動系統
在生態永續意識抬頭下，面對海洋生物不再只是豢養觀賞，而是在開放海洋環境下，建立具教育、觀光、保育和科學4位一體的互動系統，以實景與虛擬技術透過跨系統、跨領域、跨平台模式，將場域與海洋融為一體，建構適合全年齡層應用服務系統。目前國際上透過環景攝影機拍攝並錄製水下360度的影片相當多，但大多是潛水人員以手持裝置拍攝，再進行後製處理。為了補足傳統潛水人員拍攝、預錄／輪播模式的短處，在和環境場域業者合作下透過即時、互動並整合環境感測裝置，在不同時間點及外在環境條件下進行長時間水下直播。系統架構建置上含括水下設備、岸機設備和拼接平台，透過頭戴VR顯示器即時體驗水下風光；水下設備由環景攝影主機、環境水聽模組及溫度壓力感測器組成，透過長距離纜線通訊系統將即時訊號傳輸岸機與拼接平台，架構如圖3所示：
圖3 水下環景影音即時互動系統
系統除環景之外，設備建立了人機語音通道，猶如水下中繼點，藉此實現岸際與水下人員語音互動服務；另外，球罩清潔決定影像清晰度及設備壽命，由於水下浮游生物、甲殼類以及沙塵等等因素，約1週就會附著於設備上，輕則影像失焦，重則設備損壞（進水），透過遠端控制方式設定清潔速度及次數，提升觀看服務品質與設備壽命。
水下環景攝影主機由3支4K攝影機組成，透過網路將即時影像傳送到館內的拼接主機，再將3路影像縫合成250～270度的全景視訊串流影像，畫面解析度達4K以上，視訊串流位元率達60Mbps，並且以標準視訊格式，如H.264或H.265編碼壓縮後，顯示播放的畫面需是經過環景變形處理（de-warp）後正常影像，播放端可以是頭戴式顯示器（Head-Mounted Display, HMD），也可以是環景曲面螢幕，只需播放軟／韌體能解析環景畫面即可。應用服務主要以水下環景系統作核心，建構環境感測（水聽／溫度／壓力）、人／機語音無線光通訊道、4K環景視訊與通訊模組。遊客可藉由沉浸式體驗以環景螢幕或頭戴顯示器，探索海底生物與環境變化，並透過魚類辨識以虛實整合方式，提升教育場館智慧導覽服務，此外語音通道也可和水下潛水人員進行雙向語音交談，讓體驗者彷彿悠遊於海洋宇宙中。
結論
海洋元宇宙場域是一個充滿教育、觀光、互動的智慧場域，21世紀的海洋生物展演將打破傳統思維，不再僅是室內生物展示、靜態看板或手持裝置導覽為主，而是多元將開放海洋的實景和環境感測導入館內，並整合虛擬辨識和互動感應數位科技，以生態保育、環境教育和水下探索為宗旨，提升場域服務品質。海洋是美麗的、豐富的、巨大的，一個極具挑戰且充滿生機的環境，本文應用水下視訊、感測和通訊技術，透過即時且長時間海底觀測系統，以虛、實互動導入海洋元宇宙場域，透過VR頭戴裝置，將真實野外環境與生物變化真實呈現在民眾眼中，讓民眾進入海洋異世界感受真實的水下生態脈動。
參考文獻
[1] 潮境智能海洋館開幕 智崴助建海底虛擬元宇宙， available at: https://www.digitimes.com.tw/iot/article.asp?cat=158&cat1=20&cat2=&id=632383
