VR360 panoramic video and multi-camera video streaming system
技術簡介
VR360及多視角直播應用
有鑒於VR應用的興起，使用VR裝置觀看節目將成為主流的觀賞體驗之一，一般消費者可經由頭戴式裝置(HMD)觀看球賽、演唱會等直播，我們開發了一個有別於以往的全景視訊(360° VR)直播系統，和傳統直播系統以服務非現場的觀眾不同，本場內直播系統將目標客群放在現場的觀眾，要解決的問題鎖定在如何高度即時同步現場事件和HMD顯示的畫面，讓VR所帶來的虛擬現實感應用在場內直播服務，使得坐在後排使用者有如坐在VIP席位裡觀看比賽一般。
本系統亦開發多視角應用系統，有別於傳統觀眾只能被動觀看導播剪輯後的單一畫面，本多視角應用系統將選擇視角的自由賦予給觀眾，觀眾可在終端平台上自行選擇有興趣觀看的視角。
場內VR360與多視角直播串流系統
技術規格
工研院所研發的「場內360全景視視訊直播技術」以GPU平行加速處理技術搭配視訊縫合與編碼技術，傳送8K全景視訊串流，實現場內VR360 end-to-end延遲小於0.4秒的場內直播應用服務。8K VR解析度(resolution)達7680x3840以上，VR畫面解析度最大支援7936x3968，24fps，位元率(bitrate)可設定在150Mbps以上。
8K VR360與5G專網端到端串流情境
多視角直播系統建構可營運可管理可依需求彈性擴充的”多視角直播串流伺服器叢集”，功能規格參照如下，
v 多視角直播串流伺服器叢集
® 直播管理子系統
¡ 直播轉碼伺服器管理：轉碼伺服器移入/移出
¡ 直播站台、日誌資料儲存
® 直播轉碼子系統
¡ 多視角串流接收
¡ 直播即時轉碼
¡ 多視角可適性串流產製
¡ 可視應用規模彈性擴充
® 串流發佈子系統
¡ 內容儲存、快取與分流
¡ 可視應用規模彈性擴充
多視角直播伺服器叢集系統架構圖
多視角直播系統支援4K解析度的高畫質內容產製作業，並且可自由設定位元率(bitrate)的數值。
技術特色
由工研院自行開發的8K VR 360攝影即時串流直播系統，高度整合多項軟硬體功能，利用高畫質的360度全景直播，創造觀眾彷彿置身於現場的沉浸感受。另外，透過視訊串流技術將多路4K高畫質演出內容轉化為多視角直播，使用者可自由切換任一視角觀賞，提供新型態節目製作手法，跳脫以往影像直播畫面僅能由導演切換單一視角限制，賦予觀眾選擇視角的自由。
應用範圍
提供大型場域賽事、演唱會、活動場內VR360直播的技術系統，包含頭端、網路、播放端的完整解決方案，提供場域內觀眾能夠以無感延遲看到前方現場的第一視角，突破觀看空間限制，實現場內即時轉播的使用情境。
