推廣合作

VR360全景視訊及多視角直播應用系統

VR360 panoramic video and multi-camera video streaming system

技術簡介

VR360及多視角直播應用

   有鑒於VR應用的興起,使用VR裝置觀看節目將成為主流的觀賞體驗之一,一般消費者可經由頭戴式裝置(HMD)觀看球賽、演唱會等直播,我們開發了一個有別於以往的全景視訊(360° VR)直播系統,和傳統直播系統以服務非現場的觀眾不同,本場內直播系統將目標客群放在現場的觀眾,要解決的問題鎖定在如何高度即時同步現場事件和HMD顯示的畫面,讓VR所帶來的虛擬現實感應用在場內直播服務,使得坐在後排使用者有如坐在VIP席位裡觀看比賽一般。

    本系統亦開發多視角應用系統,有別於傳統觀眾只能被動觀看導播剪輯後的單一畫面,本多視角應用系統將選擇視角的自由賦予給觀眾,觀眾可在終端平台上自行選擇有興趣觀看的視角。

場內VR360與多視角直播串流系統場內VR360與多視角直播串流系統

技術規格

工研院所研發的「場內360全景視視訊直播技術」以GPU平行加速處理技術搭配視訊縫合與編碼技術,傳送8K全景視訊串流,實現場內VR360 end-to-end延遲小於0.4秒的場內直播應用服務。8K VR解析度(resolution)達7680x3840以上,VR畫面解析度最大支援7936x3968,24fps,位元率(bitrate)可設定在150Mbps以上。

8K VR360與5G專網端到端串流情境8K VR360與5G專網端到端串流情境

多視角直播系統建構可營運可管理可依需求彈性擴充的”多視角直播串流伺服器叢集”,功能規格參照如下,

v 多視角直播串流伺服器叢集

®  直播管理子系統

¡  直播轉碼伺服器管理:轉碼伺服器移入/移出

¡  直播站台、日誌資料儲存

®  直播轉碼子系統

¡  多視角串流接收

¡  直播即時轉碼

¡  多視角可適性串流產製

¡  可視應用規模彈性擴充

®  串流發佈子系統

¡  內容儲存、快取與分流

¡  可視應用規模彈性擴充

多視角直播伺服器叢集系統架構圖

多視角直播系統支援4K解析度的高畫質內容產製作業,並且可自由設定位元率(bitrate)的數值。

技術特色

由工研院自行開發的8K VR 360攝影即時串流直播系統,高度整合多項軟硬體功能,利用高畫質的360度全景直播,創造觀眾彷彿置身於現場的沉浸感受。另外,透過視訊串流技術將多路4K高畫質演出內容轉化為多視角直播,使用者可自由切換任一視角觀賞,提供新型態節目製作手法,跳脫以往影像直播畫面僅能由導演切換單一視角限制,賦予觀眾選擇視角的自由。

應用範圍

提供大型場域賽事、演唱會、活動場內VR360直播的技術系統,包含頭端、網路、播放端的完整解決方案,提供場域內觀眾能夠以無感延遲看到前方現場的第一視角,突破觀看空間限制,實現場內即時轉播的使用情境。

聯絡窗口

聯絡人:王冠翔/ IoT應用與系統整合推廣部(0C400)
電話:+886-3-5914757
Email::kswang@itri.org.tw
https://www.itri.org.tw/
工研院資訊與通訊研究所