推廣合作

OTT VR360 全景視訊直播網應用系統

A 360-degree Live Streaming Broadcasting System


全景視訊直播網應用

技術簡介

有鑒於VR應用的興起,使用VR裝置觀看節目將成為主流的觀賞體驗之一,一般消費者可經由頭戴式裝置(HMD)觀看球賽、演唱會等直播,我們開發了一個有別於以往的全景視訊(360° VR)直播系統,和傳統直播系統以服務非現場的觀眾不同,本場內直播系統將目標客群放在現場的觀眾,要解決的問題鎖定在如何高度即時同步現場事件和HMD顯示的畫面,讓VR所帶來的虛擬現實感應用在場內直播服務,使得坐在後排使用者有如坐在VIP席位裡觀看比賽一般。

技術特色

為了滿足現場高度即時同步的需求,本系統必須把從攝影機開始拍攝畫面然後一路到HMD顯示出畫面為止,這段過程的延遲時間壓縮到最短,而且由於使用者是在極近的距離下觀看HMD的畫面,所以在滿足觀賞體驗的前提下,高解析度與高畫面更新率的VR內容也將是必要的需求;綜合以上條件,本系統開發了以下三項子系統,分別從內容來源端、網路傳輸端、終端設備端著手,提升整個系統的效能。

技術規格

(1)於內容來源端,開發4K@60 fps的低延遲全景視訊串流系統,以GPU加速處理技術建構視訊縫合與編碼技術,在100 ms以內傳送即時全景視訊串流。

(2)於網路傳輸端,開發Wi-Fi群播廣播能力,並達到120Mbps以上傳輸速率,使得傳輸4K@60 fps視訊的延遲時間在100 ms以下,並具備相當程度的錯誤更正能力。

(3)於終端設備端,打造極低緩衝的客制化VR播放器,配合Qualcomm 835硬體設備,優化播放器軟體呼叫硬體解碼器的流程,使得整個顯示流程能在200 ms以內完成。本系統在串聯這三個子系統後,將具備在0.4秒的延遲時間內,讓現場的使用者觀賞到4k@60 fps的全景視訊,近乎零延遲的全新體驗。

應用範圍

將上述全景視訊串流的影片結合本所已完整開發的OTT影音服務平台模組,模組包含1)內容接取系統 2)雲端視訊轉碼系統 3)後台管理系統 4)內容傳送系統 5)VR 360影片撥放系統。能克服網路頻寬限制,提供更順暢的影音播放,也支援完善的後台管理包含會員管理、內容管理、計價管理、統計管理及系統管理等功能。同時提供場外VR 360影音直播、錄影及VoD隨選視訊服務,Web-based VR 360影音播放器,讓用戶不須另外安裝APP,透過Web Browser即可在多種不同屏幕的終端裝置進行VR360全景視訊的觀看。

聯絡窗口

聯絡人:詹宜璟
電話:03-5912758
Email:carlchan@itri.org.tw
https://www.itri.org.tw/
工研院資訊與通訊研究所