沉浸式即時視頻 開啟未來娛樂新境界

2021.03.12

近年來隨著全球多國陸續開展高速數據基礎設施建設,以及設備製造商承諾提供更加快速、高效的聯網體驗,5G正逐漸走入我們生活的各個角落。5G是新一代蜂窩網絡標準,可實現更高的資料下載和上傳速度,相比現有已經採用了約十年的LTE標準向前邁進了一大步。你可能在新聞或廣告中看過,說5G將改變我們的生活和工作模式,但到底是怎樣的改變呢?

騰訊已經基於5G開展相關工作,我們看到了利用這項技術來升級娛樂消費模式的潛力——它可以讓前所未有的真正的沉浸式體驗變成可能。

事實上,過去一年的疫情環境已大大加速了高清視頻和沉浸式體驗在保持聯絡、放鬆身心、居家辦公以及遠端醫療等領域的應用。

「我們過去一年經歷的改變顯然會為許多個人和企業帶來深遠的影響,」騰訊傑出科學家、多媒體實驗室負責人劉杉博士表示:「人們已習慣了基於視頻和多媒體的網上生活,因此我認為將應用場景與視頻技術提升相結合可以為5G時代拓展更多可能。增長的寬頻需求給全球網絡帶來更大壓力,視訊壓縮技術正變得越來越關鍵。」

5G和視頻技術將實現前所未有的真正的沉浸式體驗。

解鎖5G新時代的關鍵是壓縮視頻檔案的大小,這樣它們就不會阻塞網絡。我們的工程師參與開發新的視頻編解碼標準,該技術可在保證高清畫質的情況下將視訊壓縮為適合串流和下載且易於管理的大小。2020年,騰訊參與制定的新一代國際視頻編解碼標準Versatile Video Coding(通用視頻編碼,VVC)正式發佈。4K畫質的視頻在最新標準下的檔案大小會比現有標準的縮小一半。

騰訊多年來積極參與國際視頻編解碼標準的研發工作。在這次全球通用的標準制定中,騰訊有超過100項技術提案被採納。

對大多數人而言,「壓縮」和「編解碼」之類的術語似乎過於專業和複雜,但其實幾乎每天都在不知不覺地使用此類技術。每當你播放或下載視頻時,這項技術都在背後默默支持。

騰訊多媒體實驗室認為,這一新的視頻編解碼標準將重塑我們生活的方方面面,甚至有助於實現線上和線下角色的相互融合。

消費者和企業都將受惠於升級後的視頻壓縮技術。

騰訊多媒體實驗室視頻編碼標準化團隊表示,無論是電影、遊戲還是網上教育,多媒體娛樂行業基本上都起始於視頻源。生成原始視頻後,就需要使用視頻編解碼技術和演算法來無縫地存儲、傳輸、存取和編輯視頻內容。因此需要建立統一的標準,確保視頻編解碼可以被世界各地不同的網絡和視頻播放機識別。

VVC普及之後,用戶只需要用原來一半的時間就能下載高像素電影,僅需一半的頻寬便可暢玩沉浸式網絡遊戲。而對於企業而言,這意味著更快的速度,更高的效率,以及更低的網絡成本。這樣每年可以節省數百萬甚至數十億美元的成本。

新標準將不可能變為可能

VVC新標準對豐富的數字媒體創作和消費而言將會是極大的推動力。

預計這一標準最快2021年可以實現商業化部署並支援 8K 視頻。目前,受視頻大小和頻寬限制,即使進行 4K串流也十分困難。VVC標準可大幅提升視訊壓縮效率,與現有標準相比,在輸出相同主觀品質視頻的情況下能夠使檔案縮小40% - 50%。

超高清視頻不只適用於娛樂領域。實際上,針對電子競技、雲遊戲、社交媒體產品和生產力解決方案等關鍵領域的投入正不斷增加。

如今,雲遊戲已發展為1,500億美元的巨大市場,玩家數量達到25億[1]。更先進的下一代媒體技術成熟後,這一行業將迎來新一輪的急速爆發。與目前主要在智能手機、遊戲主機和PC端下載來玩的大部分遊戲相比,雲遊戲只需要數據中心和傳送網絡,因此能夠為玩家和供應商節省大量成本。下一代視頻編解碼標準是打造互動性更強和沉浸式社交娛樂平台的關鍵要素。

2019年,騰訊多媒體實驗室為「一部手機游雲南」項目開發了裸眼虛擬實境全景式解決方案,用戶只需借助手機即可全方位體驗雲南的迷人景色。雲南省地處中國西南部,以其美麗景色和悠久歷史聞名於世。騰訊多媒體實驗室借助先進的多媒體技術,將文化遺產視頻內容整合到「游雲南」手機App和微信小程序之內。遊客在家中即可觀賞當地風景名勝和各種演出節目。疫情期間,多地政府頒佈了隔離措施,而許多人借助此款App及小程序打破空間隔閡,網上「雲遊」各地美景。(閱讀此文了解雲南如何運用科技:大數據和雲計算定制暢遊雲南體驗)

遊客可以通過「游雲南」小程序中的VR直播觀看雲南當地表演。

依託自身在編解碼技術和演算法方面的深厚積累,騰訊多媒體實驗室為此項目提供了許多支持。視訊壓縮的基礎是對不同幀之間的運動進行建模以及確定相同幀內多個圖元的相關性。據實驗室介紹,其研發成果廣泛應用於虛擬實境、增強現實和點雲產品,依靠演算法可以進一步壓縮而不降低畫質的內容。這一技術在旅遊、教育和醫療等應用場景獲得了廣泛好評。

從學術研究走向實際應用

VVC標準於2018年4月開始制定,這也是騰訊首次參與國際視頻編解碼標準制定工作。

視頻編碼技術的歷史比較久遠。此項技術在1980年代首次提出,隨著技術創新也在不斷發展和進步。騰訊多媒體實驗室認為視頻編碼標準非常重要,因為只要使用視頻內容,就會涉及標準,而視頻的使用量正與日俱增。一份行業報告預測,2021年互聯網視頻內容將佔據所有網絡流量的82%。

一名團隊成員表示:「我們可以大膽想像,交流思想,碰撞思維,並將想法變為現實。騰訊廣泛的產品組合和業務領域使我們在將學術研究成果向實際產品和應用進行轉化時享有天然的優勢。能夠解決實際問題讓我十分高興。」  

騰訊多媒體實驗室在2020 Techo Park開發者大會上展示其沉浸式媒體解決方案。

這一新標準將在全球廣泛應用,幫助騰訊實現更好的網上娛樂體驗。從騰訊雲、騰訊視頻微視、全民K歌、QQ 等眾多應用,視頻是騰訊產品的重要組成部分。高效強大的視頻編解碼標準將為整個騰訊產品線帶來新的發展契機。

十年前,4G技術給我們帶來了全新的移動應用業態,催生了多個價值數十億的業務領域。劉杉認為5G的影響將有過之而無不及。「未來,我們將迎來更加全面的沉浸式用戶體驗,能夠更好地重現現實世界。我們正走在以融合藝術與技術的方式來塑造人類未來的最前沿。」

 

[1] 根據德勤於2020年發佈的「Cloud gaming and the future of social interactive media」報告