沉浸式实时视频 开启未来娱乐新境界

2021.03.12

近年来随着全球多国陆续开展高速数据基础设施建设,以及设备制造商承诺提供更加快速、高效的联网体验,5G正逐渐走入我们生活的各个角落。5G是新一代蜂窝网络标准,可实现更高的数据下载和上传速度,相比现有已经采用了约十年的LTE标准前进了一大步。你可能在新闻或广告中看过,5G将改变我们生活和工作的方式,但是怎样改变呢?

腾讯已经基于5G开展相关工作,我们看到了如何发挥这项技术的潜力来升级人们的娱乐消费方式——它让前所未有的真正的沉浸式体验成为可能。

事实上,过去一年的疫情环境已大大加速了高清视频和沉浸式体验在保持联络、放松身心、居家办公以及远程医疗等领域的应用。

“我们过去一年经历的改变显然会为许多个人和企业带来深远的影响,”腾讯杰出科学家、多媒体实验室负责人刘杉博士表示:“人们已习惯了基于视频和多媒体的线上生活,因此我认为将应用场景与视频技术提升相结合可以为5G时代拓展更多可能。增长的宽带需求给全球网络带来更大压力,视频压缩技术正变得越来越关键。”

5G和视频技术将实现前所未有的真正的沉浸式体验。

解锁5G新时代的关键是缩减视频文件的大小,这样它们就不会阻塞网络。我们的工程师参与开发了新的视频编解码标准,该技术可在保证高清画质的情况下将视频压缩为适合串流和下载且易管理的大小。2020年,腾讯参与制定的新一代国际视频编解码标准Versatile Video Coding(通用视频编码,VVC)正式发布。4K画质视频在最新标准下的大小比在现有标准下缩小一半。

腾讯多年来积极参与国际视频编解码标准的研发工作。在这次全球通用的标准制定中,腾讯有超过100项技术提案被采纳。

对大多数人而言,“压缩”和“编解码”之类的术语似乎过于专业和复杂。但你几乎每天都在不知不觉地使用此类技术。每当你播放或下载视频时,这项技术都在背后默默支持。

腾讯多媒体实验室认为,这一新的视频编解码标准将重塑我们生活的方方面面,甚至有助于实现线上和线下角色的相互融合。

消费者和企业都将受益于升级后的视频压缩技术。

腾讯多媒体实验室视频编码标准化团队表示,无论是电影、游戏还是在线教育,多媒体娱乐行业基本上都起始于视频源。生成原始视频后,就需要使用视频编解码技术和算法来无缝地存储、传输、存取和编辑视频内容。因此需要建立统一的标准,确保视频编解码可以被世界各地不同的网络和视频播放器识别。

VVC普及之后,用户只用原来一半的时间就能下载高品质电影,仅需一半带宽即可畅玩沉浸式网络游戏。而对于企业而言,这意味着更快的速度,更高的效率,以及更低的网络成本。这样每年可以节省数百万甚至数十亿美元的成本。

新标准将不可能变为可能

新标准对丰富的数字媒体创作和消费而言将会是极大的推动力。

预计这一标准最快今年可以实现商业化部署并支持 8K 视频。目前,受视频大小和带宽限制,即使进行 4K串流也十分困难。VVC标准可大幅提升视频压缩效率,与现有标准相比,在输出相同主观质量视频的情况下能够使文件大小减少 40% - 50%。

超高清视频不只适用于娱乐领域。实际上,针对电子竞技、云游戏、社交媒体产品和生产力解决方案等关键领域的投入正不断增加。

如今,云游戏已发展为1,500亿美元的巨大市场,玩家数量达到25亿[1] 。更先进的下一代媒体技术成熟后,这一行业将迎来新一轮的急速爆发。与当前主要在智能手机、游戏主机和PC端下载玩的大部分游戏相比,云游戏只需要数据中心和传送网络,因此能够为玩家和供应商节省大量成本。下一代视频编解码标准是打造互动性更强和沉浸式社交娱乐平台的关键要素。

2019年,腾讯多媒体实验室为“一部手机游云南”项目开发了裸眼虚拟现实全景式解决方案,用户只需借助手机即可全方位体验云南的迷人景色。云南省地处中国西南部,以其美丽景色和悠久历史闻名于世。腾讯多媒体实验室借助先进的多媒体技术,将文化遗产视频内容整合到“游云南”手机App和微信小程序之内。游客在家中即可观赏当地风景名胜和各种演出节目。疫情期间,多地政府颁布了隔离措施,而许多人借助此款App及小程序打破空间隔阂,线上“云游”各地美景。(阅读此文了解云南如何运用科技:大数据和云计算定制畅游云南体验

游客可以通过“游云南”小程序中的VR直播观看云南当地表演。

依托自身在编解码技术和算法方面的深厚积累,腾讯多媒体实验室为此项目提供了诸多支持。视频压缩的基础是对不同帧之间的运动进行建模以及确定相同帧内多个像素的相关性。据实验室介绍,其研发成果广泛应用于虚拟现实、增强现实和点云产品,依靠算法可以进一步压缩而不降低画质的内容。这一技术在旅游、教育和医疗等应用场景获得了广泛好评。

从学术研究走向实际应用

VVC标准于2018年4月开始制定,这也是腾讯首次参与国际视频编解码标准制定工作。

视频编码技术的历史比较久远。此项技术在1980年代首次提出,随着技术创新也在不断发展和进步。腾讯多媒体实验室认为视频编码标准非常重要,因为只要使用视频内容,就会涉及标准,而视频的使用量与日俱增。一份行业预测指出,2021年互联网视频内容将占据所有网络流量的82%。

一名团队成员表示:“我们可以大胆想象,交流思想,碰撞思维,并将想法变为现实。腾讯广泛的产品组合和业务领域使我们在将学术研究成果向实际产品和应用进行转化时享有天然的优势。能够解决实际问题让我十分高兴。” 

腾讯多媒体实验室在2020 Techo Park开发者大会上展示其沉浸式媒体解决方案。

这一新标准将在全球广泛应用,帮助腾讯实现更好的在线娱乐体验。从腾讯云、腾讯视频微视、全民K歌、QQ 等众多应用,视频是腾讯产品的重要组成部分。高效强大的视频编解码标准将为整个腾讯产品线带来新的发展契机。

十年前,4G技术给我们带来了全新的移动应用业态,催生了多个价值数十亿的业务领域。刘杉认为5G的影响将有过之而无不及。“未来,我们将迎来更加全面的沉浸式用户体验,能够更好地重现现实世界。我们正走在以融合艺术与技术的方式来塑造人类未来的最前沿。”

 

[1] 根据德勤2020年发布的“Cloud gaming and the future of social interactive media 报告