一、当前5G落地应用及VR直播需求

图1:(5G超高带宽+VR超高码率需求=5G落地。)

5G来了!就像任正非在回答国外记者关于美国封堵华为问题时所说:“西方不亮,还有东方亮啊!”是的5G在东方一定要先亮起来!先亮起来就是要有落地的应用,5G有Gbps级的传输速度和很低的延时,VR视频是对传输带宽要求最高的媒体,视频直播对通信链路的稳定性、实时性要求都非常高(尤其是大码率下的延时和稳定性),那么5G+VR+视频直播,也就是5GVR视频直播确实就成为了5G一个最好的落地方案。

二、5GVR直播方案架构

VR直播与传统直播相比主要有三点不同:一是直播设备需要使用带有直播功能的VR摄像机;二是观看端要使用可以播放VR直播流的播放器或VR眼镜;三是需要更高的视频码率。传统直播的分辨率最大为1080P,码率在4Mbps以下,而VR直播一般都是4K以上分辨率,码率通常为20Mbps以上,如果想达到没有马赛克的效果,更需要有45Mbps以上的传输码率,根据直播带宽和码率的计算公式:码率x1.2=直播带宽需求可知,展示良好的4K直播效果带宽要求至少要在54Mbps以上。

说了这么多不同,那5GVR直播方案到底如何搭建呢?

5GVR直播方案一般分为自建直播服务器和租用直播云两种方式,二者的区别在于,自建直播服务器一次性投入成本高,后期成本低,可以搭建到内网做内网直播,数据安全性好;而租用直播云的搭建方式一次性投入成本低,后期按照流量收费,只能搭建在公网,但伸缩性和扩展性好,数据通过公共直播云中转有泄密风险。下面是两种方案的架构:

图2:自建直播服务器方案架构

图3:租用直播云方案架构

可以看到,两直播方案的开头和结尾都一样,只是自建方案需要购买一台实体的直播服务器硬件,而租用直播云方案是向腾讯云这样的云服务商租用虚拟服务器。它们的流程都是,首先由带有直播功能的VR摄像机输出高清全景视频流,然后直播推流服务器做高质量拼接、编码和推流,直播服务器做中转和广播,最后到各种终端进行VR视频的观看。推流到直播服务器一般使用RTMP协议,广播到终端一般使用flv、hls、rtmp等协议,一般比较常用的是flv协议。

三、5GVR直播设备选型攻略

1.VR直播摄像机选型攻略

图4:直播摄像机选型

1）选稳定性好的产品

图5:稳定性第一重要

VR直播摄像机的选型第一重点就是稳定, 对不能稳定运行,经常故障罢工的VR直播相机来说,再强大的功能参数都将没有任何意义。可能大家会有疑问,用单反从未担心过它的稳定性问题;诚然,对于成熟的数码产品比如单反微单经过几十年的演化稳定性已经不是问题,然而VR直播相机是一个全新的数码产品,不能以传统摄影器材的成熟度来参考,毕竟国内做产品化全景相机最老的品牌TECHE才6年的历史,其他的创业公司长则4年短至1年,大多停留在PPT产品阶段,想做出成熟稳定的产品任重而道远。

直播有着非常强的实时性和事件不可重复性因素,比如直播婚礼,直播演唱会和各种比赛,如果中间设备故障了,后果将不堪设想:难道让新人重新结一次?明星重新演一次?比赛重赛一次?设备没多少钱,这事儿耽误了损失可就大了啊!

那么怎么挑选一台稳定的选举相机呢?下面我提几点给大家参考。

A.看外观

图6:密封稳定无风扇

要看外观是否是全封闭的,如果机身有很多散热孔说明它必须靠很多散热孔才能稳定工作,相机长时间工作造成的温度升高以及户外高温太阳暴晒都可能让其崩溃,如果加装了风扇,甚至多个风扇就更让人担忧,风扇不但噪音大还会很快积累灰尘,造成系统不稳定,大家可以看看手头的单反、微单、卡片机,甚至索尼大型肩扛摄像机,到底有没有散热孔和风扇。

B.看存储

图7:统一SSD存储才稳定

高清摄影器材都采用一个固态硬盘进行统一存储,比如红龙摄像机等,固态硬盘不但速度快其内部还有主控芯片进行控制,保证存储介质每一个NAND块被均匀使用,最后共同到达使用寿命,还能屏蔽坏块,固态硬盘内置告诉缓存、调度芯片和DMA并发能力强,所以SSD固态硬盘是专业摄像机的首选存储介质。

很多人可能都遇到过U盘无法读取,或SD卡插入电脑后提示需要格式化的情况,但固态硬盘却在电脑中一直稳定工作,统计数据表明SD卡的故障率是固态硬盘故障率的10倍以上,SD卡还有一个问题,它不像固态硬盘那样有高速缓存和主控芯片调度,并发能力非常弱,相信大家都有过这种经历,如果正在向SD卡里复制文件,然后又复制一次或多次,也就是说有多个拷贝任务同时进行时SD卡几乎就死掉了,很容易崩溃,那么VR摄像机需要6个以上的镜头同时写入6条60-100Mbps的原始数据到SD卡怎么处理呢?于是一些聪明的创业公司想出了一招,用海量SD卡解决,有用6个SD卡的,有用7个SD卡的,厂家方便了,客户麻烦死了,拍摄现场情况往往是非常复杂的,按照顺序换卡,后期按照顺序整理7卡数据虐心啊!最重要的7张卡不就把故障率提高了7倍吗? 7张卡不就把故障率提高了7倍吗? 7张卡不就把故障率提高了7倍吗?重要的事情说三遍!也就是说用7张SD卡做存储介质的VR摄像机不但使用麻烦,而且其故障率是使用一个固态硬盘统一存储的VR摄像机的7倍!

C.看历史

图8:TECHE六年专注做一件事

这个没有太多的技术,是一个逻辑和经验问题,相机这种产品,跟空气净化器不一样,口罩套在风扇上就是空气净化器,相机既是一个电子产品,也是一个光学产品,是一个硬件,但其内部集成了大量的算法,尽管深圳的山寨大厂有很多,但有几家能山寨佳能、尼康、索尼、徕卡和红龙的?所以成立3年以下或出过3代以下产品的公司,就无需考虑了,买就买第三代或三代以后的产品,要不然您一定成为小白鼠。还有最好在产品发布8个月以后买,新产品可能使用新技术,很多问题在投放市场后大量使用次能发现,厂家修复软硬件问题至少需要8个月的时间。

2)选画质好的产品

专业相机或摄像机不以画质为核心竞争力是耍流氓行为,画质好的话可以用来宣传、可以用来汇报,可以用来炫耀拉仇恨,画质渣就只能用来打脸了,那么如何挑选画质好的全景相机呢?下面我就给大家介绍几点干货,相信大家看完后就明白了。

A.你可能要换显示器

又没想到吧?没错,要挑画质,第一步就要看自己的显示器色域是否足够,普通的显示器色域60%-70%,办公笔记本更惨可能只有50%-70%,您必须买一款Dell的U系列显示器才能看到画面本来的颜色,如果您图像的本来颜色都看不到何谈挑选画质呢?

B.分辨率不等于画质

分辨率就是图片像素的个数,但有效像素、噪声、颜色、宽容度、镜头解像力都影响着画质,同样的CMOS面积像素太多反而会相互干扰,还记得苹果6的时代,800万的像素,秒杀各种1200万像素的手机,产生噪声使得画质下降,建议直接对比相机样片。

C.宽容度

图9:宽容度高与宽容度相对低对比

宽容度就是相机在同一个画面上能够表现出多大的光比范围,通俗的解释一下把,用手机在室内对着窗口拍,就发现窗口特别亮,窗户周围室内的墙壁特别暗,但宽容度约高的相机越能同时看清高光和低光的部分。

宽容度问题对全景相机来说至关重要,为什么呢?因为全景相机的镜头角度非常的大,一般都是200度,小的也有175度,几乎所有的场景下都会同时拍到高光和低光的部分,这就是大部分全景相机在室内有窗户、有灯,室外有太阳或演唱会现场灯光秀的时候,全景图像中出现大片曝光溢出的原因。

大家在挑选时一定要对比大光比场场景下全景图像过曝光和欠曝光的范围,以及高光和低光部分的噪声和细节保留程度。

之前听台湾一个客户跟我介绍泰克易全景相机的时候说了一句话让我记忆深刻,他是这样说的:“其他全景相机拍灯的时候都过曝严重,灯就是一团光,泰科易得全景相机能拍出灯光得星芒,太厉害了!”

嗯,宽容度好不好,就看灯和太阳拍得漂亮不漂亮!

D.准确的色彩

图10:PHIIMAX3D VR直播摄像机视频截图(无后期)

各位知道相机和监控摄像头在画质调教上得区别吗?相机是以颜色还原准确为准,监控是以看得清晰为准。

我们要想拍照漂亮得VR视频,首先手中得VR摄像机需要有准确的颜色还原能力,大家可以跟厂家索要没有后期过的相机原片,看看红的能不能拍成红色,黄的能不能拍成黄色,黑的能不能拍成黑色,如果颜色不鲜艳,或像白内障一样模模糊糊,千万别买。

什么?你问我厂家发其他相机拍的假样片骗你咋办?嗯,知名厂家应该不会,但如果发生了这样的问题我们也应该拿起法律的武器进行维权,淘宝京东直接投诉+差评。

E.相机机内拼接和相机外拼接之争

图11:机内拼接核心对比机外拼接核心

第一点,咱不谈FPGA,我就是做FPGA的,FPGA的处理能力和它不擅长做浮点运算这个事儿,就注定了GPU比FPGA更适合做图像处理这个事儿,目前市面上做直播的量产型专业全景相机,无论是机内拼,还是机外拼用的都是显卡。

第二点,我要说明得是,同样的拼接算法,无论是机内GPU拼接,还是机外GPU拼接,其算法复杂度是不会改变的,该需要多少算力,还需要多少算力。

第三点,直播4K分辨率的VR视频,机内拼接现在最好的方案是英伟达的TX1有256个CUDA,而机外直播一般会用英伟达的1080ti有3500多个CUDA。

图12:机内拼接流水线,对比机外拼接流水线。

那问题就来了,既然计算量是一定的,为什么机内拼接只用机外拼接1/10的显卡资源就能做到呢?嗯,这就是猫腻所在!上图给大家展示两条图像处理流水线对比,省略了与全景生成关系不大的编解码过程,可以看出:

第一步:机内拼接的6路原始视频的分辨率和码率都远低于机外拼接。

第二步:投影变换过程因为是浮点运算,经常出出现x=5.56,y=4.38这样的小数像素坐标,所以应该用4x4抗锯齿方式来变换像素坐标共参考16个像素,这样才不会造成因为丢失小数位坐标所产生的锯齿问题,而机内拼接之简单粗暴的省略小数部分,这样只需要参考1个像素,工作了缩小了16倍,但会造成严重锯齿。

第三步:机内拼接不做颜色融合。

第四步:机外拼接出的是真正的4K视频,而机内拼接出的是3K或1080P的视频放大到4K。

说白了机内拼接的效果要远比机外拼接的效果差很多,说是4K直播,最多只有3K的效果,有的只有1080P直播的效果。

相机内装上显卡直播的后果不光是,续航时间很短、开孔、装风扇,经常过热死机,更重要的是它低劣的画质,会让拍摄者打脸,会让第一批尝鲜观看的用户对VR、对5G直播失去信任。

2.VR直播服务器选型攻略

1)什么时候选自建服务器

当你要布置部队、电力抢修、法院审批等内网直播业务时建议使用自建服务器方案。主要考虑的是数据的安全性问题,众所周知,云服务器只是提供接口,所有的客户的数据都会暴露在云服务器公司的面前,相当于没有隐私可言。而有些数据对客户而言非常重要,一点都不能泄露出去,而这些数据是否能保密,要看云服务器公司的职业道德和保护能力。如果选择自建服务器将不会有这些顾虑。

2)什么时候选商用直播云服务

当你做公网直播时,建议选择商用直播云服务的直播方案。从技术方面来说,商用直播云服务含有云计算机技术,而云计算技术综合了各种软件和硬件技术。用户在其基础上进行公网直播所需要应对的技术性问题较少,此外,直播云服务器的安全性能更好,被攻击的可能性更低。而由于云服务器是服务器集群而产生的,因此它的故障率很低。

3.VR眼镜的选型攻略

1)分辨率

分辨率可以从显示分辨率与图像分辨率两个方向来分类。显示分辨率(屏幕分辨率)是屏幕图像的精密度,是指显示器所能显示的像素有多少。由于屏幕上的点、线和面都是由像素组成的,显示器可显示的像素越多,画面就越精细,同样的屏幕区域内能显示的信息也越多,所以分辨率是个非常重要的性能指标之一。可以把整个图像想象成是一个大型的棋盘,而分辨率的表示方式就是所有经线和纬线交叉点的数目。显示分辨率一定的情况下,显示屏越小图像越清晰,反之,显示屏大小固定时,显示分辨率越高图像越清晰。如果一款VR头显的画面颗粒感严重,那么即使沉浸感强、交互感好,对用户“观影”这个核心需求来说,也是意义不大的。

2)陀螺仪准确度

陀螺仪是一种感应器,是感应眼镜位置动态的变化的,如果陀螺仪比较差,也就是说反应会慢一些,那么延迟就会比较严重,画面卡顿,人会眩晕。现在手机里面的陀螺仪都是非常普通的陀螺仪,效果达不到vr级别的要求, 所以直插手机的VR头显是不行的,操作系统要做调度优先级优化,让IMU的数据高优先级处理,并与画面联动。

四、作者的思考

1.VR直播技术的下一步

自16年起,VR直播的热度从未衰落,但我们也从未体验过一场真正意义上的VR直播。究其原因,网络传输、硬件支持都有甩不开的锅。虚拟现实技术最大的魅力在于身临其境,3D是VR直播一个非常重要的因素。另外影像沉浸感的因素还有分辨率;图像分辨率越高,所能呈现的细节也就越多,由于VR直播的画面是将整个场景平铺至球形表面,再结合人的观看视角,4K也仅仅相当于540P的水准,想要获得高清VR直播,需要6K、8K甚至更高分辨才行,同时相应的码率也要达到200Mbps以上。随着5G的到来,未来的VR直播将不再受限于网络带宽,而随着全景相机的推陈出新,VR直播离我们已然不远。

2.VR直播应用的下一步

新技术的推广扩散往往是先从行业应用开始,然后在不同的应用场景中精简修炼,反复论证,逐步民用化泛用化,VR直播同样如此。所以找到VR直播与行业相结合的价值点是当前推动行业发展最关键的因素,事实上,国内外的一些VR直播方案提供商一直在这么做。如移动联通等国内网络运营商正积极尝试VR直播+5G的应用,全景相机厂商泰科易也正在推出最高支持8K的VR直播方案。