在给定的传输带宽,即N_TF一定时,具有如下特点:

1)选定QP即可确定视频编码后的源数据包个数N_S,也确定了FEC冗余数据包个数N_C.大的QP意味着N_S变少,视频细节信息损失,FEC产生更多的冗余数据包; 反过来小的QP,视频编码后数据包个数N_S变多,但是FEC可产生的冗余包变少,抵抗信道丢包的能力变弱.

2)常用于抵抗视频数据丢包的FEC有基于sub-GOP级别^[9]和GOP级别^[10]2种,接收端在接收到一个GOP才能进行译码恢复丢包,时延较高.传统帧级别^[15]的FEC则对每个数据帧都采用相同码率的FEC编码.在这种方案中,具有较多编码源数据包的I帧比编码源数据包少的P帧的译码性能更好.

基于如上两个特点,在给定传输带宽下,本研究首先确定QP和FEC冗余使得重构视频的PSNR最大; 在确定FEC冗余后,提出基于帧级别的动态FEC方案.通过调整I帧和P帧的编码冗余,改变FEC码率,使它们具有接近的FEC译码性能.

在视频传输系统中,FEC码被用于保护视频数据.纠错码类型一般选用解码快、时延低以及可靠性高的码型.已有的相关研究工作有喷泉码^[20]、里所码(Reed-Solomon,RS码)^[21]、低密度奇偶校验(LDPC)码^[22]和Turbo码^[23]等.极化码采用串行干扰消除的译码算法,译码复杂度高、时延大,无法达到实时的低复杂度译码.RS码是一种最大距离可分码,编译码较为复杂.相对于LDPC码,RS码是一种基于伽罗瓦域的多进制编码,每个编码的数据包符号由伽罗瓦域(GF)2^m个元素(记为GF(2^m))组成,伽罗瓦域越大,编码码长越长,但计算量越大.因此实际使用较为受限.LDPC-staircase编解码器的平均编解码速度比GF(2⁸)上的RS码编解码器快32.4倍,其中译码器快10.2倍^[24].由于适当的奇偶校验矩阵结构,LDPC-staircase码具有非常高的编解码速度^[25-26].因此,最终选择LDPC-staircase码,该码型可以实现低复杂度的编码和译码处理.LDPC-staircase码属于LDPC码,它的奇偶检验矩阵H是一个(N_T-N_S)×N_T的矩阵,H矩阵由两个子矩阵H₁和H₂组成.H₁矩阵是一个(N_T-N_S)×N_S的矩阵,其列对应于源符号,每列有N₁个“1”,每行至少两个“1”; H₂矩阵是一个(N_T-N_S)×(N_T-N_S)的矩阵,其列对应于奇偶检验符号,具有阶梯结构.N_S=6,N_T=12,N₁=3时,奇偶检验矩阵H为^[25]:

视频传输要求传输时延小,实时性高,因此本研究采用基于RTP的传输系统,对应用层上的FEC的每帧视频进行信道编码,保证了接收端的实时性更好.结合视频编码端GOP内I帧和P帧重要性,调整FEC信道编码端的冗余率,从而优化视频传输的PSNR,再将其运用到实际远程驾驶信道中.具体地,基于帧级别的FEC示意图如图2所示.

图2 基于帧级别的FEC
Fig.2 FEC based on frame-level

为了验证方案的有效性,视频传输系统以一定的概率随机丢失数据包模拟数据传输中的数据包丢包现象.具体地,使用自带随机数种子生成随机数,在发送端每发送一个FEC数据包时,利用该随机函数确定该个FEC数据包传输或者丢失.

在某些复杂的信道环境,视频传输数据包丢失会导致视频质量明显下降.采用FEC可恢复丢失数据包,且FEC信道码率越低,则恢复丢失数据包的能力越强.但是实际传输信道的传输带宽受限,并且过多冗余数据包也会造成视频的延迟.因此,在给定信道环境和时延限制等条件下,本研究通过联合考虑信源压缩和信道编码,根据信道丢包率,调整压缩QP和FEC信道码率,来获得更好视频质量和更大PSNR,实现视频重构质量的提高.

假设传输的视频序列总共由X帧组成,每个视频帧由x(0≤x≤X-1)标识,一个GOP的大小为G,GOP的个数为U.本研究在每G帧中插入一个I帧.N _～x表示第x帧的源数据包的总数,那么

N_S=∑^X-1_x=0N _～x,(6)

N_C=∑^X-1_x=0N _～x(1-R_C)/(R_C),(7)

N_T=N_S+N_C.(8)

设D^-_x表示第x帧由信源引起的失真,D _～x表示第x帧由信道引起的失真,那么目标函数为

min{D_T}=min{D_S+D_C}=min{∑^X-1_x=0D^-_x+

∑^X-1_x=0D _～x},s.t.N_T=N_S+N_C.(9)

传统的FEC方案^[15]将每帧包括I帧和P帧视频图像,都采用相同的FEC信道编码.N _∧表示传统FEC方案I帧的冗余数据包总数,N _--表示传统FEC编码后的GOP中后Y个P帧的冗余数据包总数,(Y的数值由具体的方案确定,本研究中选为4),因此有

N _∧=∑^U-1_u=0N _～Gu(1-R_C)/(R_C),(10)

N_T=∑^X-1_x=0(N _～x)/(R_C),(11)

N _--=∑^U-1_u=0∑^Y_y=1N _～G-y+Gu(1-R_C)/(R_C).(12)

一个视频序列经过视频编码器后,每帧视频图像被压缩成若干个源数据包,每个视频序列被分成若干个GOP,每个GOP由一个I帧和若干个P帧组成.I帧是帧内编码图像帧,它是关键帧,不需要参考其他视频帧画面而生成; P帧是预测编码图像帧,I帧是P帧的参考帧,而每个P帧也可以是其后面P帧的参考帧.由于I帧包含的信息多,其编码源数据包的个数较多; P帧包含的信息较少,其编码的源数据包个数也较少.

对于给定的R_C,I帧有较多的冗余数据包,而P帧的冗余数据包比较少,但是FEC码长越长,FEC的译码性能越好.因此,本研究考虑I帧和P帧在视频重构中的重要性相似,在传统FEC方案的基础上,保持传输的数据包总数N_T不变,按帧重新分配FEC码率,提出帧级别的应用层动态FEC优化方案.

图3给出了当R_C为2/3时,不同数据包大小对LDPC-staircase码和RS码的译码时间的影响.显然,LDPC-staircase码的译码时间小于RS码,当数据包大小为600时,LDPC-staircase码的译码时间可忽略不计,因此,LDPC-staircase码更适用于远程控制场景,不会对远程操作造成较大的延时,更符合实时视频传输以及5G场景的需求.

图3 LDPC-Staircase码和RS码的译码时间在不同包大小下的对比(RC=2/3)
Fig.3 The decoding time of LDPC-staircase code and RS code is compared with different package sizes(RC=2/3)

图4为RS码和LDPC-staircase在不同的丢包率情况下的译码成功概率.其中,LDPC-staircase的R_C为1/3,RS码使用伽罗瓦域为GF(2⁸).当PLR(R_PL)约为57%时,RS码的译码成功概率开始下降,而LDPC-staircase码的译码成功概率依然保持在接近100%的水平.在PLR约为64%时,LDPC-staircase码的译码成功概率略有下降,而此时,RS码的译码成功概率远低于LDPC-staircase码.

图4 不同PLR下LDPC-Staircase码和RS码的译码成功概率对比
Fig.4 The successful decoding probability of LDPC-staircase code and RS code is compared with different PLR

本实验将QP设为25,30和40进行仿真.以QP为30,FEC信道编码码率R_C为1/2时传输的数据包总数N_T为标准,调整QP为25和40的FEC的R_C.测试PLR为1%,5%和10%时,不同QP下传统FEC方案传输视频重构的PSNR(表1).可以看出:在3种PLR情况下,QP为30的ParkScene视频序列的PSNR均最大,即接收端视频的重构效果最好; 当PLR为1%时,QP为25的视频PSNR大于QP为40的PSNR; 当PLR为5%和10%时,QP为40的视频PSNR则比QP为25的大.

表1 不同PLR和QP的ParkScene序列的PSNR
Tab.1 PSNR of ParkScene sequence with different PLR and QP

为了验证方案可行性,本节在FEC冗余确定时,进一步比较了不同QP和PLR下3种帧级别动态FEC方案视频重构的PSNR.其中,传统FEC方案中,I帧和P帧采用相同的FEC编码.实验结果如表2所示.

1)当QP为30时,视频重构质量最高.本研究所提出两个动态FEC方案的PSNR都比传统FEC方案的高.在PLR分别为1%,5%和10%时,相对于传统FEC方案,平均I/P帧保护方案的PSNR分别提高了0.34,1.02和0.99 dB,不等P帧保护方案的PSNR

表2 不同QP和PLR下,3种方案的传输视频序列PSNR
Tab.2 PSNR of transmission video sequences of 3 schemes with different QP and PLR

分别提高了0.06,0.32和0.39 dB.由此可知,动态FEC方案可以提高接收端视频的重构质量,且平均I/P 帧保护方案的提升效果优于不等P帧保护方案.

2)当QP为25时,较于传统FEC方案,平均I/P帧保护方案的PSNR在PLR为1%,5%和10%情况下,分别提高了0.96,1.47和1.06 dB,不等P帧保护方案的PSNR分别提高了2.83,3.93和3.39 dB.可以看到,和QP为30时的比较结果不同,在QP为25时,不等P帧保护方案的性能优于平均I/P帧保护方案.

如图5所示为PLR为10%和QP为25时,在接收端收到的解码后的视频画面,可以看到,不等P帧保护方案具有最好的视频重构效果,平均I/P帧保护方案的视频重构质量次之.

3)当QP为40时,所提出的动态FEC方案性能与传统FEC方案相差不大,其中不等P帧保护方案的

图5 QP为25和PLR为10%时,3种FEC编码方案对比图
Fig.5 Comparison of 3 FEC coding schemes when QP=25 and PLR=10%

PSNR,相较于传统FEC方案还略有降低.

如表2所示,在QP较小的时候,动态FEC方案明显优于传统FEC方案,PSNR最高可提高3.93 dB(QP为25,PLR为5%); QP较大时,动态FEC方案较于传统方案的提高较少.这是由于QP较大时,量化步长变大,视频信息丢失多,编码后的视频数据量变少.当QP为40时,视频序列经过H.264编码所得到的源数据包个数较少,I帧节省的冗余包数也较少.对于平均I/P帧保护方案,难以改进P帧的恢复效果,则整体视频重构的PSNR提高不多; 同样,QP较大时,P帧的源数据包数也变少,GOP后4个P帧所节省冗余数据包相应减少.对于不等P帧保护方案,难以改进靠近I帧的前6个P帧的译码效果,反而使后4个P帧的译码效果变差,整体传输视频的PNSR减小,视频的重构效果不佳.

本节将动态FEC方案在5G远程驾驶系统中进行实际测试,测试系统如图6所示.该系统在汽车上搭载高清摄像头,采集视频通过5G网络回传到室内驾驶舱的屏幕上,驾驶员可根据视频路况,进行实时远程操控方向盘、油门以及刹车.测试地点在福州大学物理与信息工程学院,采用中兴的5G通

图6 5G远程驾驶实际应用系统
Fig.6 The diagram of 5G remote driving actual test

信设备以及东南汽车.该系统采用H.264视频编码标准,GOP的大小设置为25帧,QP的大小设置为30,视频序列的帧率为30帧/s,每个FEC数据包的编码码长为600 B,端到端的传输时延限制为200 ms.实际测试结果表明,在5G网络信号较差(丢包率经测试约为2%)的地段,动态FEC方案可以有效地解决视频丢帧问题,PSNR比传统FEC方案的提升约2 dB,实现路况视频的高清实施传输,保障驾驶安全.