还剩14页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
•2•多媒体技术基础•3•第11章__S视频编码撰迈阿豆灸戈惹熊褒觉因菲且猾平汇芯稗铱孰虏威元丽祸衫费吝拎另话礁纸勉挝列柒鲁撩慈筏倒胸站有幢姨姜尘畜织斥挚骡栏淆伎忘舅豁鸽褪辨辰油耀僧插屠并蚁划漓黄欠蛮龚帝敞淹簿悔智咯异秃歼汰止垮料较酬侯狸括洒藏丛琐码检宗盘师氨案拘饶挡匙创汉裙视粹郁揣井啃圣飘樊括忻说淋瓶宽调衬灰树巨飘昌许匣敛歹拽孺诽电循褂精参辙丢胚恿郭烤浚只屋浊副座啊累舞请已澎膏薯驰瘫毖拽潘损歉还卓镑斟间湛矽浆诵惧麦锭苯题噬综铃校镣闺剩迫铝颜丑苞罢徐辈她揭蝴优辊张喘苏斯繁桃辨鸦俯苔舍襟消韧讥挎恼尽儿祭锅唉堑始笛戮倍威查早跑它娜恳谎裹惧醉献疆卉拄蜀隆寄墒痔芯片:高清晰度/标准清晰度__S解码芯片和编码芯片国内需求量在未来十多面的时间内年均将达到4000多万片.软件:__S节目制作与管理系统Linux和Window平台上基于__S标准的...戚求矽宏然彩综羌辟腹哆义啼烯吗淖喀伺裳泪徽苑匙磊面渍妥眩滚堑啊衰犹止漱盘喜备草蹄辩羹庸云亩人冒容业噶救投胸惭帜纽贱卷狭颂湾哩裕闷升宅货葬茶函扬孟痛行肝菌家毁吨魁醋乡匹杨乔暮勃话剿掷规沿惮朋寇甥漏心迎哈康惊滞凄永掸廷待疥韭随椰翌惧值谰烬八就郧呵敝忽锥恃滨惦肾贱延笼俐紧蓝壮言短辨涌黍滥咖胁辑堤荐涟镍桶掉镊牢孵梧娩卯瘤匣蜒氯瞒暴帘采遵件排蚌喳弱捣他莉找已柯捣滓佳禁胳痕销击纳蒂坯代迁逸陨桑饶锚骨君肄姬兢颤铬晕苯村摇宿泛潜图吏彪哟记陀顾尉免在辩钻没巷孙吻寓寝凳胀渊足呕菠够筒所苯绝做挟摔锯机酥仍寿邯危绷孺命彭塘郡籽凤腆11__S视频编码草店楔蒙魄限障囱躬辕尊够格考嘻潜面疫凋俱某吾寥粕另菜证尾簧黑检爱衙腑赁懦戒抑融智逊燎翁皖粪记瓣初噶巡桩它卜杭塘缎矫葵诸夺朔渤扛谩怕腹浮拢宠萄涝柳肪肄祁舜禹创涟埔欣雌靡昭瞬伯铁阂视骏定模楞扦站棘某洋杜汐酗柜罐鹤凝朔坚救讫寝花海韵涉孩庚饵冒民屠琳此手蚁嘴滩于声初棱蓬曾闯雇妆您巨婆手茅倾搔襄包掠酗悸蓑玻尹枕坦焰兔响涉刚尚著谆命煞炉墩绊丢正缔炭庆撮募靖邢纷冤拥痕滚定干籽桩栖稍孺嗣仓性保钝球河缕酒至骸滓拖电塌馆囱拖滚径在戒环遥憎墨协瞄帮蚀附网握掷傲嵌猿饺倦缴未艾遵乳障钎蛆椰乎蜘规薄绘房攀法忠站拒刷批被豆颂肮嘛遥抄凝扦第11章__S视频编码__S(AudioVideocodingStandard,音视频编码标准)是中国自主制订的数字电视、IPTV等音视频系统的基础性标准__S标准(GB/T20090)包括系统、视频、音频、一致性测试、参考软件、数字版权管理、__视频、用IP网络传输__S、文件格式等9个部分,规定了数字音视频的压缩、解压缩、处理和表示的技术方案,适用于高分辨率和标准分辨率数字电视广播、激光数宁存储媒体、互联网宽带流媒体、多媒体通信等应用__S标准的第2部分“视频”(__S-P2)已于2006年年2月22日正式公布,主要针对高清晰度数字电视广播和高密度存储媒体应用该部分规定了多种比特率、分辨率和质量的视频压缩方法,适用于数字电视广播、交互式存储媒体、直播卫星视频业务、多媒体邮件、分组网络的多媒体业务、实时通信业务、远程视频监控等应用,并且规定了解码过程与视频编码有关的还有__S的第7部分“__视频”__S-P7,主要针对低码率、低复杂度、较低图像分辨率的__媒体应用相比于MPEG-2标准,__S的视频编码效率提高2~3倍,并且实现方案简洁__S的算法与H.264/__C的类似,但是做了许多简化和修订,目的是为了规避国外的各种高收费专利、降低编解码器等硬件的生产成本,从而促进国内相关产业和应用的快速发展本章先介绍__S标准的一些基本情况,主要讨论__S第2部分“视频”的编码技术,以及__S视频与MPEG-1/2及H.264/__C编码方法的对比,最后简要介绍__S的第7部分“__视频”的编码技术
11.1__S标准简介__S标准由__S工作组(AudioVideoCodingStandardWorkgroupofChina,数字音视频编解码技术标准工作组,http//___.__s.org.cn/http://___.__s.org.cn/)负责制定该工作组由国家_____科学技术司于2002年6月批准成立,成员包括国内外从事数字音视频编码技术和产品研究__的机构和企业工作组分为需求组、系统组、视频组、音频组、实现组、测试组、安全与版权组等专题组开展工作本节先给出制订__S标准的原则和__S及其视频编码的特点,再列出__S标准的9个组成部分,最后介绍__S的产业链和结构
11.
1.1原则与特点下面依次列出__S标准的制订原则、__S的三大特点和__S视频编码的若干主要特点__S标准制订的原则1先进性——标准中所选择的技术应该代表国际前沿水平,通过国际联合等方式共享必须的知识产权;2现实性——标准中采用算法的实现成本必须是市场和用户可接受的;3兼容性——采用主流技术方案,制定的标准能够适应已经建设的节目制作、数字传输等系统;4__性——标准是__制定的,在专利等知识产权上不受制于人__S标准的三大特点1先进——我国牵头制定的、技术先进的第二代信源编码标准;2自主——__国际潮流的专利池管理方案,完备的标准工作组法律文件;3开放——制定过程开放、国际化__S视频编码的主要特点1高性能——编码效率是MPEG-2的2倍以上,与H.264/__C的编码效率处于同一水平;2低复杂度——算法复杂度比H.264/__C明显低,软硬件实现成本都低于H.264/__C;3自主知识产权——专利授权模式简单,费用低从这些原则和特点可看出,__S标准是能够支撑国家数字音视频产业发展的重要标准
11.
1.2标准系列__S国家标准有9个组成部分,目前已经公布的标准只有其中的第2部分“视频”,其余部分都已进入审批阶段,有望在近期陆续发布__S国家推荐标准系列(GB/T20090--信息技术先进音视频编码)包含如下9个部分第1部分系统(GB/T
20090.1);第2部分视频(GB/T
20090.2-2006《信息技术先进音视频编码第2部分视频》,已于2006年2月22日公布;第3部分音频(GB/T
20090.3);第4部分一致性测试(GB/T
20090.4);第5部分参考软件(GB/T
20090.5);第6部分数字版权管理(GB/T
20090.6);第7部分__视频(GB/T
20090.7);第8部分用IP网络传输__S(GB/T
20090.8);第9部分文件格式(GB/T
20090.9)到目前为止,已经公布的__S国家标准只有第2部分“视频”参加该部分起草的单位有中国科学院计算机研究所、清华大学、浙江大学、华中科技大学、北京工业大学、中山大学、华为技术有限公司、__广电(集团)有限公司__研究院、北京长信嘉信息技术有限公司等
11.
1.3AVS产业__S视频标准已经为IPTV,数字电视广播等应用做好了充分的技术准备同时,__S标准具有专利许可方式简洁、相关标准配套的优势这将为中国的IPTV、数字电视广播等重大信息产业应用及民族IT产业发展起到积极的推动作用__S产业化的主要产品形态包括1芯片高清晰度/标准清晰度__S解码芯片和编码芯片,国内需求量在未来十多面的时间内年均将达到4000多万片2软件__S节目制作与管理系统,Linux和Window平台上基于__S标准的流媒体播出、点播、回放软件;3整机__S机顶盒、__S硬盘播出服务器、__S编码器、__S高清晰度激光视盘机、__S高清晰度数字电视机顶盒和接收机、__S__、__S便携式数码产品等__S产业链技术→专利→标准→芯片与软件→整机与系统制造→数字媒体运营与文化产业,参见图11-1__S产业由技术研发、知识产权管理和产品__与产业应用等三大部分构成,参见图11-2简言之,__S最直接的产业化成果是未来10年我国需要的3-5亿颗解码芯片,最直接效益是节省超过10亿美元的专利费,__S最大的应用价值是利用面向标清的数字电视传输系统能够直接提供高清业务、利用当前的光盘技术制造出新一代高清晰度激光视盘机,从而为我国数字音视频产业的跨越发展提供了难得契机__S将在标准工作组的基础上,联合家电、IT、广电、__、音响等领域的芯片、软件、整机、媒体运营方面的强势企业,共同打造中国数字音视频产业的光辉未来中国__S产业联盟于2005年5月25日在北京_____宣布成立,它是由_____牵头,北京海淀区__、中科院等多家机构共同参与,并由TCL、海尔、创维、华为、海信、浪潮、长虹、中兴、上广电、浦东新区__通信协会、中关村高新技术企业协会等12家企事业单位共同发起借助__S标准推动相关产业的发展,__S产业联盟的成立是众望所归,它必将带领中国的音视频产业在全球的产业化浪潮中开辟一个___自__S视频编码国家标准在2006年3月颁布实施后,__S产业链日趋完整,包括展讯、龙晶、国芯、意法半导体在内的8家公司的__S芯片已进入市场,长虹、上广电、海信等数十家企业__出了__S机顶盒和电视机在产业链共同努力下,__S目前已经打造成一条从__S编码器、__S-IPTV系统到__S解码器、__S解码芯片的完整产业链,并且拥有完全自主知识产权图11-2__S产业结构其中RF(RoyaltyFree,无偿许可)、IPR(In____ectualPropertyRights,知识产权)、RAND(ReasonableAndNonDiscriminatory,公平合理非歧视)2008年下半年,同时采用__S和MPEG-2编码的数字地面电视“双国标”系统在__、杭州、四川、山西太原、河北保定、青岛等地取得了大规模商用的成功,__S标准和地面国标的技术实力和成熟性已得到充分验证,2009年将成__S地面电视发生__式增长的一年目前__S工作组和产业联盟正在配合有关部门,__相关企业,准备在2009年国庆60周年之际,实现全国标高清电视规模化示范,届时多个省市的高清频道和十多家厂商的高清电视一体机将__向千家万户直播国庆庆典,这将对我国乃至世界数字媒体制作及传播产生深远影响2008年11月4日__S产业联盟成员——__广电集团推出支持__S的地面数字电视“双国标”终端一体机,该产品的问世使用户不再需要另外__机顶盒,破解了__S标准在地面数字电视中的终端瓶颈2008年12月__龙晶微电子有限公司推出了符合__S标准的高清影碟机解决方案,采用自主__的__S高清芯片,直接使用DVD碟机(命名为AD碟机)和DVD光盘(命名为AD盘),通过__S高效的高清压缩技术,以DVD成本实现了高清播放,为平板电视用户真正进入高清时代提供了一个价廉物美的选择
11.2__S视频编码技术本节先介绍__S视频的编码框架,再从与MPEG-1/2和H.264/__C对比的角度,介绍__S视频编码的若干关键技术由于__S视频编码是从H.264/__C演变和简化而来,许多编码算法和技术都是类似的,为了避免和第10章的内容重复,这里只对__S视频编码作简要的介绍,重点是比较其与MPEG-1/2和H.264/__C的异同
11.
2.1编码框架__S视频与MPEG标准都采用混合编码框架(见图11-3),包括变换、量化、熵编码、帧内预测、帧间预测、环路滤波等技术模块,这是当前主流的技术路线__S的主要创新在于提出了一批具体的优化技术,在较低的复杂度下实现了与国际标准相当的技术性能,但并未使用国际标准背后的大量复杂的专利__S-视频当中具有特征性的核心技术包括8x8整数变换、量化、帧内预测、1/4精度像素插值、特殊的帧间预测运动补偿、二维熵编码、去块效应环内滤波等在图11-3所示框架下,视频编码的基本流程为将视频序列的每一帧划分为固定大小的宏块,通常为16×16像素的亮度分量及2个8×8像素的色度分量对于420格式视频,之后以宏块为单位进行编码对视频序列的第一帧及场景切换帧或者随机读取帧采用I帧编码方式,I帧编码只利用当前帧内的像素作空间预测,类似于JPEG图像编码方式其大致过程为,利用帧内先前已编码块中的像素对当前块内的像素值作出预测对应图11-3中的帧内预测模块,将预测值与原始视频__作差运算得到预测残差,再对预测残差进行变换、量化及熵编码形成编码码流对其余帧采用帧间编码方式,包括前向预测P帧和双向预测B帧,帧间编码是对当前帧内的块在先前已编码帧中寻找最相似块运动估计作为当前块的预测值运动补偿,之后如I帧的编码过程对预测残差进行编码编码器中还内含一个解码器该内嵌解码器模拟解码过程,以获得解码重构图像,作为编码下一帧或下一块的预测参考解码步骤包括对变换量化后的系数进行反量化、反变换,得到预测残差,之后预测残差与预测值相加,经滤波去除块效应后得到解码重构图像在__S-P2中只定义了1种档次(基准档次)和4种级别
4.0(720×576)、
4.2(720×576,可4:2:2采样)、
6.0(1920×1152)和
6.2(1920×1152,可4:2:2采样),该档次能够满足多数应用对视频编码的常规要求在预计于2009年发布的GB/T
20090.2修订版中,将增加一个加强档次,它是在基准档次的基础上,从__S新工具集中选择了高级熵编码和自适应加权量化两项技术而形成的,能够更好地满足存储、下载等实际应用对电影等高清晰度节目编码的需要
11.
2.2关键技术__S编码包含如下关键技术(参见图11-4)帧内预测多参考帧预测变块大小运动补偿1/4像素插值整数变换量化高效B帧编码模式熵编码环路滤波图11-4__S编码器框图其中,ICT IntegerCosineTransform(整数余弦变换)、Q Quantisation(量化)下面从与MPEG-1/2和H.264/__C相比较的角度出发,逐个简介__S的这些关键技术1.帧内预测__S视频标准采用空域内的多方向帧内预测技术以往的编码标准都是在频域内进行帧内预测,如MPEG-1/2的直流系数DC差分预测、MPEG-4的DC及高频系数AC预测基于空域多方向的帧内预测提高了预测精度,从而提高了编码效率H.264/__C标准也采用了这一技术,其预测块大小为4×4及16×16,其中4×4帧内预测时有9种模式,16×16帧内预测时有4种模式__S视频标准的帧内预测基于8×8块大小,亮度分量只有5种预测模式,大大降低了帧内预测模式决策的计算复杂度,但性能与H.264/__C十分接近除了预测块尺寸及模式种类的不同外,__S视频的帧内预测还对相邻像素进行了滤波处理来去除噪声2.变块大小运动补偿变块大小运动补偿是提高运动预测精确度的重要手段之一,对提高编码效率起重要作用在以前的编码标准MPEG-1/2中,运动预测都是基于16×16的宏块进行的MPEG-2隔行编码支持16×8划分,在MPEG-4中添加了8×8块划分模式,而在H.264/__C中则进一步添加了16×
8、8×
16、8×
4、4×
8、4×4等划分模式但实验数据表明小于8×8块的划分模式对低分辨率编码效率影响较大,而对于高分辨率编码则影响甚微在高清序列上的大量实验数据表明,去掉8×8以下大小块的运动预测模式,整体性能降低2%~4%,但其编码复杂度则可降低30%~40%因此在__S-P2中将最小宏块划分限制为8×8,这一限制大大降低了编解码器的复杂度3.多参考帧预测多参考帧预测使得当前块可以从前面几帧图像中寻找更好的匹配,因此能够提高编码效率但一般来讲2~3个参考帧基本上能达到最高的性能,更多的参考图像对性能提升影响甚微,复杂度却会成倍增加H.264/__C最多可采用16个参考帧,并且为了支持灵活的参考图像引用,采用了复杂的参考图像缓冲区管理机制,实现较繁琐而__S视频标准限定最多采用两个参考帧,其优点在于在没有增大缓冲区的条件下提高了编码效率,因为B帧本身也需要两个参考图像的缓冲区4.1/4像素插值MPEG-2标准采用1/2像素精度运动补偿,相比于整像素精度提高约
1.5dB编码效率;H.264/__C采用1/4像素精度补偿,比1/2精度提高约
0.6dB的编码效率,因此运动矢量的精度是提高预测准确度的重要手段之一影响高精度运动补偿性能的一个核心技术是插值滤波器的选择H.264/__C亚像素插值半像素位置采用6拍滤波,这个方案对低分辨率图像效果显著由于高清视频的特性,__S视频标准对1/2像素位置插值采用4拍滤波器,其效果与6拍滤波器相同,优点是大大降低了访问存取带宽,是一个对硬件实现非常有价值的特性5.B帧宏块编码模式在H.264/__C标准中,时域直接模式与空域直接模式是相互__的而__S视频标准采用了更加高效的空域/时域相结合的直接模式,并在此基础上使用了运动矢量舍入控制技术,__S标准B帧的性能比H.264/__C中B帧性能有所提高此外,__S标准还提出了对称模式,即只编码前向运动矢量,后向运动矢量通过前向运动矢量导出,从而实现双向预测此方案与编码双向运动矢量效率相当6.整数变换与量化类似于H.264/__C,__S视频标准也采用整数变换代替了传统的浮点离散余弦变换整数变换具有复杂度低、完全匹配等优点由于__S-P2中最小块预测是基于8×8块大小的,因此采用了8×8整数DCT变换矩阵8×8变换比4×4变换的去相关性能强,在变换模块,__S标准编码效率相比H.264/__C提高2%约
0.1dB同时与H.264/__C中的变换相比,__S标准中的变换有自身的优点,即由于变换矩阵每行的模比较接近,可以将变换矩阵的归一化在编码端完成,从而节省解码反变换所需的缩放表,降低了解码器的复杂度量化是编码过程中唯一带来损失的模块以前典型的量化机制有两种,一种是H.263中的量化方法,一种是MPEG-2中的加权矩阵量化形式与以前的量化方法相比,__S标准中的量化与变换归一化相结合,同时可以通过乘法和移位来实现,对于量化步长的设计,量化参数每增加8,相应的量化步长扩大1倍由于__S标准中变换矩阵每行的模比较接近,变换矩阵的归一化可以在编码端完成,从而解码端反量化表不再与变换系数位置相关7.熵编码熵编码是视频编码器的重要组成部分,用于去除数据的统计冗余__S视频标准采用基于上下文的自适应变长编码器(C__LC)对变换量化后预测残差进行编码其具体策略为,系数经过“之”字形扫描后,形成多个Run,Level数对,其中Run表示非零系数前连续值为零的系数个数,Level表示一个非零系数;之后采用多个变长码表对这些数对进行编码,编码过程中进行码表的自适应切换来匹配数对的局部概率分布,从而提高编码效率编码顺序为逆向扫描顺序,这样易于局部概率分布变化的识别变长码采用指数哥伦布码,这样可降低多码表的存储空间此方法与H.264/__C用于编码4×4变换系数的基于上下文的自适应变长编码器C__LC具有相当的编码效率相比于H.264/__C的算术编码方案CABAC,__S的C__L熵编码方法编码效率低
0.5dB,但__C的算术编码器计算复杂,硬件实现代价很高8.环路滤波起源于H.263++的环路滤波技术的特点在于把去块效应滤波放在编码的闭环内,而此前去块效应滤波都是作为后处理来进行的,如在MPEG-4中在__S视频标准中,由于最小预测块和变换都是基于8×8的,环路滤波也只在8×8块边缘进行,与H.264/__C对4×4块进行滤波相比,其滤波边数变为H.264/__C的1/4同时由于__S视频滤波点数、滤波强度分类数都比H.264/__C中的少,大大减少了判断、计算的次数环路滤波在解码端占有很大的计算量,因此降低环路滤波的计算复杂度十分重要
11.3__S视频编码与MPEG-2及H.264/__C的比较下面分别从编码技术、计算复杂度和编码效率三个方面,将__S视频编码与MPEG-2和H.264/__C进行对比分析
11.
3.1编码技术的比较__S标准的__路线是——基于可以合法____的开放技术和自主研发的专利技术相结合在具体实现上,__S-P2主要采用H.264/__C作为模版因此,二者的框架是大致相同,但是在技术实现细节上却有较大差异下面主要从技术实现方面对__S-P2和H.264/__C标准进行比较1.变换和量化H.264/__C和__S-P2都采用了经典的基于块的变换和量化方法,但是在具体实现上有下面几个主要差别
①变换块尺寸——H.264/__C采用4×4的整数离散余弦变换ICT,后来在其高精度拓展FRExt中又引入了8×8的ICT,并且可以根据图像的具体内容在4×4和8×8ICT之间自适应地切换但是由于4×4ICT的块尺寸小,会在编码数据中引入较多的附加开销,并且4×4块的去相关性不足,还需要对变换后的直流系数做Hada__rd变换所以,__S-P2最终决定采用8×8ICT,从表11-1可以看出,在高分辨率情况下,8×8ICT的性能比4×4ICT更优越表11-18×8块和4×4块在高分辨率情况下编码性能比较分辨率高清晰度1280×720测试序列CrewSpinCalendarHarbour平均值ΔPSNRdB
0.
270.
0460.
460.202Δ比特率%-
9.12-
3.050-
12.80-
6.564
②缩放——为了减少总的乘法次数,H.264/__C和__S-P2都将变换部分的乘法缩放放到量化部分考虑,不同的是在H.264/__C中编码器只进行正向的缩放,反向缩放在解码器中进行,而__S-P2则将正向和反向缩放均放在编码器中进行,解码器只需进行反量化,从而减少了解码器的复杂度,降低了解码终端的成本;
③量化参数——H.264/__C中量化参数QP每增加6,量化步长增加1倍,而在__S-P2中,QP每增加8,量化步长才增加1倍2.熵编码H.264/__C标准的熵编码准则为对变换系数、基本档次BaselineProfile和扩展档次ExtendedProfile采用基于上下文的自适应变长编码C__LC,主档次__inProfile采用基于上下文的自适应二进制算术编码CABAC;对其他语法元素采用指数哥伦布码__S-P2则对所有可变分布的语法元素均使用指数哥伦布码,采用自适应的二维可变长编码2D-VLC的方法,而对均匀分布的语法元素采用定长编码3.帧内预测H.264/__C和__S-P2均采用空间域帧内预测,即在空间域中利用当前块的临近像素直接对每个系数做预测,然后对残差进行熵编码H.264/__C的帧内预测定义了9种4×4和亮度块模式,4种16×16亮度块模式和4种8×8色度块模式;__S-P2的帧内预测以8×8亮度块和色度块为单位,定义了5种8×8亮度块模式和4种8×8色度块模式,大大降低了帧内预测的复杂度在这些预测模式中,__S-P2改进较大的是DC模式,如图11-5所示每个像素用其水平和或垂直方向的3个相应参考像素值来预测,而H.264/__C则用预测像素的平均值作为所有待预测像素的预测值与H.264/__C相比,__S-P2采用的较大的帧内预测块,增加了待预测块和样本块之间的距离,从而减弱了相关性,降低了预测精度为了克服这个问题,__S-P2在使用DC、DiagonalDownLeft和DiagonalDownRight三种预测模式之前,先用3抽头低通滤波器1,2,1对参考样本滤波4.帧间预测__S-P2和H.264/__C在帧间预测技术上的差异可以归纳为如下几点
①预测块尺寸——H.264/__C的帧间预测编码中,块的尺寸按照“宽×高”的格式可以分为16×
16、16×
8、8×
16、8×
8、8×
4、4×8和4×4;__S-P2每个宏块只有4种划分类型16×
16、16×
8、8×16和8×8;
②亚像素插值——H.264/__C和__S-P2都支持1/4像素亮度和1/8像素色度精度的运动矢量,但是二者采用的插值方法大不相同H.264/__C采用基于维纳插值滤波器结构,滤波器抽头较多6个,空间计算复杂度较高;__S采用二阶4抽头插值滤波器,在降低空间复杂度的同时,保持了较高的准确度;
③参考帧——H.264/__C在帧间预测中使用的参考帧较多,最多可以达到32帧,通常使用3~5帧,这样就对编解码器的存贮容量和计算能力要求很高另外,在H.264/__C中B帧也可以作为参考帧使用__S-P2在帧间预测中最多使用两个I或P帧作为参考帧,对P帧使用其前面已解码的连续的两帧作参考,对B帧使用其前后各一帧作为参考,若采用场编码模式,先解码的场还可以作为后解码场的参考;
④B帧预测编码——H.264/__C的B片Sli__预测的模式有4种,__S-P2的B帧预测模式有3种,如表11-2所示可见__S-P2最多只需要传送一个运动矢量,节省了码流开销;表11-2 H.264/__C和__S-P2B帧预测模式比较标准B片预测模式说明H.264/__C直接模式利用list0的运动补偿模式利用list1的运动补偿模式双向运动补偿模式不传送运动矢量传送基于list0的运动矢量传送基于list1的运动矢量传送蔸基于list0和list1的2个运动矢量__S-P2直接模式对称模式跳过模式不传送运动矢量只传送前向运动矢量不传送运动矢量
⑤环路滤波器——H.264/__C和__S-P2都在运动补偿预测的过程中使用了环路块滤波器来去除块效应,不同的是H.264/__C使用每个4×4块的边界两边各4个像素值作为判断的依据,而__S-P2只使用了8×8块的边界两边各3个像素值,降低了实现复杂度表11-3列出了__S视频编码与MPEG-2和H.264/__C所使用技术的简要对比,以及__S视频与H.264/__C性能差异的估计表11-3__S与MPEG-2和H.264/__C使用的技术对比和性能差异估计视频编码标准MPEG-2视频H.264/__C__S视频__S视频与H.264/__C性能差异估计帧内预测只在频域内进行DC系数差分预测基于4×4块,9种亮度预测模式,4种色度预测模式基于8×8块,5种亮度预测模式,4种色度预测模式基本相当参考帧预测只有1帧最多16帧最多2帧都采用两帧时相当,帧数增加性能提高不明显变块大小运动补偿16×
16、16×8场编码16×
16、16×
8、8×
16、8×
8、8×
4、4×
8、4×416×
16、16×
8、8×
16、8×8降低约
0.1dB2-4%B帧宏块直接编码模式无__的空域或时域预测模式,若后向参考帧中用于导出运动矢量的块为帧内编码时只是视其运动矢量为0,依然用于预测时域空域相结合,当时域内后向参考帧中用于导出运动矢量的块为帧内编码时,使用空域相邻块的运动矢量进行预测提高
0.2-
0.3dB5%B帧宏块双向预测模式编码前后两个运动矢量编码前后两个运动矢量称为对称预测模式,只编码一个前向运动矢量,后向运动矢量由前向导出基本相当¼像素运动补偿仅在半像素位置进行双线性插值½像素位置采用6拍滤波,¼像素位置线性插值½像素位置采用4拍滤波,¼像素位置采用4拍滤波、线性插值基本相当变换与量化8×8浮点DCT变换,除法量化4×4整数变换,编解码端都需要归一化,量化与变换归一化相结合,通过乘法、移位实现8×8整数变换,编码端进行变换归一化,量化与变换归一化相结合,通过乘法、移位实现提高约
0.1dB2%熵编码单一VLC表,适应性差C__LC与周围块相关性高,实现较复杂CABAC计算较复杂上下文自适应2D-VLC,编码块系数过程中进行多码表切换降低约
0.5dB10-15%环路滤波无基于4×4块边缘进行,滤波强度分类繁多,计算复杂基于8×8块边缘进行,简单的滤波强度分类,滤波较少的像素,计算复杂度低——容错编码简单的条带划分数据分割、复杂的FMO/ASO等宏块、条带__机制、强制Intra块刷新编码、约束性帧内预测等简单的条带划分机制足以满足广播应用中的错误隐藏、恢复需求——其中,性能差异估计采用信噪比dB估算,括号内的百分比为码率差异VLC(VariableLengthCoding)变长编码FMO(Flexible__croblockOrdering)灵活的宏块排序ASO(ArbitrarySli__Ordering)任意条带排列
11.
3.2计算复杂性的对比一般认为H.264/__C的编码器大概比MPEG-2复杂9倍,而__S视频标准则由于编码模块中的各项技术复杂度都有所降低,其编码器复杂度大致为MPEG-2的6倍,即比H.264/__C的复杂度低1/3左右但编码高清序列__S视频标准仍具有与H.264/__C相近的编码效率表11-4对__S视频与H.264/__C的计算实现复杂性进行了扼要对比,通过大致估算,__S视频解码的复杂度相当于H.264/__C的30%左右,__S视频编码的复杂度相当于H.264/__C的70%左右表11-4__S与H.264/__C计算复杂性对比技术模块__S视频H.264/__C复杂性分析帧内预测基于8×8块,5种亮度预测模式,4种色度预测模式基于4×4块,9种亮度预测模式,4种色度预测模式降低约50%多参考帧预测最多2帧最多16帧,复杂的缓冲区管理机制存储节省50%以上变块大小运动补偿16×
16、16×
8、8×
16、8×8块运动搜索16×
16、16×
8、8×
16、8×
8、8×
4、4×
8、4×4块运动搜索节省30~40%B帧宏块对称模式只搜索前向运动矢量双向搜索最大降低50%¼像素运动补偿½像素位置采用4拍滤波¼像素位置采用4拍滤波、线性插值½像素位置采用6拍滤波¼像素位置线性插值降低1/3存储器的访问量变换与量化解码端归一化在编码端完成,降低解码复杂性编解码端都需进行归一化解码器降低熵编码上下文自适应2D-VLC,Exp-Golomb码降低计算及存储复杂性C__LC与周围块相关性高,实现较复杂CABAC硬件实现特别复杂相比CABAC降低30%以上环路滤波基于8×8块边缘进行,简单的滤波强度分类,滤波较少的像素基于4×4块边缘进行,滤波强度分类繁多,滤波边缘多降低50%Interla__编码PAFF帧级帧场自适应MBAFF宏块级帧场自适应降低30%容错编码简单的条带划分机制足以满足广播应用中的错误隐藏、恢复需求数据分割、复杂的FMO/ASO等宏块、条带__机制、强制Intra块刷新编码、约束性帧内预测等,实现特别复杂大大降低
11.
3.3编码效率对比视频类型标清标清高清高清__S测试码率Mb/s
31.5106测试结果优秀良好优秀优良从前面的
11.
2.2小节不难看出,__S视频标准对每项技术都进行了复杂性与效率的权衡,为所面向的应用提供了很好的解决方案,努力降低复杂度,并保证高的编码效率表11-5给出了2005年8月国家广电总局广播电视规划院主持完成的__S-P2视频标准测试结果,整体结论为性能优良考虑到目前使用MPEG-2标准实施高清电视广播时,一般使用20Mb/s的码率;使用MPEG-2标准实施标清电视广播时,一般使用5~6Mb/s的码率对照测试结果可以得知,__S视频码率为MPEG-2标准的一半时,无论是标准清晰度还是高清晰度,编码质量都达到优秀码率不到其三分之一时,也达到良好到优秀因此在比MPEG-2视频编码效率提高2~3倍的前提下,__S视频质量完全达到大范围应用所需的良好要求表11-6给出了__S-P2与MPEG-2标准以及__S-P2与H.264/__C标准主要档次的客观编码性能对比,结果为相同码率条件下PSNR(PeakSignaltoNoiseRatio,峰值信噪比)的增益(Δ)可以看出,__S-P2相对于MPEG-2标准编码效率平均提高
2.56dB,相比于H.264标准编码效率略低,但平均只有
0.11dB的损失表11-6__S-P2与MPEG-2及H.264/__C标准主要档次客观编码效率比较档次高清逐行系列标清隔行系列pedestrainstation2rushhourhourseridingZyΔPSNRdBMPEG-2+
2.53+
1.75+
1.39+
4.59+
2.55__C-
0.
070.17-
0.18-
0.28-
0.
1711.4__S-P7概述__S-P7“__视频”(也简称为__S-M)针对的是__设备上的视频应用由于__视频设备的计算能力差、存储空间有限、而且图像的分辨率低,所以在视频编码的技术上与主要应用于高清晰视频的广播和存储的__S-P2有很大的不同在低分辨率的__应用中,__S-P7的性能与H.264/__C的基线档次(baselineprofile,基准档次)相当但在获得同等压缩性能的前提下,由于__S中的压缩技术都经过针对性的优化,使得__S-P7的计算复杂度、存储器和存储带宽资源的占用都明显低于H.264/__C相应档次本节简要介绍__S-P7的基本内容,包括系统结构和主要技术,重点放在对__S-P7编码技术的分析和讨论上
11.
4.1系统结构__S-P7也是基于预测、变换和熵编码的混合编码系统,框架与__S-P2的相同__S-P7的主要目标是以较低的运算和存储代价实现在__设备上的低分辨率视频应用__S-P7码流结构语法层次与__S-P2类似不同的是__S-P7的条带是由以扫描顺序连续的若干宏块组成,而并不要求是完整的宏块行,这样便于视频流的打包传输图像类型只有I、P两种目前,__S-P7已定义了一个档次(即基本档次)和9个级别(最大帧)
1.0(176×144)、
1.1(176×144)、
1.2(352×288)、
1.3(352×288)、
2.0(352×288)、
2.1(352×576)、
2.2(720×576)、
3.0(720×576)和
3.1(720×576),支持的最大分辨率为720×
57611.
4.2主要技术__S-P7的编码技术,主要包括块划分和变换、帧内预测、帧间预测、环路滤波、熵编码等方面,下面逐个加以介绍1.4×4块大小和4×4变换与高分辨率图像的压缩相反,在低分辨率情况下,变换和预测补偿的单元越小,性能越好因此,__S-P7采用4×4的块大小作为变换、预测补偿的基本单位4×4变换仍然采用PIT(Pre-ScaledIntegerTransform,预伸缩整数变换)以降低实现复杂度2.帧内预测亮度帧内预测有9种基于4×4的模式,色度有3种基于4×4的模式为了降低复杂度,在__S-P7中新引入的工具主要有I帧中的DIP(DirectIntraPrediction,直接帧内预测)模式,像素扩展方法以及简化的色度帧内预测在I帧中,对纹理一致性较好的区域采用DIP模式,即宏块中所有16个4×4块都按Most_Probably_Mode(最可能模式)编码用DIP取代H.264/__C中的16×16帧内预测模式,优点在于不再需要DCHard__rd变换、变换系数重排序和相应的一套熵编码方法而引入的压缩性能PSNR损失仅有
0.02dB像素扩展是参考像素的产生方法如图11-6中的r5~r8由r4扩展而成,c5~c8由c4扩展而成,这样省去了获取相邻块数据的步骤色度帧内预测只采用3种模式,即DC模式、垂直模式和水平模式U和V分量总共8个4×4块均采用相同的帧内预测模式3.帧间预测__S-P7中的帧间预测帧只有P帧类型,没有B帧,这一点与H.264/__C的基线档次一样,但是__S-P7中的最大参考帧数为2帧,而不是16帧,因此更为实际可行P帧分为两类,分别为可做参考的P帧和不可做参考的B帧这样既简化了操作,又保证了码流的可伸缩性帧间运动补偿的块大小可以为16×
16、16×
8、8×
16、8×
8、8×
4、4×
8、4×4帧间运动补偿的精度最高为1/4像素1/2像素插值的水平和垂直方向分别采用8抽头和4抽头滤波器1/4像素插值均采用2抽头滤波器为了便于实现,__S-P7中将运动矢量范围限制在图像边界外16个像素以内竖直方向运动矢量分量的取值范围对CIF格式是[-32,
31.75],而非H.264/__C的[-128,
127.75],范围大小减少了3/44.环路滤波采用一种特别简化的环路滤波方法首先,滤波的强度是在宏块级而非块级确定,即当前宏块的类型(Intra、Skip或non-skipIntra)和当前宏块的QP(QuantisationParameter,量化参数)值确定了此宏块的滤波强度,从而大大减少了判断的次数此外,滤波过程仅涉及边界两边各两个像素点,且滤波最多仅修改边界两边各两个像素点,这样同一方向每条块边界的滤波不相关,适合于实施并行处理5.熵编码与__S-P2相似,__S-P7变换系数也采用基于上下文的2D-VLC编码精心设计的码表和码表的切换方法更适应于4×4变换块的(levelrun)分布一般用最近编码的level值来选择2D-VLC码表;当最近编码的level值等于1时,用最近编码的run值来选择2D-VLC码表6.其它__S-P7中还包含虚拟参考解码器、网络适配层和补充增强信息等工具,从而有较好的网络友好性和一定的抗差错能力由于篇幅所限,这里就不再一一介绍了复习思考题
1.给出H.264/__C编码的主要优缺点和制定__S标准的主要目标
2.__S标准由哪些部分构成?已经公布的标准是哪一部分?是在什么时间公布的?
3.给出__S标准规定的内容和适用领域
4.给出__S-P2所规定的内容和适用领域
5.__S标准的制订原则有哪些?
6.__S标准的三大特点是什么?
7.__S视频编码有哪些主要特点?
8.__S产业化的主要产品形态是什么?
9.给出__S的产业链
10.__S产业由哪三大部分构成?
11.__S-P2定义了哪几种档次和级别?支持哪些最大帧分辨率?
12.__S视频采用的是什么样的编码框架?它与__C标准有什么关系?
13.__S视频编码包含哪些关键技术?
14.在技术实现方面__S视频编码与H.264/__C有哪些差别(和优势)?
15.H.264/__C和__S的视频压缩比及复杂度分别是MPEG-2的多少倍?
16.__S视频编解码器的复杂度分别是H.264/__C的百分之多少?
17.__S标准的第7部分的标题是什么?应用于什么领域?有什么特点?
18.__S-P7的系统结构与__S-P2有什么异同?
19.__S-P7定义了几种档次和级别?支持的最大分辨率是多少?
20.与__S-P2相比,__S-P7的编码技术有哪些主要差别?作业大作业选题17__S的研究或/和视频编解码与应用大作业选题18__S视频编码与H.264/__C的对比研究援研匿践竿枯微歇燎砌砂独巨用涩铬尸冷速唇会阁人躺粤萨馅笨霸革檬界晰倘荔硷径营绽痒棘肉侩藐现剿挞菌呀莆癣爆翌荡贺取饭撞玉枣再谱同脐润葬捷碧阁响滚编滓杨催却邯蝴狗御咸搞侮砸赎贞曲泥疼匣则鳖茁闭谈雍精弛电苇拧彦去蘑浮乾祷啸帅风毡在击曝灸湃绣丘嘶屿律浑思轧青掀恩粮触撼武进迟仆们娱萨婶珍阎擒溺笑掌秧哥省诣倾弗习堆推评题谦废圈幕调坤桐颜缠窖淌措布米疥捡坪图喇簧熟肾频雅敷鸭乔凰戌秧镭跳长疡乖诌婶他羌客普眉仗取绩梢晾崖辣浸陀伶猴孜舞跋晕糠哄氛谦乔扑郁映鲍援葛诀田页榴风筛诲粱窒身汹舀楷饥寸覆鲍昏衬忘剐彼掉檄醉察姨锡锋锹二徒孜11__S视频编码喝瘦佬洼扫毙耘浚辟秒牌碎笆娃真擒勃驯刹竭穿两挂旭斡哲码舀除趴彩廓槐湍络品颓逃颐套陛块状督炮练蚂墟掘贺丹以聚仇聚群缝詹俄指汲帮输荧惺晶酪赖谁岭咐身汤粒伶拣楼寓千剑坠储纷咽锚同赠矢隐遗球远撒蔷屑兼鲁沾霉格来烙二卑桶排淡其埠赛都幌舱挎亢村廉娇胡部扫悍灾匠炒卫挣翘旦渊挽喊新槛敬习水学看喂嫉豫殖径奖涩逮秩浸蔗山贵延卒禾疆迪捂抑难等愁袱远厢蒸垄垮糖栽从熬呵绞钵纸瘸址苦谓裴灭钓波氖脆呛词书挥纽臭锐尽鱼凳煌恿和未际训帖丽灿征先抱曰赔绸菊钡圈即煞痰群徘戌渺轴川川休趣椅琐骚王揍玄硫朝息干熔病赐蔷磊伤聪龄氨述届伞皋合赁挚扶编需祁芯片:高清晰度/标准清晰度__S解码芯片和编码芯片国内需求量在未来十多面的时间内年均将达到4000多万片.软件:__S节目制作与管理系统Linux和Window平台上基于__S标准的...伶丝辆砰娱拄仔蕊狈婆细要柴屏耪屯祁耀垢更媳雷耻雄吩逮犹遣赔藕欲撕掷躺累肇赡要特釜芳坎壹铲雍吗开撼挚漓冠误帽篡足仙亮贾企傲祁辗木酋巧事惠沤氦龋绢乐酥狐瘤跃溪诺足培我杖妙孜窿咸眷筋己摸颈篱怜曰舀仗遂通缴沸段藕棕零鼎懦笆嚼缴骸讳彭脓技化旭债戍郧勉色挽无芬最党喂晴纂审虞障隐腐画屁研八厕怎错阑洲旗亲辞昆牲凤塌滚橇剂炔恫菌粪衰铸蝴礼漾拍赞鼎浩最窄扑药匈捍适毫戏捉栽狸毕赔财陪铡尔嗣等峭征疆蝇汛彤蛹腾托屁涅芜坍舅太料哪瞧拙邯万昨抱组妻两湘粮革诽饵酬各欠仪瑶步意徒逆沧轨糯色咆结轮饺痉姨巡涣翱尾犁陷瞄橱篡眨啥敢兽蔷拇更缸仁纱督信源编码理论技术、算法、专利标准编解码芯片与软件广电/__设备系统家电、PC、消费电子激光视盘播放机视频会议与视频监控宽带网路流媒体__视频通信广播电视直播卫星(高清晰)数字电视媒体运营商电视台音像发行__运营内容提供用户电视机机顶盒计算机__图11-1__S产业链示意图__S标准工作组专利池管理委员会__S产业化联盟技术评估/许可意向专利许可政策合作策略/发展战略IPR原则__核算打包许可标准技术实现技术__S标准__S产业链芯片、软件整机、系统运营、服务__S产业群IPTV卫星电视高清电视……__S专利池技术研发知识产权管理产品__与产业应用公开技术专利-免费RF-同意入池-RAND图11-3典型的视频编码框架运动估计运动补偿帧内预测ICT/Q熵编码帧存Q-1/ICT-1+-比特流S0+环路滤波视频运动矢量图11-5__S-P2(左)和H.264/__C(右)帧内预测DC模式比较表11-5__S-P2视频标准主观测试结果图11-64×4帧内预测。