还剩4页未读,继续阅读
文本内容:
《多媒体技术》期末复习要点1多媒体的概念和特点概念多媒体是融合两种或两种以上的人■机交互式信息交流和传播媒体特点数据量大和传输速率高因特网因特网是通过网络设备把世界各国使用TCP/IP协议的计算机相互连接在一起的计算机网络,是世界上规模最大,用户最多的计算机网络万维网World WideWeb是在因特网上运行的全球性分布式多媒体信息系统四个核心部分超文本传输协议HTTP,文档格式标准,执行HTTP协议的Web浏览器,执行HTTP协议的Web服务器2多媒体数据压缩与编码为什么要压缩多媒体数据具有数据量大和数据率高的特点,压缩数据的目的就是要降低多媒体数据对存储器容量和传输宽带的要求,减少宝贵资源的消耗有损压缩有损压缩是压缩后的数据进行重构(也称还原或解压缩),重构后的数据与原来的数据有所不同,但不影响人对原始资料表达的信息造成误解的数据压缩技术无损压缩无损压缩是压缩后的数据进行重构,重构后的数据与原来数据完全相同的数据压缩技术端编码不考虑数据源的无损数据压缩技术,端编码的核心思想是按照符号出现的概率大小给符号分配长度合适的代码,对常用的符号分配长度较短((即位数较少)的代码,对不常用的符号给它分配长度较长的的代码最常见的有霍夫曼编码和算术编码源编码考虑数据源特性的数据压缩技术,编码时考虑信号源的特性和想信号的内容,因此也称“基于语义的编码:例如,图像编码考虑相邻像素的值可能完全相同或相近,视像相邻帧之间的变化不大,也可能完全相同,为获得比较大的压缩比,源编码通常采用有损数据编码技术3多媒体内容处理数据(data)是以数字、字符或图像等可读语言或其他记录方法表示的事实、概念或计算机指令,适用于人或自动装置进行通信、解释或处理,数据本身没有意义,通常要在一定的语义环境中才有意义内容(content)通常是指用户可在网络上得到的任何资源,包括网页、文献、图书、图像、影视、音乐和软件信息(information)是数据的含义知识(knowledge)是在某个感兴趣领域中的事实、概念和关系从广义上来说,知识就是人们在改造世界过程中所获得的认识和经验的总和智慧(wisdom)是知识累积后产生的洞察力、判断力和发明创造能力从DIKW至I」DCIKW4数字声音编码声音是什么声音是听觉器官对声波的感知音频20—20000Hz话音300—3400HZ声音信号数字化有两个步骤,采集和量化采集就是每个一段时间间隔读一次声音的幅度,量化就是把采集的到的声音信号幅度转化成数字值脉冲编码调制(PCM)自适应脉冲编码调制(APCM)是根据输入信号幅度大小来改变量化阶大小的一种波形编码技术这种自适应可以是瞬时自适应,即量化阶大小每隔几个样本就改变;也可以是音节自适应,即量化阶的大小在较长时间周期里发生变化差分脉冲编码调制(DPCM)是利用样本与样本之间存在的消息冗余来进行编码的一种压缩技术思想是根据过去的样本去估算下一个样本信号的幅度大小,这个值称为预测值,然后对实际信号值与预测值之差进行量化编码,从而减少了表示每个样本信号的位数5彩色数字图像基础颜色是视觉系统对可见光的感知结果,可见光是波长在380〜780nm之间的电磁波分辨率有两种屏幕分辨率和图像分辨率屏幕分辨率也称为显示分辨率,它是衡量显示设备再现图像时所能达到的精细程度的度量方法,写成“水平像素数*垂直像素数”图像分辨率是图像精细程度的度量方法图像分辨率与屏幕分辨率是两个不同的概念从行列像素角度看,图像分辨率是构成一幅图像的像素数目,而屏幕分辨率是显示图像的区域大小像素深度像素深度是指存储每个像素所用的位数灰度图灰度图是只有明暗不同的像素而没有彩色像素组成的图像伽马Y校正为补偿显示设备非线性的显示特性而采用的校正技术6颜色的度量体系牛顿色圆牛顿认识到了每一种颜色和它相邻颜色之间的关系,把红色和紫色首尾相接就形成一个圆,牛顿颜色圆用圆周表示色调,圆的半径表示饱和度颜色颜色是人的视觉系统对可见光感知的结果,感知到的颜色由光波的频率决定色调又称色相,指颜色的外观,用于区别颜色的名称或颜色的种类红橙黄绿蓝靛紫饱和度是相对于明度的一个区域的色彩,是指颜色的纯洁性,它可以用来区别颜色明暗的程度亮度明度是视觉系统对可见物体发光多少的感知属性,亮度是用来反映视觉特性的光谱敏感函数加权之后的到的辐射功率颜色空间颜色空间是表示颜色的一种数学方法,人们用它来指定和产生颜色,使颜色形象化HSB颜色空间颜色的度量体系也叫做颜色制或颜色体制,实际上就是人们组织和表示颜色的方法,主要方法有两种一种叫做颜色模型,颜色模型是用简单方法描述所有颜色的一套规则和定义RGB HSBCMYK是颜色模型最普通的例子;另一种叫编目系统,它是给每一种颜色分配一个唯一的名称或者一个号码7颜色空间变换从颜色感知的角度分类⑴混合型颜色空间按三种基色的比例合成颜色如RGB CMYK和XYZ⑵非线性亮度/色度型颜色空间用一个分量表示非色彩感知,用两个独立的分量表示色彩的感知如L*a*b、L*u*v⑶强度/饱和度/色度型颜色空间用饱和度和色度描述色彩的感知,可使颜色的解释更直观,而且对消除光亮度的影响很有用如HSI、HSV从技术角度分类⑴RGB型颜色空间/计算机图形颜色空间主要用于电视机和计算机的颜色显示系统,如RGBHISHSV2XYZ型颜色空间/QE颜色空间由国际照明委员会定义,通常作为国际性的颜色空间标准,用作颜色的基本度量方法3YUV型颜色空间/电视系统颜色空间由广播电视需要的推动而开发的颜色空间,如YUV计算机图形颜色空间RGB CMYCMYK HSVHSL/HSB设备无关的颜色空间CIE XYZCIELAB CIELUVBT.601BT.709CIExyY电视系统颜色空间European YLTV用于欧洲的模拟彩色电视PAL和SECAM AmericanYTQ1用于北美的模拟彩色电视系统NTSQ SMPTE-C是美洲当前使用的广播电视颜色标准,TU-R BT-601YCbCr简写为YtbCr由YUV派生的颜色空间,用于普通的数字电视ITU-R BT.709YCbCr国际无线电咨询委员会CQR于1988年制定的标准,用于高清晰度电视HDTV演播室的电视制作8数字电视基础电视电视可理解为捕获、广播和重现活动图像和声音的远程通信系统电视制电视制是传输图像和声音的方法三种彩色电视制式的特点⑴NTSC:图像的宽高比为4:3,525条扫描线,隔行扫描,30帧每秒,视像带宽
4.2MHz,使用YIQ信号,色度信号用正交幅度调制,声音用调频制FM,总的电视通道带宽6MHz o⑵PAL图像的宽高比为4:3,625条扫描线,隔行扫描,25帧每秒,视像带宽至少为4MHz,使用YUV颜色模型,色度信号用正交幅度调制,声音用调频制(FM),总的电视通道带宽8MHzo⑶SECAM:SECAM制与PAL制具有相同的扫描线数、帧频和图像宽高比,视像带宽最高为6MHz,总带宽8MHz电视图像数字化方法有两种⑴首先把模拟的全彩色电视信号分离成YCbCr、YUV、YIQ或RGB彩色空间中的分量信号(先从复合彩色电视图像中分离出颜色分量),然后用三个A/D转换器分别对它们数字化⑵首先用一个高速A/D转换器对彩色全电视信号进行数字化,然后在数字域中进行分离,以获得所希望的YCbCr、YUV、YIQ或RGB分量数据CIF电视图像格式:Common IntermediateFormat的缩写,可称“公用中间分辨率格式”;CCITT规定的格式,用于625行和525行的电视图像图像子采样对彩色电视图像进行采样时,可采用两种采样方法对亮度信号和色差信号采用相同的采样频率进行采样对亮度信号和色差信号采用不同的采样频率进行采样图像子采样的概念对色差信号使用的采样频率比对亮度信号使用的采样频率低的采样方法数字电视数字电视是用数据压缩技术和数字和数字传输技术的远程通信系统,与模拟电视相比,它提供的图像和声音的质量都比较高,图像使用MPEG-2Video标准,声音使用MPEG-2Audio或杜比数字(Dolby Digital)标准模拟电视有NTSC、PAL和SECAM三种主要标准,数字电视也有三种主要标准美国的ATSC DTV(ATSC数字电视)标准欧洲的DVB(数字电视广播)标准日本的ISDB(综合业务数字广播)标准数字电视图像格式HDTV概念:高清晰度电视(high definitiontelevision,HDTV)是具有正常视力的观众可得到与观看原始景物时的感受几乎相同的数字电视通常认为,在观众与显示屏之间的距离等于3倍显示屏高度的情况下就可获得这种感受HDTV特点HDTV屏幕的宽高比均为16:9;电视画面可用1920X1080像素和1280X720像素两种尺寸;扫描方式为隔行扫描或逐行扫描SDTV特点垂直分辨率均为480;隔行扫描,刷新频率均为30MHz宽高比为4:3或16:99MPEG概要Moving PictureExpert Group的缩写,1988年5月由国际标准化组织(ISO)和国际电工委员会(IEC)联合成立的专家组MPEG-11992年发布的数字电视标准,主要用在Video CD(VCD),MP3(MPEG-1Layer3等产品MPEG-21994年发布的数字电视标准,主要用在DVD,ATSC,DVB,ISDB等数字电视标准以及数字电视机顶盒等产品MPEG-41999年发布的多媒体应用标准,主要应用在多媒体通信、数字电视和人机互动系统等产品中现改称为“视听对象编码”标准MPEG-72001年发布的多媒体内容描述接口标准,用于描述和搜索视听内容MPEG-212000年启动开发的多媒体框架Multimedia Framework标准,试图描述多媒体的元数据metadata,用于全球多媒体对象的集成、创建、使用、管理和传送等操作,便于不同人群在异构网络环境下使用各种多媒体资源,它的目标是为未来多媒体的应用提供一个完整的平台10MPEG视像视像数据的冗余数据之所以能被压缩,主要是视像数据中存在大量的冗余数据时间冗余temporal redundancy与时间相关的冗余在某个时间间隔上出现场景相同或基本相同的连续帧时,帧与帧之间存在大量的冗余数据空间冗余spatial redundancy与空间位置有关的冗余在单帧图像中,相邻像素的值常有相同或变化不大的情况,可用较少数据表达结构冗余structural redundancy图像自身构造的冗余若从宏观上来看一帧图像,有些图像存在相同或类似的结构,如用地板图案构成的图像视觉冗余vision redundancy与视觉系统有关的冗余对图像的亮度变化敏感而对颜色变化不敏感,对剧烈变化区域敏感而对缓慢变化区域不敏感,对图像的亮度和颜色的分辨率都存在极限知识冗余knowledge redundancy与知识有关的冗余在单帧图像中含有为人熟知的知识,称为先验知识例如,正面人头像有相对固定的结构,眼睛下方是鼻子,鼻子下方是嘴,嘴和鼻子均位于脸的中线上这类规律性的结构往往不会改变或变化不大,而用传统方式录制的视像数据中存在许多重复的数据知识是某个感兴趣领域中的实事、概念和关系数据冗余data redundancy数据本身的冗余视像数据本身存的冗余MPEG专家组定义了三种类型的图像,然后采用三种不同的算法分别对它们进行压缩帧内图像I intra-picture,简称为I图像或I帧I-picture/I-frame包含内容完整的图像,用于为其他帧图像的编码和解码作参考,因此也称为关键帧预测图像P predictedpicture,简称为P图像或P帧P-picture/P-frame指以在它之前出现的帧内图像I作参考图像的图像,对预测图像P进行编码就是对它们之间的差值进行编码双向预测图像B bidirectionally-predictive picture,也称双向插值图像Bbidirectionally-interpolated picture,简称为B图像或B帧B-picture/B-frame以在它之前和之后的帧图像I和P作参考的图像,对B进行编码就是对帧内图像I和预测图像P的差值分别进行编码。