还剩33页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
第二章信源及信源熵2-142-22-32-42-51221共两种166125523443共六种2-60—14个1---13个2----12个3---6个P=I=2-72-8“-”用三个脉冲“●”用一个脉冲1I●=I-=2H=
2.92P黑/黑=P白/黑=HY/黑=3P黑/白=P白/白=HY/白=4P黑=P白=HY=2-101H色=2P色数=H色数=3H数/色=H色数-H色=2-111HXY=2P=得到HY=3HX/Y=HXY-HY=2-121232-13Pi=Pij=HIJ=2-141Pij=Pi/j=2方法1:=方法2:2-15Pj/i=2-1612设最后平稳概率为W1W2得W1=07W2=
0.3HY/黑=HY/白=HY/X=W1HY/黑+W2HY/白=2-17122-241HX=2=32-25解方程组即解得W1=
0.4W2=
0.62-26Pj/i=解方程组求得W=2-27求平稳概率符号条件概率状态转移概率解方程组得到W=2-281求平稳概率Pj/i=解方程组得到2信源熵为:2-29Pj/i=解方程组得到W1=W2=W3=2-30Pi/j=解方程组得W1=W2=W3=信源熵为2-31PX1=Pj/i=PX1X2=
(1)a.b.求HX2/X1有两种方法方法1方法2HX2/X1=∑Px1x2logx2/x1=c.求HX3/X2PX2=则方法1PX3/X2=++=方法2PX3/X2=d.最后=
(2)首先求解稳定情况下的概率解方程组得到W1)+W2+W3=3不做2-321Pj/i=求解方程组得p0=p1=p2=23HX=log3=
1.584=P=当p=时达到最大值
1.58当时当时2-331解方程组:得p0=p1=p2=23当p=0或p=1时信源熵为0第三章无失真信源编码3-13-21因为ABCD四个字母每个字母用两个码每个码为
0.5ms所以每个字母用10ms当信源等概率分布时信源熵为HX=log4=2平均信息传递速率为bit/ms=200bit/s2信源熵为HX==
0.198bit/ms=198bit/s3-3与上题相同3-51HU=2每个信源使用3个二进制符号出现0的次数为出现1的次数为P0=P1=34相应的香农编码信源符号xi符号概率pi累加概率Pi-Logpxi码长Ki码字x11/20110x21/
40.52210x31/
80.7533110x41/
160.875441110x51/
320.9385511110x61/
640.96966111110x71/
1280.984771111110x81/
1280.9927711111110相应的费诺码信源符号xi符号概率pi第一次分组第二次分组第三次分组第四次分组第五次分组第六次分组第七次分组二元码x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110
(5)香农码和费诺码相同平均码长为编码效率为3-7
(1)pi=累加概率为Pi=累加概率分别为符号x1x1x2x3x4x5x6x7…概率1/21/41/81/161/321/641/1281/256…累加概率
00.
50.
750.
8750.
9380.
9690.
9840.992…码长12345678二元码010110111011110111110111111011111110…
(2)信源的信息量为平均码长为码字的平均信息传输率为R=bit/码
(3)编码效率R=100%3-10
(1)HX=
(2)信源符号xi符号概率pi编码过程编码码长x
10.
370.
370.
370.
380.621002x
20.
250.
250.
250.
370.38012x
30.
180.
180.
200.25112x
40.
100.
100.181003x
50.
070.1010104x
60.03101143-11
(1)信源熵
(2)香农编码信源符号xi符号概率pi累加概率Pi-Logpxi码长Ki码字x
10.
3201.644200x
20.
220.
322.1843010x
30.
180.
542.4743100x
40.
160.
722.6443101x
50.
080.
883.64441110x
60.
040.
964.644511110平均码长编码效率为
(3)费诺编码为信源符号xi符号概率pi1234编码码长x
10.3200002x
20.221012x
30.1810102x
40.16101103x
50.081011104x
60.04111114平均码长为编码效率
(4)哈夫曼编码信源符号xi符号概率pi编码过程编码码长x
10.
320.
320.
380.
400.601012x
20.
220.
220.
320.
380.40102x
30.
180.
180.
220.32112x
40.
160.
160.180003x
50.
080.1200104x
60.0400114平均码长为编码效率3-12
(1)信源熵信息传输速率
2.552bit/s2信源符号xi符号概率pi编码过程编码码长x
10.
40.
40.
40.
40.
40.
40.611x
20.
180.
180.
180.
190.
230.
270.40013x
30.
10.
10.
130.
180.
190.230113x
40.
10.
10.
10.
130.1800004x
50.
070.
090.
10.101004x
60.
060.
070.0901014x
70.
050.06000105x
80.040001153香农编码信源符号xi符号概率pi累加概率Pi-Logpxi码长Ki码字x
10.
401.322200x
20.
180.
42.4743011x
30.
10.
583.32241001x
40.
10.
683.32241010x
50.
070.
783.83741100x
60.
060.
854.059511011x
70.
050.
914.322511101x
80.
040.
964.644511110平均码长:4费诺编码信源符号xi符号概率pi码码长x
10.400002x
20.181012x
30.11001003x
40.111013x
50.0710011004x
60.06111014x
70.051011104x
80.041111143-14信源符号xi符号概率pi编码过程编码码长x11/31/31/31/31/32/3002x21/31/31/31/31/31/3012x31/91/91/92/91/31003x41/91/91/91/91013x51/272/271/91113x61/271/2711004x71/2711014第四章限失真信源编码4-1失真矩阵为4-2信源熵为Dmax=min{}RDmax=0Dmin=0RDmin=R0=HX=log4=2只要满足py1+py2+py3+py4=1在
[01]区间可以任意取值第五章信道编码5-15-21接收端的不确定度为:2HY/X==3=0得到得5-30919*1000=919bit/s5-515-61条件概率,联合概率,后验概率,,
(2)HY/X=
(3)当接收为y2,发为x1时正确,如果发的是x1和x3为错误,各自的概率为Px1/y2=,Px2/y2=,Px3/y2=其中错误概率为Pe=Px1/y2+Px3/y2=
(4)平均错误概率为
(5)仍为
0.733
(6)此信道不好原因是信源等概率分布,从转移信道来看正确发送的概率x1-y1的概率
0.5有一半失真x2-y2的概率
0.3有失真严重x3-y3的概率0完全失真
(7)HX/Y=――――――――――――――――――――――――――课外习题1.设某信道,其信道矩阵为若信道的输入符号a1a2a3先验等概,
(1)若使平均错误译码概率最小请选择译码函数
(2)求出此错误译码概率Pemin解1因为先验等概所以选择最大似然译码准则Fb1=a1Fb2=a3Fb3=a22Pemin=
2.有二进制对称信道p=
0.01=
0.991采用最大似然译码准则确定译码函数2求出最小平均错误译码概率3对该信道进行扩展采用简单重复编码,000111采用最大似然译码准则确定译码规则4求出扩展后的最小平均错误译码概率5求出扩展后的信道传输率解
(1)Pj/i=译码函数为Fb1=a1,Fb2=a22Pemin=
0.01+
0.01/2=
0.013译码函数Fβ1=Fβ2=Fβ3=Fβ4=000=α1Fβ5=Fβ6=Fβ7=Fβ8=000=α2
(4)平均错误最小概率为
(5)R==3.αi,βj是两个码符号{01}组成的符号序列,求αi,βj之间的汉明距离解Dαi,βj=4.W:{000001010100011110101111}的最小汉明距离解Dmin=15.设有一离散信道,其信道矩阵为1当信源X的概率分布为pa1=2/3,pa2=pa3=1/6时,按最大后验概率准则选择译码函数,并计算其平均错误译码概率Pemin2当信源是等概率是分布时,选择最大似然译码准则选择译码函数,并计算其平均错误译码概率Pemin解1联合概率后验概率根据最大后验概率准则Fb1=a1,Fb2=a1,Fb3=a1最小错误译码概率为2当信源是等概率分布时采用最大似然译码准则Fb1=a1,Fb2=a2,Fb3=a36.设离散无记忆信道的输入符号集X:{01},输出符号集Y:{012},信道矩阵为P=若某信源输出两个等该消息x1,x2,现在用信道输入符号集对x1,x2进行编码,W1=00,W2=11代表x1,x2按最大似然准则写出译码函数,并求出最小平均错误译码概率Pemin解1选择译码函数Fb1=Fb2=Fb3=Fb4=Fb7=x1Fb5=Fb6=Fb8=Fb9=x237.设分组码(nk)中,n=6,n=3,并按下列方程选取字中的码字求信息序列a1a2a3变换成六位的八个码字,并求出编码效率解信息序列码字a1a2a3c1c2c3c4c5c6000000000001001011010010101100100110011011110101101101110110011111111000编码效率白黑11白黑1/2S11/31/31/22/3S3S22/3。