还剩6页未读,继续阅读
文本内容:
解152张扑克牌可以按不同的顺序排列,所有可能的不同排列数就是全排列种数,管=52!”
8.066x167因为扑克牌充分洗乱,任一特定排列出现的概率相等,设事件A为任一特定排列,则其发生概率为—24x10—6852!可得,该排列发生所给出的信息量为1A=-log2P^=log252!x
225.58B
67.91dit2设事件B为从中抽取13张牌,所给出的点数互不相同扑克牌52张中抽取13张,不考虑排列顺序,共有0;;种可能的组合13张牌点数互不相同意味着点数包括A,2,…,K,而每一种点数有4种不同的花色意味着每个点数可以取4中花色所以13张牌中所有的点数都不相同的组合数为4因为每种组合都是等概率发生的,所以PB=二=1犯例
1.0568X10-4\52!则发生事件B所得到的信息量为134/5=-logP5=-log2—«
13.208J bit«
3.976dit1红色球和白色球各50只;2红色球99只,白色球1只;3红,黄,蓝,白色各25只求从布袋中随意取出一只球时,猜测其颜色所需要的信息量解猜测木球颜色所需要的信息量等于木球颜色的不确定性令R——“取到的是红球”,W——“取到的是白球”,Y——“取到的是黄球”,B——“取到的是蓝球”1若布袋中有红色球和白色球各50只,即.火=-例=空」v7v71002/⑻=/M=-Iog21=log22=1则2bit2若布袋中红色球99只,白色球1只,即go iP(R)=——=
0.990(少)=——=
0.01v7100v7100I(R)=-log2P
(7)=-log
20.99=
0.0145I(W)=-log2P(fF)=-log
20.01=
6.644bit
(3)若布袋中有红,黄,蓝,白色各25只,即751P(R)=P(Y)=P(B)=P(W)=-=-/⑻=/(y)=/
(8)=/)=—k)g2;=2bit=-(
0.21og
20.2+
0.191og
20.19+
0.181og
20.18+
0.171og
20.17+
0.161og
20.16+
0.171og
20.17)2,657bit/symbol6—ZP(x,)l°g2P(X1)lo§26=
2.5856ZP(xJ=l.07l不满足极值性的原因是,,不满足概率的完备性证明方法一要证明不等式〃(乙丫,力一〃8丫)“传/)一”(如成立,等价证明下式成立“(X,y,Z)—H(X,Y)-H(X,z)+H(x)0根据端函数的定义二一2Z Z PX产Jo欧5歹产J+Z Z Z P x%z JogpkxX Y Z X Y Z+ZZ EP七歹产jio印gk—ZEZP七匕z jo印%zX Y Z XY Z«loge-ZZZ”“A半坐牢-1信息论不等式X yZ[小匕zj玉_=bge[xZX“YF4-ZEIA XY ZP\Xi XYZ=log e・Z XZP匕区Px/lO Z“产J_XYZ XYZ.=loge-l-l二0所以HX,Y,Z-HX,YHX,Z-H X等号成立的条件为夕天匕%A=p x,.p[必Z*得证方法二因为HXYZ=HXY+HZ\XY HXZ=HX+HZ\X所以,求证不等式等价于HZ|XYHZ|X因为条件多的燧不大于条件少的嫡,上式成立,原式得证--I z=0z=1Li=71PZ--L」8821711\H亿=WZJ=—jjbg8+押J=
0.544b/symbol由Mxz=MxPz|x得px=0,z=0=px=0pz=0x=0=-x1=-22px=0,z=1=px=0pz=lx=0=--0=0423px=1,z=0=px=1pz=0x=1=px=1py=0|x=1=px=\,y=0=—8px=l,z=1=px=lpz=1x=l=px=1py=1^=1=夕x=Ly=1=-8「
113311、.〃AZ=OXA=——log—I—log—I—log—=
1.4066/symbol由对称性可得、228888,HYZ==\A06bt/symbol由乎=pxypz\xy,乂9z回或者等于1,或者等于
0.px=0,y=0,z=0=px=0/=0pz=0x=0/=0=px=0,y=0・1=—8px=0/=0,z=1=px=0,y=0pz=lx=0,y=0=-0=08px=0,y=1,z=0=px=0,y=1pz=0x=0,y=l=px=0,y=1・1=3px=0,y=l,z=1=px=0,y=1pz=1,=0,y=1=-0=08px=1,y=0,z=0=px=1,y=0pz=0x=l,y=0=px=l,y=0-1=3px=1,y=0,z=1=px=\.y=0pz=1]x=1,y=0=-0=08px=\.y=l,z=0=px=\,y=lpz=0x=1/=1=-0=08Px=l,y=l,z=1=px=l,y=lpz=\\x=l,y=i=px=1,歹=1・1=1o・・・HXYZ=—产J=log^Cx^/J iJ k1133331n=--log—+—log—■I-—log—+—log—=
1.811bit!symbol
8888888811333311、z、-log-+-log-+-log-+-log-=
1.Sl]bit/symbol HX1=_8,88*8,88W ZHX/y=H打_H⑺=L8UT=0・811m/S”儿/根据对称性,Hy/X=HX|y EMBED Equation.3=
0.81\bit Isymbol H(X/Z)=H(AZ)_H(Z)=
1.406-
0.544=
0.8626〃/symol H(Z/X)=H(AZ)H(X)=
1.406-1=
0.4064symol根据对称性,H(丫/z)=H(X/z)EMBED Equation.3=0月62m/symbol H./丫)=H亿/X)EMBED Equation.3=°46m/symol H(x/)=H(ATZ)_H(yZ)=
1.811-
1.406=
0.405b/symol根据对称性,把X和Y互换得H(y/AZ)=H(X/yZ)EMBEDEquation,3=°-405^zZ1symbol H(z/AT)=H(ATZ)_H(AT)=
1.811-
1.811=Obit/symol
(3)I(X;Y)=H(X)-H(X/Y)=l-Q.81l=0AS9bit/symbol I(X;Z)=1-
0.862=0A3Sbit/symbol根据对称性,得I(Y;Z)=I(X;Z)=0A38bit/symbol/(X;Y/Z)=(X/Z)一〃(X/EZ)=
0.862—
0.405=
0.4576”/symbol I(Y;Z/X)=H(Y/X)-H(Y/XZ)=Q^\l-0A05=0A06bit/symbol根据对称性得/(X;Z/y)=/(y;Z/X)=0A06bit/symbol A B CP(E)1/21/31/6D1/43/101/6E1/41/51/2plyjxj F1/41/51/6G1/43/101/6Max)ABC DE FG1/81/101/361/81/151/121/81/151/361/81/101/36Hx,y=—logMx/y=
3.415比特/扩展消息AT
2.19设某离散平稳信源X,概率空间为01211/364/91/4并设信源发出的符号只与前一个相邻符号有关,其联合概率为如下表所示:%P%%01201/41/180%11/181/31/18201/187/36求信源的信息焙、条件焙与联合烯,并比较信息燧与条件端的大小解边缘分布为条件概率Ma,/4)=PS/,)/P(*如下表:ai P(a」aJ01209/111/80%12/113/42/9201/87/9所以信源熠为工1141X=一£24log二〃以天=L542bit/symbol/=13694条件廊33H X21X、=pci jCiJ\og paIa J曰j=\=HX\+HXjX\=
0.87bit/sym ol可知因为无条件燧不小于条件焙,也可以得出如上结论联合焙33EEM%piogp(也)i=l1=〃因)+〃(乙/乂)=
2.41加〃二个符号说明
(1)符号之间的相互依赖性造成了信源的条件烯“(X2/XJ比信源端(X)少
(2)联合端表示平均每两个信源符号所携带的信息量平均每一个信源符号所携带的信息量近似为H2(X)=-H(XX,X2)=
1.205符号”(X)原因在于“2(X)考虑了符号间的统计相关性,平均每个符号的不确定度就会小于不考虑符号相关性的不确定度
2.20黑白气象传真图的消息只有黑色(B)和白色(W)两种,即信源X={B,W},设黑色出现的概率为P(B)=°3,白色的出现概率为尸(W)=0・7
(1)假设图上黑白消息出现前后没有关联,求嫡。