信息论-基础理论与应用课后答案-全

第二章课后习题【2.1】设有12枚同值硬币，其中有一枚为假币。但只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12枚硬币中，某一枚为假币”该事件发生的概率为P=；“假币的重量比真的轻，或重”该事件发生的概率为P=；为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I=log12+log2=log24比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P=，因此天平每一次消除的不确定性为I=log3比特因此，必须称的次数为I1log24=≈2.9次I2log3因此，至少需称3次。【延伸】如何测量？分3堆，每堆4枚，经过3次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，因此该种情况发生的概率为P=×=，该事件的信息量为：I=log36≈5.17比特“两骰子总点数之和为8”共有如下可能：2和6、3和5、4和4、5和3、6和2，概率为P=××5=，因此该事件的信息量为：I比特“两骰子面朝上点数是3和4”的可能性有两种：3和4、4和3，概率为P=××2=，因此该事件的信息量为：I=log18≈4.17比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P=，因此此时从答案中获得的信息量为I=log7=2.807比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0比特。【2.4】居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示女孩是大学生，P(A)=0.25；B表示女孩身高1.6米以上，P(B|A)=0.75，P(B)=0.5“身高1.6米以上的某女孩是大学生”的发生概率为P(A|B)=P(AB)=P(A)P(B|A)=0.25×0.75=0.375P(B)P(B)0.5已知该事件所能获得的信息量为I比特Xa1=0a2=1a3=2a4=3【2.5】设离散无记忆信源P(x)=3/81/41/41/8，其发出的消息为（202120130213001203210110321010021032011223210），求（1）此消息的自信息是多少？（2）在此消息中平均每个符号携带的信息量是多少？解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：I(a0=0)=log=1.415比特I(a1=1)=log4=2比特I(a2=2)=log4=2比特I(a3=3)=log8=3比特在发出的消息中，共有14个“0”符号，13个“1”符号，12个“2”符号，6个“3”符号，则得到消息的自信息为：I=14×1.415+13×2+12×2+6×3≈87.81比特45个符号共携带87.81比特的信息量，平均每个符号携带的信息量为I==1.95比特/符号注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的信息量，后者是信息熵，可计算得H(X)=−∑P(x)logP(x)=1.91比特/符号【2.6】如有6行8列的棋型方格，若有二个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为（XA,YA）和（XB,YB），但A和B不能落入同一方格内。（1）若仅有质点A，求A落入任一个格的平均自信息量是多少？（2）若已知A已落入，求B落入的平均自信息量。（3）若A、B是可分辨的，求A、B同都落入的平均自信息量。解：（1）求质点A落入任一格的平均自信息量，即求信息熵，首先得出质点A落入任一格的概率空间为：=XP48a1148a1248a13a48148平均自信息量为H(A)=log48=5.58比特/符号（2）已知质点A已落入，求B落入的平均自信息量，即求H(B|A)。A已落入，B落入的格可能有47个，条件概率P(bj|ai)均为。平均自信息量为H(B|A)=−∑∑4847P(ai)P(bj|ai)logP(bj|ai)=log47=5.55比特/符号i=1j=1（3）质点A和B同时落入的平均自信息量为H(AB)=H(A)+H(B|A)=11.13比特/符号【2.7】从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？解：男同志红绿色盲的概率空间为：Xa1a2P=0.070.93问男同志回答“是”所获昨的信息量为：I比特/符号问男同志回答“否”所获得的信息量为：I比特/符号男同志平均每个回答中含有的信息量为H(X)=−∑P(x)logP(x)=0.366比特/符号同样，女同志红绿色盲的概率空间为Yb1b2P=0.0050.995问女同志回答“是”所获昨的信息量为：I比特/符号问女同志回答“否”所获昨的信息量为：I比特/符号女同志平均每个回答中含有的信息量为H(Y)=−∑P(x)logP(x)=0.045比特/符号Xa1a2a3a4a5a6【2.8】设信源P(x)=0.20.190.180.170.160.17，求此信源的熵，并解释为什么H(X)log6，不满足信源熵的极值性。解：H(X)=−∑P(x)logP(x)=2.65log6原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。【2.9】设离散无记忆信源S其符号集A={a1,a2,...,aq}，知其相应的概率分别为(P1,P2,...,Pq)。设另一离散无记忆信源S′，其符号集为S信源符号集的两倍，A′={ai,i=1,2,...,2q}，并且各符号的概率分布满足Pi′=(1−e)Pii=1,2,...,qPi′=ePii=q+1,q+2,...,2q试写出信源S′的信息熵与信源S的信息熵的关系。解：H(S′)=−∑P(x)logP(x)=−∑(1−e)Pilog(1−e)Pi−∑ePilogePi=−(1−e)∑Pilog(1−e)−(1−e)∑PilogPi−e∑Piloge−e∑PilogPi=−(1−e)log(1−e)−eloge+H(S)=H(S)+H(e,1−e)【2.10】设有一概率空间，其概率分布为{p1,p2,...,pq}，并有p1p2。若取p1′=p1−e，p′2=p2+e，其中02e≤p1−p2，而其他概率值不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。解：设新的信源为X′，新信源的熵为：H(X′)=−∑pilogpi=−(p1−e)log(p1−e)−(p2+e)log(p2+e)−−pqlogpq原信源的熵H(X)=−∑pilogpi=−p1logp1−p2logp2−−pqlogpq因此有，H(X)−H(X′)=(p1−e)log(p1−e)+(p2+e)log(p2+e)−p1logp1−p2logp2p1−p2令f(x)=(p1−x)log(p1−x)+(p2+x)log(p2+x)，x∈0,2，则f′(x)=logp2+x≤0p1−x即函数f(x)为减函数，因此有f(0)≥f(e)，即(p1−e)log(p1−e)+(p2+e)log(p2+e)≤p1logp1+p2logp2因此H(X)≤H(X′)成立。【解释】当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。【2.11】试证明：若∑Lpi=1，∑mqj=pL，则i=1j=1H(p1,p2,,pL−1,q1,q2,,qm)=H(p1,p2,,pL−1,pL)+pLH(q1,q2,,qm)pLpLpL并说明等式的物理意义。解：H(p1,p2,,pL−1,q1,q2,,qm)=−p1logp1−p2logp2−−pL−1logpL−1−q1logq1−q2logq2−−qmlogqm=−p1logp1−p2logp2−−pL−1logpL−1−pLlogpL+pLlogpL−q1logq1−q2logq2−−qmlogqm=−p1logp1−p2logp2−−pL−1logpL−1−pLlogpL+(q1+q2+q3++qm)logpL−q1logq1−q2logq2−−qmlogqm=−p1logp1−p2logp2−−pL−1logpL−1−pLlogpL−q1logq1−q2logq2−−qmlogqmpLpLpL=−p1logp1−p2logp2−−pL−1logpL−1−pLlogpL+pL(−q1logq1−q2logq2−−qmlogqm)pLpLpLpLpLpL=H(p1,p2,,pL−1,pL)+pLHm(q1,q2,,qm)pLpLpL【意义】将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的概率，则新信源的信息熵增加，熵所增加的一项就是由于分割而产生的不确定性量。【2.12】（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。解：每个像素的电平取自10个不同的电平，每一个像素形成的概率空间为：10a12a10110XP=10a11这样，平均每个像素携带的信息量为：H(X)=log10=3.32比特/像素现在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为：H(XN)=NH(X)=5×105×log10=1.66×106比特/帧按每秒传输30帧计算，每秒需要传输的比特数，即信息传输率为：30×H(XN)=4.98×107比特/秒除满足黑白电视系统的要求外，还需30个不同的色彩度，不妨设每个色彩度等概率出现，则其概率空间为：Y=b11b12b130P303030其熵为log30比特/符号，由于电平与色彩是互相独立的，因此有H(XY)=H(X)+H(Y)=log300这样，彩色电视系统的信息率与黑白电视系统信息率的比值为H(XY)log300=≈2.5H(X)log10【2.13】每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？若现有一广播员在约10000个汉字的字汇中选1000个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？解：每个像素的电平亮度形成了一个概率空间，如下：Xa11a12a1128P=128128128平均每个像素携带的信息量为：H(X)=log128=7比特/像素每帧图像由3×105个像素组成，且像素间是独立的，因此每帧图像含有的信息量为：H(XN)=NH(X)=2.1×106比特/帧如果用汉字来描述此图像，平均每个汉字携带的信息量为H(Y)=log10000=13