您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 市场营销 > 信息理论与编码课后答案第2章
第二章信息的度量习题参考答案不确定性与信息(2.3)一副充分洗乱的牌(含52张),试问:(1)任一特定排列所给出的不确定性是多少?(2)随机抽取13张牌,13张牌的点数互不相同时的不确定性是多少?解:(1)一副充分洗乱的扑克牌,共有52张,这52张牌可以按不同的一定顺序排列,可能有的不同排列状态数就是全排列种数,为6752528.06610P因为扑克牌充分洗乱,所以任一特定排列出现的概率是相等的。设事件A为任一特定排列,则其发生概率为6811.241052PA可得,任一特定排列的不确定性为22loglog52225.58IAPA比特(2)设事件B为从中抽取13张牌,所给出的点数都不同。扑克牌52张中抽取13张,不考虑其排列顺序,共有1352C种可能的组合,各种组合都是等概率发生的。13张牌中所有的点数都不相同(不考虑其顺序)就是13张牌中每张牌有4种花色,所以可能出现的状态数为413。所以1313413524413391.05681052PBC则事件B发生所得到的信息量为13213524loglog13.208IBPBC比特2.4同时扔出两个正常的骰子,也就是各面呈现的概率都是1/6,求:(1)“2和6同时出现”这事件的自信息量。(2)“两个3同时出现”这事件的自信息量。(3)两个点数的各种组合(无序对)的熵。(4)两个点数之和(即2,3,…,12构成的子集)的熵。(5)两个点数中至少有一个是1的自信息。解:同时扔两个正常的骰子,可能呈现的状态数有36种,因为两骰子是独立的,又各面呈现的概率为61,所以36种中任一状态出现的概率相等,为361。(1)设“2和6同时出现”这事件为A。在这36种状态中,2和6同时出现有两种情况,即2,6和2,6。所以213618PA得2loglog184.17IAPA比特(2)设“两个3同时出现”这个事件为B。在这36种状态中,两个3同时出现只有一种状态,所以136PB得2loglog365.17IBPB比特(3)设两个点数的各种组合构成信源X。这信源X的符号集A就是这36种状态,并且其为等概率分布。得1236,,,111,,,363636xxxXPx所以2log365.17HX比特/状态(4)设两个点数之和构成信源Z,它是由两个骰子的点数之和组合,即Z=X+Y(一般加法)。而123456111111666666XPx123456111111666666YPy所以得23456789101112123456543213636363636363636363636ZPz满足11niPz则logzHzPzPz222222468106log36log2log3log4log5log63636363636222261210log36log3log53636365.171.8963.27比特(5)在这36种状态中两个点数中至少有一个数是1的状态共有11种,每种状态是独立出现的,每种状态出现的概率是1/36。现设两个点数中至少有一个数是1的事件为C事件,则得1136PC所以211loglog1.7136ICPC比特2.5设在一只布袋中装有100只对人手的感觉完全相同的木球,每只上涂有1种颜色。100只球的颜色有下列三种情况:(1)红色球和白色球各50只;(2)红色球99只,白色球1只;(3)红,黄,蓝,白色各25只。求从布袋中随意取出一只球时,猜测其颜色所需要的信息量。解:依题意,令R表示事件“取到的是红球”,W表示事件“取到的是白球”,Y表示事件“取到的是黄球”,B表示事件“取到的是蓝球”。(1)若布袋中有红色球和白色球各50只,即5011002PRPW则221loglog212IRIWbit(2)若布袋中红色球99只,白色球1只,即990.99100PR10.01100PW则22loglog0.990.0145IRPRbit22loglog0.016.644IWPWbit(3)若布袋中有红,黄,蓝,白色各25只,即2511004PRPYPBPW21log24IRIYIBIWbit2.4离散熵(2.6)设信源为{0,1}X,(0)18P。(1)求信源的熵;(2)信源发出由m个“0”和(100-m)个“1”构成的序列,求序列的自信息量;(3)比较(1)(2)的计算结果。解:(1)H(X)=78log878log81=19.087381=0.54bit/符号(2)考虑X为DMSI=mlog8+(100-m)log78=3m+(100-m)0.19=2.81m+19bit/符号序列(3)(1)计算出的值表示每个信源符号的统计平均信息量。(2)计算出的值表示序列(长度100)的信息量,此时平均每个符号的信息量为1001981.2mbit/符号。(2.7)设信源为1234560.20.190.180.170.160.17XXxxxxxxP求X的熵,并解释为什么6log)(2XH,不满足信源熵的极值性。解:62logiiiHXPxPx2222220.2log0.20.19log0.190.18log0.180.17log0.170.16log0.160.17log0.172.657bit/符号2log62.585HX不满足极值性的原因?(2.8)大量统计表明,男性红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男子是否为红绿色盲,他回答“是”或“否”。(1)这二个回答中各含多少信息量?(2)平均每个回答中含有多少信息量?(3)如果你问一位女子,则答案中含有的平均信息量是多少?解:对于男性,是红绿色盲的概率记作17%Pa,不是红绿色盲的概率记作293%Pa,这两种情况各含的信息量为1212100log1log3.837IaPabit2222100log1log0.10593IaPabit平均每个回答中含有的信息量为121222log1log1HAPaPaPaPa7933.830.1051001000.366bit对于女性,是红绿色盲的概率记作10.5%Pb,不是红绿色盲的记作299.5%Pb,则平均每个回答中含有的信息量为121222log1log1HBPbPbPbPb22510009951000loglog1000510009950.045bitHAHB(2.10)设随机变量X的概率分布为1111,,,,,,10101010111555。随机变量Y是X的函数,其分布为将X的4个最小的概率分布合并为一个:,,,11125555(1)请解释log5H(X)log7,原因;(2)计算HX,HY;(3)计算|HXY并解释其结果解:(1)根据熵的极限性,当随机变量等概率分布时,随机变量的熵最大。有7个可能取值的随机变量的最大熵为2log7,随机变量X不是等概率分布,所以H(X)log7。根据熵的渐化性12123312121212()(,,,)(,,)(),KKppHXHppppHppppHpppppp2,,,,log510101010HHH1111111111111++,,555522522(2)2222211log3log4log10101010xHXpxpx226log10log23.3220.6102.722比特/符号2222244log3loglog10101010yHYpypy22264log10log2log43.3220.60.810101.922比特/符号(3)因为随机变量Y是X的函数,所以|0HYX||0.8HXYHXYHYHXHYXHY比特/符号2.6平均互信息及其性质(2.11)设随机变量12{,}{0,1}Xxx和12{,}{0,1}Yyy的联合概率空间为11122122(,)(,)(,)(,)18383818XYXYxyxyxyxyP,定义一个新随机变量ZXY(普通乘积)。(1)计算熵()HX、()HY、()HZ、()HXZ、()HYZ以及()HXYZ;(2)计算条件熵(|)HXY、(|)HYX、(|)HXZ、(|)HZX、(|)HYZ、(|)HZY、(|)HXYZ、(|)HYXZ以及(|)HZXY。(3)计算互信息量(;)IXY、(;)IXZ、(;)IYZ、(;|)IXYZ、(;|)IYZX以及(;|)IXZY;解(1)13100,00,1882pxpxypxy31111,01,1882pxpxypxylog1iiiHXPxPx13100,01,0882pypxypxy31110,11,1882pypxypxylog1jjjHYpypybit/符号ZXY的概率分布如下0(00,01,10)7133()()8888zZPZ1(11)18z27711()()loglog)0.544/8888kKHZpbitsymbolz由()()()pxzpxpzx得1(0,0)(0)(00)2pxzpxpzx(0,1)(0)(10)03(1,0)(1)(01)(1)(01)(1,0)81(1,1)(1)(11)(1)(11)(1,1)8pxzpxpzxpxzpxpzxpxpyxpxypxzpxpzxpxpyxpxy113311()()logloglog1.406/228888ikikHXZpxzbtsymb由对称性可得()1.406/HYZbtsymbol()()(),()1pxyzpxypzxypzxy由又要么等于,要么等于0.1(0,0,0)(0,0)(00,0)(0,0)8pxyzpxypzxypxy(0,0,1)(0,0)(10,0)03(0,1,0)(0,1)(00,1)(0,1)8(0,1,1)(0,1)(10,1)03(1,0,0)(1,0)(01,0)(1,0)8(1,0,1)pxyzpxypzxypxyzpxypzxypxypxyzpxypzxypxyzpxypzxypxypxyzp(1,1)(11,0)0(1,1,0)(1,1)(01,1)01(1,1,1)(1,1)(11,1)(1,1)8xypzxypxyzpxypzxypxyzpxypzxypxy2()()log()11333311loglogloglog1.811/88888888ijkijkijkHXYZpxyzpxyzbits
本文标题:信息理论与编码课后答案第2章
链接地址:https://www.777doc.com/doc-4750398 .html