作业参考答案-信息论

2.3一副充分洗乱的牌（含52张），试问：（1）任一特定排列所给出的不确定性是多少？（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为526752528.06610P因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A为任一特定排列，则其发生概率为6811.241052PA可得，该排列发生所给出的信息量为22loglog52225.58IAPAbit67.91dit（2）设事件B为从中抽取13张牌，所给出的点数互不相同。扑克牌52张中抽取13张，不考虑排列顺序，共有1352C种可能的组合。13张牌点数互不相同意味着点数包括A，2，…，K，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为134。因为每种组合都是等概率发生的，所以1313413524413391.05681052PBC则发生事件B所得到的信息量为13213524loglog13.208IBPBCbit3.976dit2.5设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：(1)红色球和白色球各50只；(2)红色球99只，白色球1只；(3)红，黄，蓝，白色各25只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令R——“取到的是红球”，W——“取到的是白球”，Y——“取到的是黄球”，B——“取到的是蓝球”。（1）若布袋中有红色球和白色球各50只，即5011002PRPW则221loglog212IRIWbit（2）若布袋中红色球99只，白色球1只，即990.99100PR10.01100PW则22loglog0.990.0145IRPRbit22loglog0.016.644IWPWbit（3）若布袋中有红，黄，蓝，白色各25只，即2511004PRPYPBPW则21log24IRIYIBIWbit2.7设信源为1234560.20.190.180.170.160.17XXxxxxxxP求62logiiiPxPx，井解释为什么622loglog6iiiPxPx，不满足信源熵的极值性。解：62logiiiPxPx2222220.2log0.20.19log0.190.18log0.180.17log0.170.16log0.160.17log0.172.657bit/symbol622loglog62.585iiiPxPx不满足极值性的原因是61.071iiPx，不满足概率的完备性。2.8大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。（1）这二个回答中各含多少信息量?（2）平均每个回答中含有多少信息量?（3）如果你问一位女同志，则答案中含有的平均信息量是多少?解：对于男性，是红绿色盲的概率记作17%Pa，不是红绿色盲的概率记作293%Pa，这两种情况各含的信息量为1212100log1log3.837IaPabit2222100log1log0.10593IaPabit平均每个回答中含有的信息量为1122()()HAPaIaPaIa7933.830.1051001000.366bit/回答对于女性，是红绿色盲的概率记作10.5%Pb，不是红绿色盲的记作299.5%Pb，则平均每个回答中含有的信息量为1122()()HBPbIbPbIb22510009951000loglog1000510009950.045bit/回答HAHB联合熵和条件熵2.9任意三个离散随机变量X、Y和Z，求证：()()()()HXYZHXYHXZHX。证明：方法一：要证明不等式XHXZHYXHYXH,,Z,,成立，等价证明下式成立：0,,,,XHZXHYXHZYXH根据熵函数的定义,,,,loglogploglogloglog1(zijkijkijkijXYZXYZijkikijkiXYZXYZijkiijkXYZijikijikijkXYZijkiHXYZHXYHXZHXpxyzpxyzpxyzxypxyzpxzpxyzpxpxyzpxpxyzpxypxzpxypxzepxyzpxypx信息论不)loglog|log110,,Z,,ijikijkXYZXYZijiikijkXYZXYZijikiijkpxypxzepxyzpxepyxpxzpxyzeHXYHXYHXZHXpxypxzpxpxyz等式所以等号成立的条件为得证方法二：因为()()(|)HXYZHXYHZXY()()(|)HXZHXHZX所以，求证不等式等价于(|)(|)HZXYHZX因为条件多的熵不大于条件少的熵，上式成立，原式得证。2.11设随机变量12{,}{0,1}Xxx和12{,}{0,1}Yyy的联合概率空间为11122122(,)(,)(,)(,)18383818XYXYxyxyxyxyP定义一个新随机变量ZXY（普通乘积）。（1）计算熵()HX、()HY、()HZ、()HXZ、()HYZ以及()HXYZ；（2）计算条件熵(|)HXY、(|)HYX、(|)HXZ、(|)HZX、(|)HYZ、(|)HZY、(|)HXYZ、(|)HYXZ以及(|)HZXY；（3）计算互信息量(;)IXY、(;)IXZ、(;)IYZ、(;|)IXYZ、(;|)IYZX以及(;|)IXZY；解（1）13100,00,1882pxpxypxy11102pxpxlog1iiiHXPxPxbit/symbol13100,01,0882pypxypxy11102pypylog1jjjHYpypybit/symbol1337(0)(00)(01)(10)8888PzPxyPxyPxy71(1)1(0)188PzPz可得ZXY的概率空间如下07()8zZPZ118z27711()()loglog)0.544/8888kKHZpbitsymbolz由()()()pxzpxpzx得11(0,0)(0)(00)122pxzpxpzx1(0,1)(0)(10)0023(1,0)(1)(01)(1)(01)(1,0)81(1,1)(1)(11)(1)(11)(1,1)8pxzpxpzxpxzpxpzxpxpyxpxypxzpxpzxpxpyxpxy113311()()logloglog1.406/228888ikikHXZpxzbitsymbol由对称性可得()1.406/HYZbtsymbol()()(),()1pxyzpxypzxypzxy由又或者等于，或者等于0.1(0,0,0)(0,0)(00,0)(0,0)18pxyzpxypzxypxy1(0,0,1)(0,0)(10,0)0083(0,1,0)(0,1)(00,1)(0,1)183(0,1,1)(0,1)(10,1)0083(1,0,0)(1,0)(01,0)(1,0)18(pxyzpxypzxypxyzpxypzxypxypxyzpxypzxypxyzpxypzxypxyp31,0,1)(1,0)(11,0)0081(1,1,0)(1,1)(01,1)0081(1,1,1)(1,1)(11,1)(1,1)18xyzpxypzxypxyzpxypzxypxyzpxypzxypxy2()()log()11333311loglogloglog1.811/88888888ijkijkijkHXYZpxyzpxyzbitsymbol（2）HXY-symbolbit/811.181log8183log8383log8381log81HYX/=HXY-H1.81110.811/Ybitsymbol根据对称性，HXY/=H|XY0.811/bitsymbolHZX/=HXZ-HsymolbitZ/862.0544.0406.1HXZ/=HXZ-HsymolbitX/406.01406.1根据对称性，HZY/=HZX/0.862/bitsymbolHYZ/=HXZ/0.406/bitsymolHYZX/=HXYZ-HsymolbitYZ/405.0406.1811.1根据对称性，把X和Y互换得HXZY/=HYZX/0.405/bitsymbolHXYZ/=HXYZ-HsymolbitXY/0811.1811.1(3);/10.8110.189/IXYHXHXYbitsymbol;/10.8620.138/IXZHXHXZbitsymbol根据对称性，得;;0.138/IYZIXZbitsymbol;///0.8620.4050.457/IXYZHXZHXYZbitsymbol;///0.8110.4050.406/IYZXHYXHYXZbitsymbol根据对称性得;/;/0.406/IXZYIYZXbitsymbol2.17设信源发出二次扩展消息iixy,其中第一个符号为A、B、C三种消息，第二个符号为D、E、F、G四种消息，概率()ipx和()iipyx如下：()ipxABC1/21/31/6()iipyxD1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6求二次扩展信源的联合熵(,)HXY。解：联合概率为(,)(|)()ijjiipxypyxpx可得X,Y的联合概率分布如下：()iipxyABCD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36所以(,)()log()3.415/iiiiXYHXYpxypxy比特扩展消息2.19设某离散平稳信源X，概率空间为01211364914XP并设信源发出的符号只与前一个相邻符号有关，其联合概率为(,)ijpaa如下表所示：