信息论第二章答案(南邮研究生作业)

2-1同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：(1)“3和5同时出现”这事件的自信息量。(2)“两个1同时出现”这事件的自信息量。(3)两个点数的各种组合（无序对）的熵或平均信息量。(4)两个点数之和（即2，3，…，12构成的子集）的熵。(5)两个点数中至少有一个是1的自信息。解：(1)bitxpxIxpiii170.4181log)(log)(18161616161)((2)bitxpxIxpiii170.5361log)(log)(3616161)((3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11，22，33，44，55，66的概率是3616161其他15个组合的概率是18161612symbolbitxpxpXHiii/337.4181log18115361log3616)(log)()((4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbitxpxpXHXPXiii/274.361log61365log365291log912121log1212181log1812361log3612)(log)()(36112181111211091936586173656915121418133612)((5)bitxpxIxpiii710.13611log)(log)(3611116161)(2-2设有一离散无记忆信源，其概率空间为8/14/14/18/332104321xxxxPX（1）求每个符号的自信息量；（2）若信源发出一消息符号序列为(202120130213001203210110321010021032011223210)，求该消息序列的自信息量及平均每个符号携带的信息量。解：122118()loglog1.415()3Ixbitpx同理可以求得233()2,()2,()3IxbitIxbitIxbit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：123414()13()12()6()87.81IIxIxIxIxbit平均每个符号携带的信息量为87.811.9545bit/符号2-3有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，…，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。(1)若仅对颜色感兴趣，计算平均不确定度；(2)若仅对颜色和数字都感兴趣，计算平均不确定度；(3)如果颜色已知时，计算条件熵。解：令X表示指针指向某一数字，则X={1,2,……….,38}Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}Y是X的函数，由题意可知()()ijipxypx（1）3112381838()()loglog2log1.24()3823818jjjHYpypybit/符号（2）2(,)()log385.25HXYHXbit/符号（3）(|)(,)()()()5.251.244.01HXYHXYHYHXHYbit/符号2-4有两个二元随机变量X和Y，它们的联合概率如表所示。并定义另一随机变量Z＝XY（一般乘积）。试计算：(1)H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)和H(XYZ)。(2)H(X/Y)、H(Y/X)、H(X/Z)、H(Z/X)、H(Y/Z)、H(Z/Y)、H(X/YZ)、H(Y/XZ)和H(Z/XY)。(3)I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y/Z)、I(Y;Z/X)和I(X;Z/Y)。解：(1)symbolbitypypYHyxpyxpypyxpyxpypsymbolbitxpxpXHyxpyxpxpyxpyxpxpjjjiii/1)(log)()(218183)()()(218381)()()(/1)(log)()(218183)()()(218381)()()(22212121112212221111Z=XY的概率分布如下：symbolbitzpZHzzZPZkk/544.081log8187log87)()(818710)(221YX0101/83/813/81/8symbolbitzxpzxpXZHzpzxpzxpzxpzpzxpzpzxpzxpzxpzpxpzxpzxpzxpzxpxpikkiki/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111symbolbitzypzypYZHzpzypzypzypzpzypzpzypzypzypzpypzypzypzypzypypjkkjkj/406.181log8183log8321log21)(log)()(81)()()()()(835.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111symbolbitzyxpzyxpXYZHyxpzyxpyxpzyxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzxpzyxpzxpzyxpzyxpyxpzyxpyxpzyxpzyxpzyxpzyxpzyxpijkkjikji/811.181log8183log8383log8381log81)(log)()(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211(2)symbolbitXYHXYZHXYZHsymbolbitXZHXYZHXZYHsymbolbitYZHXYZHYZXHsymbolbitYHYZHYZHsymbolbitZHYZHZYHsymbolbitXHXZHXZHsymbolbitZHXZHZXHsymbolbitXHXYHXYHsymbolbitYHXYHYXHsymbolbityxpyxpXYHijjiji/0811.1811.1)()()/(/405.0406.1811.1)()()/(/405.0406.1811.1)()()/(/406.01406.1)()()/(/862.0544.0406.1)()()/(/406.01406.1)()()/(/862.0544.0406.1)()()/(/811.01811.1)()()/(/811.01811.1)()()/(/811.181log8183log8383log8381log81)(log)()(2(3)symbolbitYZXHYXHYZXIsymbolbitXZYHXYHXZYIsymbolbitYZXHZXHZYXIsymbolbitZYHYHZYIsymbolbitZXHXHZXIsymbolbitYXHXHYXI/406.0405.0811.0)/()/()/;(/457.0405.0862.0)/()/()/;(/457.0405.0862.0)/()/()/;(/138.0862.01)/()();(/138.0862.01)/()();(/189.0811.01)/()();(2-5由符号集{0，1}组成的二阶马氏链，转移概率为：p(0/00)＝0.8，p(0/11)＝0.2，p(1/00)＝0.2，p(1/11)＝0.8，p(0/01)＝0.5，p(0/10)＝0.5，p(1/01)＝0.5，p(1/10)＝0.5。画出状态图，并计算各状态的稳态概率。2-6有一个一阶平稳马尔可夫链X1，X2，…Xr，…，各Xr取值于集A＝{a1，a2，a3}。已知起始概率P(Xr)为：p1=1/2，p2=p3=1/4，转移概率为：(1)求X1X2X3的联合熵和平均符号熵。(2)求这个链的极限平均符号熵。(3)求H0，H1，H2和它们所对应的冗余度。解：（1）12312132,112132(,,)()(|)(|)()(|)(|)HXXXHXHXXHXXXHXHXXHXX1111111()logloglog1.5/224444HXbit符号X1，X2的联合概率分布为212()()jijipxpxxX2的概率分布为那么21111131131(|)log4log4log4loglog3loglog348862126212HXX=1.209bit/符号X2X3的联合概率分布为12()ijpxx12311/41/81/821/601/1231/61/12012314/245/245/2423()ijpxx12317/247/487/4825/3605/1235/365/120那么32771535535(|)log2log4log4loglog3loglog3244883627236272HXX=1.26bit/符号123(,,)1.51.2091.263.969HXXXbit/符号所以平均符号熵31233.969(,,)1.3233HXXXbit／符号（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为1112442103321033P由1iWPWW得到123132123122123311431计算得到12347314314又满足不可约性和非周期性314111321()(|)(,,)2(,,0)1.2572441433iiiHXWHXWHHbit/符号(3)0log31.58Hbit/符号11.5Hbit/符号21.51.2091.3552Hbit/符号001.25110.211.58111.25110.6171.5221.25110.0781.355a1a3a21/22/31/41/31/32/31/42-7证明：（信息不等式），p(x),q(x)是两概率分布，相对熵D(p(x)||q(x))02-8证明：（最大熵定理），H(x)logM,M表示空间的维数2-9证明：条件熵小于等于熵（无条件）