信息论与编码习题与答案第四章

4-1设有一个二元等该率信源1,0X,2/110pp，通过一个二进制对称信道（BSC）。其失真函数ijd与信道转移概率ijp分别定义为jijidij,0,1，jijipij,1,试求失真矩阵d和平均失真D。解：由题意得，失真矩阵为d0110d，信道转移概率矩阵为P11)(ij平均失真为0)1(211211210)1(21),()()(,jidijpipDji4-3设输入符号与输出符号X和Y均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为0111101111011110d求)(),(,,maxminmaxminDRDRDD以及相应的编码器转移概率矩阵。解：由题意，得0minD则symbolbitXHRDR/24log)()0()(2min这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为1000010000100001)j(iP303,2,1,0max),()(minijjidipD，，141141041141141141141041min{}041141141141141041141141，43}43,43,43,43min{则0)(maxDR此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0则相应的编码器转移概率矩阵为0001000100010001)(ijP4-5具有符号集10,uuU的二元信源，信源发生概率为：2/10,1)(,)(10ppuppup。Z信道如下图所示，接收符号集},{10vvV，转移概率为：quvquvq1)(,1)(1100。发出符号与接收符号的失真：1),(),(,0),(),(10011100vudvudvudvud。（1）计算平均失真D；（2）率失真函数R(D)的最大值是什么？当q为什么值时可达到该最大值？此时平均失真D是多大？（3）率失真函数R(D)的最小值是什么？当q为什么值时可达到该最小值？此时平均失真D是多大？（4）画出R(D)-D的曲线。0u1u0v1v1qq1解：由题意，知失真矩阵为d0110,转移概率矩阵为qqQ101puppup1)(,)(10（1）平均失真)1(0)1()1(1)1(1001),()()(,pqqpqpppvuduvqupDjiijjii（2）)1(log)1(log)()0()()(max22minppppUHRDRDR此时的平均失真0minDD，则q=0（3）minR(D)=0此时),()(101,0maxminjiiijvudupD}0)1(1,1)1(0{minppppppp},1min{此时输出符号概率1)(,0)(10vpvp，相应的的转移概率矩阵为1010Q而在给定的信道下，qqQ101令)]()([min);(min)(VUHUHVUIDR=0)](log),()1log()1(logmin[1010jijijivuqvuppppp)]log()()1(log)1(log)1log()1(logmin[pqqppqqppqpqpppppp0)]log()()1(log)1()1log()1(min[pqqppqqppqpqpp容易看出当1q时，R(D)=0此时的平均失真D=q(1-p)=1-pp)2/10(p（4）)(DRD)(UHmaxDp1R(D)-D曲线