信息率失真函数及信源编码定理的应用

《信息论与编码》课程自学报告题目：信息论与编码自学报告学号：姓名：任课教师：联系方式：二零一四年2月15日1自学内容阐述1.1信息率失真函数1.1.1失真函数与平均失真度失真函数：设离散信源概率分布为：经信道传输后输出序列为:，对任一指定一个非负数称为单个符号的失真度（或称失真函数）。失真函数用来表征信源发出一个符号ia，而在接收端再现成符号jb所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。可以将所有的失真函数排列成矩阵的形式：平均失真度：由于ia和jb都是随机变量，所以失真函数),(jibad也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为1.1.2信息率失真函数的定义由于互信息取决于信源分布和信道转移概率分布，当信源的分布概率已知时，互信息I是关于p(bj/ai)的下凸函数，存在极小值。该最小的互信息就称为信息率失真函数R(D)：对于离散无记忆信源，R(D)可以写成：);(min)()()/(NNPpNYXIDRNDij1.1.3信息率失真函数的性质率失真函数的定义域：。允许失真度D的下限可以是零，即不允许任何失真的情况。率失真函数对允许平均失真度的下凸性：设21,DD为任意两个平均失真，10a，则有：)(,),(,),(),(,,,,,)(2121niniapapapapaaaaXPX}...{21mbbbY),(jiba0),(jibad),(...),(),(............),(...),(),(),(...),(),(][212221212111mnnnmmbadbadbadbadbadbadbadbadbadDnimjjiijinimjjijijibadabpapbadbapbadED1111),()/()(),()()],([);(min)()/(YXIDRDijPabpminmax0DDD1212((1))()(1)()RaDaDaRDaRD率失真函数的单调递减和连续性：由信息率失真函数的下凸性可知，R(D)在),(maxminDD上连续。又因为R(D)函数的非增性且不为常数，R(D)是区间),(maxminDD上的严格单调递减函数。1.2离散信源的信息率失真函数1.2.1离散信源信息率失真函数的参量表达式给定信源概率和失真函数,就可以求得该信源的R(D)函数。它是在保真度准则下求极小值的问题。但要得到它的显式表达式,一般比较困难。通常用参量表达式。即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。用拉格朗日乘子法求解，并用S作为参量来表述率失真函数R(D)和失真函数D(S)的R(S)函数：iniiaPSSDSRln)()()(1，S就是R(D)函数的斜率。1.2.2二元及等概率离散信源的信息率失真函数二元离散信源，当失真函数为对称失真函数，S与D的显式表达式为：DDS1ln1,信息率失真函数的显式表达式为：)()()1ln()1ln()1(ln)1ln(ln)(DHpHDppppDDDDDR，上式右边第一项是信源熵，第二项是因容忍一定的失真而可能压缩的信息率。若令D=0和pDDmax，可以验证0)(),()0(maxDRpHR。推广至N源等概率信源，S与D的显式表达式为：)1)(1(ln1DnDS，R(D)函数的显式表达式为：)1ln()1()1(lnln)(DDnDDnDR，左式第一项是等概率信源的熵，后两项则是由于容忍一定失真可以压缩的信息率。1.3保真度准则下的信源编码定理设R(D)为一离散无记忆信源的信息率失真函数，对于任意允许平均失真度0,0和任意小的D,当)(DRR。只要信源序列长度L足够长，一定存在一种信源编码C，使译码后的平均失真度为：)(,)(DRRDCD反之，若,则无论用什么编码方式，必有DCD)(。由于R(D)为给定D前提下信源编码可能达到的下限，所以香农第三定理即说明了：达到此下限的最佳信源编码是存在的。2信源编码理论在雷达目标识别中的应用2.1目标识别的必要性雷达是军事信息系统中的传感器,具有判断目标真伪、类别、威胁等级的功能。目标识别是指从回波中提取信息并判断目标属性的技术。雷达信息流程呈链式如图1所示。图1雷达信息流程从信息传送流程看看,由于空中目标的多样性和战场环境的复杂性,信息量非常之大。对特征属性(机型、类别等)的信息传输与处理只有在源头运用信源压缩理论,才能适应特征信息的适时、高速、大容量的要求,减少信道及后续处理系统可能的信息堵塞,完成对目标的正确识别。2.2信源压缩方法首先应用多重变换的方法从大量目标回波中提取有用信息,进而归一化处理,建立目标模型库、信息库,最后从待识别的目标中提取特征信息(图2),与信息库中的特征作相似性匹配,并按一定准则分类、识别。图2多重变换识别模型单个雷达站的单部雷达对空中i批目标处理框图如图3所示,经过处理后的目标特征信息由原来的一系列随距离、方位、高度、速度、环境变化的时间、空间信号，压缩变成一个信符代码，随目标基本参数共同输出,供上级指挥观测,极大地提高了信源编码的有效性。图3单部雷达对空中i批目标处理框图雷达网由多部雷达组成,可视为多个系统并联,其总容量必不大于分容量之和,)()(iCnC。单部雷达仅刻划小部分的散射特征,而对多目标识别则受数据库容量的限制。单靠一两个特征变量对多种复杂目标进行有效的分类较困难,而基于多种特征信息决定的多级分类器则较为可行。只有发挥雷达网远中近兼顾,多频段、多方向、多极化的整体优势,综合运用多种技术措施,才能识别不同的目标。多部雷达的信号综合到上级信息处理中心,提取出目标的参数特征和非参数特征进行相关处理,信息融合系统的功能框示于图4。图4信息融合系统框图图4中,校准电路的作用是进行坐标变换,使N部雷达在空域上对目标进行同步;参数检测可根据目标现在位置及运动规律,推测出目标下点的可能位置,这一过程通过自动录取或全自动录取完成。此外,可将数据库内容通过一定的权组合,并进行逆变换,根据需要产生模拟的目标信号,制作人机界面供模拟训练,以此提高战勤人员对目标的判断能力和抗干扰水平。TCXY，其中),,,(21NCCCC,KC为权系数,),,,(21NXXXX,KX为第K个目标特征值。对同一目标,由N部雷达组成的网将目标的特征压缩了N倍。参考文献[1]陈运等，信息论与编码（第2版），电子工业出版社，2007.9[2]曹雪虹等，信息论与编码，清华大学出版社，2009.2[3]张吉林初晓军，信源编码理论在雷达目标识别中的应用，2001.12（见附页）