信息论简答题总结

一：数据处理定理：（1）：I(X;Z)=I(X;Y)表明从Z所得到的关于X的信息量小于等于从Y得到的关于X的信息量。如果把Y--Z看作数据处理系统，那么通过数据处理后，虽然可以满足我们的某种要求，但是从信息量来看，处理后会损失一部分信息，最多保持原有的信息，也就是说，对接收到的数据Y进行处理后，绝不会减少关于X的不确定性。这个定理称为数据处理定理。二：即时码，唯一可译码（充要条件）（1）：一个唯一可译码成为即时码的充要条件是时钟任何一个码字都不是其他码字的前缀。这个很好理解，因为如果没有一个码字是其他码字的前缀，则在接受到一个相当于一个完整码字的符号序列后便可以立即译码，而无须考虑其后的码符号。反过来说，如果有一个码字是其他码字的前缀，假设Wj是Wj的前缀，则在接收到相当于Wj的码符号序列后还不能立即判使之定它是一个完整的码字，若想正确译码，还必须参考后续后续的码符号，这与即时码的定义相矛盾，所以即时码的必要条件是其中任何一个码字都不是其他的码字的前缀。三：香农定理：（1）第一定理：要做到无失真信源编码，每个信源符号平均所需最少得的r元码符号数就是信源的熵值（以r进制单位为信息量单位）（2）第二定理：设有一个离散无记忆平稳信道，其信道容量为C。当信息传输率RC时，只要码长n足够长，则总存在一种编码，可以使译码错误概率PE任意小。否则，如果RC，则无论取多大，也找不到一种编码，使译码错误概率PE任意小。四：差错控制和译码规则(1）选择译码函数F（yi）=x*，使之满足条件p（x*/yi）=p（xi/yi）称为最大后验概率译码规则，又称为最小错误概率准则，最优译码，最佳译码。（2）选择译码函数F（yi）=x*，使之满足条件p（yi/x*）=p（yi/x*）称为似然译码规则。五：掌握信息的基本特点：（1）：信息是可以度量，而且它具有不确定性。六：了解信息论的发展及最新成果：(1）：信息论创立的标志是1948年香农发表的论文。信息论从诞生到现在，虽然只有短短的50多年，但它的发展对学术界及人类社会的影响是相当广泛和深刻的。如今，信息论的研究内容不仅仅包括通信，而且包括所有与信息有关的自然和深灰领域，如模式识别，及其翻译，心理学，遗传学，神经生理学，语言学。七：掌握熵的性质：（1）对称性，确定性，非负性，扩展性，连续性，递推性，极值性，上凸性八：掌握互信息及平均互信息的基本概念、定义，性质及其物理意义（1）概念：互信息I（Xi;Yi)表示某一事件Yi所给出的关于另一个事件Xi的信息，他随Xi和Yi的变化而变化，为了冲整体上表示从一个随机变量Y所给出关于另一个随机变量X的信息量，定义互信息I（Xi;Yi)在XY的联合概率空间中的统计平均值为随机变量X和Y间的平均互信息。（2）定义：条件熵H(X/Y)表示给定随机变量Y后，对随机变量X仍然存在的不确定度。所以Y关于X的平均互信息是收到Y前后源于X的不确定度减少的量，也就是从Y所获得的关于X的平均信息量。（3）性质:非负性，互易性，平均互信息和各类熵的关系，凸函数性九：掌握信源编码的基本概念（1）为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。。十：掌握几种常见的无失真信源编码方法，以及实际应用的其他编码方法（1)香农编码，香农-费诺-埃利斯编码，霍夫曼编码，费诺编码（2）实用编码：游程编码，算术编码，LZW编码十一：掌握信道的数学模型和分类（1）数学模型：信道的输入和输出时统计以来关系，信道的特性由{X,P(Y/X),Y}确定如图示---{X,P(X)}---》信道P（Y/X）---{Y,P(Y)}--》十二：掌握信道容量的物理意义（1）：信息论不研究信号在信道中传输的物理过程，它假定信道的传输特性是已知的，这样信道就可以用抽象的数学模型来描述。在信息论中，信道通常表示成：{X,P(Y|X),Y}，即信道输入随机变量X、输出随机变量Y以及在输入已知的情况下，输出的条件概率分布P(Y|X)。十三：掌握几种译码准则（1）译码规则的选择准则，最小错误概率译码，最大似然译码准则，费诺不等式十四：掌握香农第二定理的内容（1）设有一个离散无记忆平稳信道，其信道容量为C，当信息传输率RC时，只要码长n足够长，则总存在一种编码，可以使译码错误概率PE任意小，否则，如果RC,则无论取多大，也找不到一种编码，是译码错误概率PE任意小。十五：差错控制方式（1）反馈重传纠错，前向纠错和混合纠错。十六：掌握线性分组码的编码方法（1）线性分组码的编码方式是江新苑输出序列分组，魅族是肠胃K的信息序列，然后按照一定的编码规则插入n-k位的校验位，校验位是所有信息位的线性组合，组成n长的码子序列十七：什么是熵（1）：我们用平均自信息量来表征整个信源的不确定度，平均自信息量又称为信息熵。信息熵，简称熵。