信息论复习要点总结

自信息量：HartapNatapbitapaIiieii)(log)(log)(log)(102联合信息量：)(log)(2jijibapbaI条件信息量：)/(log)/(2jijibapbaI互信息量:)](/)/([log);(2ijijiapbapbaI信息的熵：niiiapapXH12)(log)()(条件熵：mjniijjiabpbapXYH112)/(log)()/(联合熵：mjnijijibapbapXYH112)(log)()(平均互信息量：)](/)/([log)();(112jmjniijjibpabpbapXYI无条件熵H(X)H(Y)条件熵H(X/Y)H(Y/X)联合熵H(XY)平均互信息量I(X;Y)马尔可夫信源问题：1.n元m阶马尔科夫信源共有nm个稳定状态。2.用mniijijsspspsp1)/()()(和1)(1mniisp求各状态)(isp；3.极限熵：)/(log)/()(11ijninjijisspsspspHmm4.冗余度：0/1HH(H0表示等概分布信源的熵，2进制时为1)变长编码定理：mXHKmXH22log/)(log/)(1信道容量问题：n表示输入符号数，m表示输出符号数。bit/sign无噪信道1（一一对应）信道容量：nC2log无噪信道2（一对多）信道容量：nC2log无噪信道3（多对一）信道容量：mC2log对称信道（行列均可排列）信道容量：)..(log212mqqqHmC当输入X等概分布时，输出Y也等概分布，此时达到信道容量。准对称信道（行可排列，列分块可排列）信道容量：)..()(log)(2112mkskkkqqqHbpbpmC当输入X等概分布时，此时达到信道容量。其中s代表分为s块，mk代表第k块中元素的个数。kmjniijikmabpapbpk11)/()()(一般信道容量计算步骤：（1）由mjmjijijjijababpabp112)/(log)/()/(求j；（2）由mjjC122log，求信道容量，（3）由Cjjbp2)(,求)(jbp（4）由)/()()(1ijniijabpapbp，求)(iap无记忆离散信道N次扩展信道容量：NCCN有限带宽高斯加性信道单位时间信道容量：)1(log2NXtPPBCbit/s无限带宽高斯加性信道单位时间信道容量：eNPCXt20logbit/s平均失真度：),()(11jinimjijbadabpD无记忆离散信道N次扩展平均失真度：DNND)(最小平均失真度：nijijibadapD1min),(min)(通常)()0()(minXHRDR最大平均失真度：nijiijjjbadapDD1max),()(maxmax0)(maxDR二元信息率失真函数：)1ln()1(ln)1ln()1(ln)(ppppDDDDDRn元等概信息率失真函数：)1ln()1()1(lnln)(DDnDDnDR价值率：);(maxYXIDDv香农编码码长确定：1)(log)(log22iiiapkap平均码长：niiikapK1)(二进制单符号编码效率：KXH/)(填空1.在香农信息论中，信息是指事物运动状态或存在方式的不确定性描述。从消息中获得的信息量，在于不确定性的加减程度。2.多符号离散信源，其平均符号熵随着符号之间依赖程度的增加而减少。3.设某离散信道信源的熵为H(X),要对改信源进行无失真r进制编码，则码字的平均码长应满足L=H(X)/log2r.4.要对改信源进行无失真r进制编码，允许的失真上限是D则码字的平均码长应满足L=D/log2r.5.只需一次编码就可以既有效又可靠的传递消息的充要条件是信源的熵小于信道容量。6.离散信源发出的消息可用随机序列来描述，而波形信源发出的消息可用随机过程描述。7.消息经过多级处理，随着处理次数的增加，输入消息与输出消息的平均互信息量减少。8.对于n元m阶马尔可夫信源，在平稳后的状态空间中共有mn个状态。9.研究通信系统的目的是为了提高信息传输的有效性，可靠性，安全性和经济性。10.信源编码是提高通信有效性的编码，通过压缩信源的冗余度实现。信道编码是提高可靠性的编码，通过增加信源的冗余度实现。密码是提高系统安全性的编码，通过加密解密实现。11.对于离散信源，信源熵达到最大值的条件是信源等概率分布。12.平均互信息量是输入信源概率分布的上凸函数，是信道传递概率的下凸函数。13.对于连续信源，在峰值功率受限时，概率分布为均匀分布时取得最大熵。在平均功率受限时，概率分布为高斯分布时取得最大熵。在均值受限时，概率分布为指数分布时取得最大熵。14.加性连续信道，信道的传递概率密度函数等于噪声的概率密度函数。