信息论与编码公式总结

第一章绪论第二章信源与信息熵离散信源的信息量自信息量条件自信息量联合自信息量单符号离散信源熵熵的性质1.非负性2.对称性3.确定性4.扩展性5.连续性二元联合信源的共熵与条件熵二元联合信源的共熵二元联合信源的条件熵独立熵、联合熵与条件熵的关系独立熵、联合熵与条件熵的物理意义离散无记忆信源N次扩展信源离散信道的平均交互信息量离散信道三种描述方法1.概率空间描述2.转移矩阵描述3.图示法描述离散信道的互信息量互信息量性质1.互易性-对称性2.3.互信息量可正可负4.任何两个事件之间的互信息不可能大于其中任何一个事件的自信息量5.离散信道的平均互信息量平均互信息量与联合熵、独立熵的关系一般关系X和Y相互独立时X和Y一一对应时数据处理定理信息不增性连续信源的熵连续信源均匀分布：高斯分布：指数分布：连续信源的最大熵定理输出峰值受限时的最大熵（瞬时功率受限/幅度受限）：当概率密度分布为均匀分布时，信源具有最大熵输出平均功率受限时的最大熵：当其概率密度函数为高斯分布时，具有最大熵均值受限时的最大熵：其输出信号幅度呈指数分布时连续信源X具有最大熵值信源的剩余度/多余度/冗余度离散信源的剩余度/多余度/冗余度：连续信源的剩余度/多余度/：第三章信道容量离散无噪声信道的熵速率和信道容量熵速率：信道容量：几种离散无噪声信道举例：1、具有一一对应关系的无噪信道2、具有扩展性能的无噪信道3、具有归并性能的无噪信道离散有噪声信道的熵速率和信道容量接收熵速率：信道容量：连续信道中的熵速率与信道容量连续无噪声信道的熵速率和信道容量熵速率信道容量连续有噪声信道熵速率信道容量第四章信源编码编码的定义1、二元码/多元码2、同价码3、等长码4、变长码5、非奇异码/非奇异码6、单义码(单义码)7、非续长码(瞬时可译码/即时码)/续长码(非瞬时可译码/非即时码)单义码存在定理（克劳夫特Kraft不等式）码树图平均码字长度编码定理定长编码定理：变长编码定理：离散无记忆平稳信道的编码定理(香农第二定理)：最佳变长编码一、香农编码二、范诺（费诺）编码(1)把原始信源的符号按概率从大到小重新排列。(2)将信源符号接概率值分为两大组，使两个组的概率之和近于相同，并对各组赋予一个二进制码元“0”和“1”。(3)将每一大组的信源符号进一步再分成两组，使划分后的两个组的概率之和近于相同，并又赋予两个组一个二进制符号“0”和“1”。(4)如此重复，直至每个组只剩下一个信源符号为止。(4)从左至右将分得的码元排列即得码字Wi。三、霍夫曼（哈夫曼）编码⑴将信源消息符号按其出现的概率大小依次排列p(u1)≥p(u2)≥…≥p(un)⑵取两个概率最小的字母分别配以0和1两码元，并将这两个概率相加作为一个新字母的概率，与未分配的二进符号的字母重新排队。⑶对重排后的两个概率最小符号重复步骤⑵的过程。⑷不断继续上述过程，直到最后两个符号配以0和1为止。⑸从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的霍夫曼编码码字。第五章理想通信系统