信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习

山东大学期末考试知识点复习第三章离散信道及其信道容量3．1．1信道的分类在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。信道的分类有：按照信道输入端或输出端的个数可分为单用户信道和多用户信道。按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。3．1．2离散信道的数字模型1．一般离散信道(多维离散信道)一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。其中X=(X1X2…XN)为输入信号，Y=(Y1Y2…YN)为输出信号。X中Xi∈A={a1，a2，…，ar}，Y中Yi∈B={b1，b2，…，bs}。又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足山东大学期末考试知识点复习概率空间[X，P(y|x)，Y]也可用图来描述。2．基本离散信道(单符号离散信道)单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(bj|ai)，Y])，其中X∈A={a1，a2，…，ar}，Y∈B={b1，b2，…，bs)，P(y|x)=P(bj|ai)(i=1，2，…，r；j=1，2，…，s)并满足概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。若将传递概率排列成矩阵形式，则称其为传递矩阵(或称信道矩阵)P，即3．无噪(无干扰信道)若离散信道[X，P(y|x)，Y]满足山东大学期末考试知识点复习若x与y是确定的一一对应关系(f为单值函数)，则称为无噪无损信道。若多个x与一个y为对应(多一对应)关系，则称为无噪有损信道。若离散信道[X，P(y|x)，Y]中P(y|x)不是0，1分布，则称为有噪信道。在有噪信道中，有一类信道若其前向概率P(y|x)不是0，1分布，而后向概率P(x|y)是0，1分布，即y可以唯一确定x，则称为有噪无损信道。有噪无损信道的充要条件是信道矩阵中每一列有一个也仅有一个非零元素。4．离散无记忆信道若离散信道[X，P(y|x)，Y]满足则称为无记忆信道(简记为DMC)，否则为有记忆信道。一般情况，离散无记忆信道的数学模型仍可用单符号的概率空间[X，P(y|x)，Y]来描述。5．离散无记忆信道的N次扩展信道离散无记忆信道[X，P(bj|ai)，Y]的N次扩展信道的数学模型是[XN，P(βh|αk)，YN]其中XN=X=(X1X2…XN)，YN=Y=(Y1Y2…YN)，Xi=X∈A={a1，a2，…，ar)(i=1，2，…，N)，Yi=Y∈B={b1，b2，…，bs)(i=1，2，…，N)山东大学期末考试知识点复习3．1．3离散信道的平均互信息及其特性1．信道疑义度信道疑义度是在信道输出端接收到输出随机变量Y(或随机矢量Y)后，对输入端的随机变量X(或矢量X)尚存在的平均不确定性(尚存在的疑义)。它也表示信号通过信道传输后所引起的信息损失，故又称为损失熵。记为H(X|Y)(或H(X|Y)，基本离散信道[X，P(y|x)，Y]中2．互信息互信息是信道输出端接收到某消息y(或某消息序列y)后获得关于输入端某消息x(或某消息序列x)的信息量，记为I(x；y)[或I(x；y)]，即3．平均互信息山东大学期末考试知识点复习平均互信息是互信息在其概率空间中的数学期望，记为I(X；Y)(或I(X；Y))，得4．平均互信息的物理含义及与各类熵的关系(1)平均互信息与各类熵的关系I(X；Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)或I(X；Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)其中H(X)[或H(X)]是信道输入端信源的信息熵；H(Y)或[H(Y)]是信道输出端输出信源的信息熵；H(X|Y)[或H(X|Y)]是信道疑义度(损失熵)；H(Y|X)[或H(Y|X)]是已知输入变量X(或矢量X)的条件下，对于随机变量Y(或矢量Y)尚存在的不确定义(疑义)，称为噪声熵。(2)平均互信息的物理含义·平均互信息表示接收到输出信号的前、后关于输入信号的平均不确定性的消除。·平均互信息表示输入信号发出的前、后，关于输出信号的平均不确定性的消除。山东大学期末考试知识点复习·平均互信息表示信道的输出信号和输入信号之间相互提供的平均信息量。·平均互信息是输入信号和输出信号之间统计依赖关系的信息量度。·平均互信息表示信道中平均每个符号所能传送的信息量，就是信道的信息传输率R。5．平均互信息的特性(1)非负性I(X；Y)≥0或I(X；Y)≥0当且仅当X和Y(或X和Y)统计独立时，等式成立。(2)极值性I(X；Y)≤min[H(X)，H(Y)]或I(X；Y)≤min[H(X)，H(Y)]当且仅当H(X|Y)=0(或H(X|Y)=0)时I(X；Y)=H(X)或I(X；Y)=H(X)当且仅当H(Y|X)=0(或H(Y|X)=0)时I(X；Y)=H(Y)或I(X；Y)=H(Y)(3)交互性(对称性)I(X；Y)=I(Y；X)或I(X；Y)=I(Y；X)(4)凸状性I(X；Y)[或I(X；Y)]是输入信源的概率分布P(x)(P(x))的上凸函数；I(X；Y)[或I(X；Y)]是信道传递概率P(y|x)(P(y|x))的下凸函数。(5)不增性，即信息不增原理任何不涉及原信源的数据处理，都不会增加获得关于原信源的平均互信息，山东大学期末考试知识点复习也称数据处理定理。·若离散随机变量X→Y→Z形成马氏链，则I(X；Z)≤I(X；Y)·若离散随机矢量S→X→Y→Z，形成马氏链，则I(S；Z)≤I(X；Z)≤I(X；Y)6．I(X；Y)与I(Xi；Yi)的关系I(X；Y)是两个离散随机矢量(随机序列)之间的平均互信息；而I(Xi；Yi)是两序列中对应的离散随机变量之间的平均互信息。若X=(X1X2…XN)，Y=(Y1Y2…YN)其中Xi∈A={a1，a2，…，ar}，Yi∈B={bl，b2，…，ar}且有x∈X，y∈Y，xi∈Xi，yi∈Yi．则：山东大学期末考试知识点复习3．1．4多个随机变量之间的平均互信息1．平均条件互信息2．平均互信息离散随机变量X与随机矢量YZ之间的平均互信息为3．条件互信息与互信息的关系I(X；YZ)=I(X；Y)+I(X；Z|Y)=I(X；Z)+I(X；Y|Z)上述关系式易于推广到任意有限维的随机变量中。3．1．5离散信道的信道容量及其计算方法1．离散信道的信道容量离散无记忆信道[X，P(y|x)，Y]的最大信息传输率称为此信道的信道容量，记为C，即山东大学期末考试知识点复习相应的输入概率分布P(x)称为最佳输入分布。其单位是比特／符号、奈特／符号或哈特／符号。最佳输入分布不一定是唯一的，但最佳输出分布是唯一的。它是单位时间内信道的最大信息传输速率。2．信息容量的计算3．计算信道容量的方法(1)运用信道容量解的充要性对于一些简单、特殊的信道，可先估算出P(ai)(或P(bj))，然后用定理3．3来验证并求解。(2)运用特殊信道的容量公式求解观察是否是特殊信道(无噪信道、无损信道、对称信道、准对称信道等)，若是，就直接按照它们的容量公式来计算。(3)运用r个方程求解若信道矩阵P是非奇异矩阵，并r=s，可用下列r个方程求解山东大学期末考试知识点复习再由P(bj)求出最佳输入分布P(ai)。若上述公式中对数选取其他单位时，则公式应作相应改变。(必须解得的所有P(ai)≥0，其中i=1，2，…，r，否则解必在边界上，需重新计算。)最后还可用迭代算法计算。3．1．6常见信道的平均互信息和信道容量1．无噪一一对应信道(无噪无损信道)I(X；Y)=H(X)=H(Y)；C=log||A||其中||A||表示输入变量X的符号集A中符号的个数。2．有噪无损信道(H(X|Y)=0)I(X；Y)=H(X)H(Y)；C=log||A||3．无噪有损信道(H(Y|X)=0)I(X；Y)=H(Y)H(X)；C=log||B||||B||表示输出变量Y的符号集B中符号的个数。4．离散对称信道I(X；Y)=H(Y)-H(P的行矢量)；C=log||B||-H(P的行矢量)其中H(P的行矢量)表示信道矩阵P的行矢量的熵函数。5．r元强对称信道C=logr-plog(r-1)-H(p)(p是总错误传递概率)山东大学期末考试知识点复习6．二元对称信道3．1．7无记忆N次扩展信道的I(X；Y)和容量CN离散无记忆信道[X，P(bj|ai)，Y]的N次扩展信道[XN，P(βh|αk)，YN]有I(X；Y)≤NI(X；Y)；CN=NC其中I(X；Y)和C是离散无记忆信道的互信息及信道容量。其最佳输入分布是信源X无记忆及每一分量Xi各自达到最佳分布P(x)。3．1．8独立并联信道的互信息和信道容量3．1．9串接信道互信息及信道容量3．1．10信道剩余度信道剩余度=C-I(X；Y)信道相对剩余度=1-I(X；Y)/C山东大学期末考试知识点复习对于无损、对称等一类信道，可通过无失真信源编码使信道剩余度接近于零，使信源和信道达到匹配。