信息论与编码[第八章网络信息论]山东大学期末考试知识点复习

山东大学期末考试知识点复习第八章网络信息论8．1．1通信网信道的分类通信网信道主要划分成以下几种典型情况：多址接入信道、广播信道、中继信道、双向信道、反馈信道、串扰信道和多用户通信网。网络信息理论研究的主要问题是：第一，网络信道的信道容量；第二，网络信道编码定理；第三，实现编码定理的码的结构问题(包括信源编码和信道编码)。由于通信网组成与结构变化多端，对其信源编码和信道编码问题的一般性研究有很大困难。即使对于通信网的这些典型信道也只得到一小部分的结论，相当一部分的问题尚未得到解决。总之，网络信息论尚在发展之中。8．1．2多个随机变量的联合典型序列1．多个随机变量的联合典型序列集山东大学期末考试知识点复习8．1．3多址接入信道多址接入信道又称多源接入信道，它是有多个不同信源的信息经过不同编码器，送入同一信道进行传送。信道接收端仅仅由一个译码器译出不同信源的消息，送给不同的信宿。如图8．1所示。它是多输入单输出的信道。山东大学期末考试知识点复习多址接入信道又分离散多址接入信道和多址接入高斯加性信道。1．离散多址接入信道(1)离散两址接入信道两址接入信道[X1×X2，P(y|x1x2)，Y]的信道容量区，由满足下述凸壳的闭包给定：此容量区域是T维空间多面体所形成的凸包。2．多址接入高斯噪声加性信道(1)两址接入高斯噪声加性信道的信道容量区是满足下述所有可达速率对组成的凸包：山东大学期末考试知识点复习·多址接入信道的定理证明了，在其信道容量区域内，一定存在一种编码，能够可靠地传输信息(PE→0)。·一般情况下，多址接入信道的可达容量区是大于时分和频分多路通信所能达到的速率区。·多址接入高斯噪声加性信道中，尽管各信源相互独立且各自平均功率受限，但其总容量的最大值却等于受相同总平均功率限制的单个信源能达到的容量值。·当接入信源的m增大时，总传输率增大，各路对任一路的干扰也随之增大。但此时仍能保证每个发送端以Ri速率传输信息。*8．1．4广播信道多个不同的信源的信息经过一个公用的编码器后，送入信道，而信道输出通过不同的译码器后传送给不同信宿。它是单一输入和多个输出的信道。如图8．2所示。这信道的各输出端在地理上可以是分散的，信号所受干扰的情况也都不相同，因此不同的译码器是分散独立的。山东大学期末考试知识点复习一般广播信道的可靠传输的容量区问题尚未得到解决。下面给出两址降阶的广播信道的可达容量区。1．降阶的离散广播信道降阶的离散广播信道如图8．3所示。其X→Y的信道K1为[X，P(y|x)，y]，而X传递到另一接收端Z的信道K2为[X，P(z|x)，Z]，并且X、Y、Z为马尔可夫链，即满足其中U是辅助的随机变量，可以理解为信源2输出的信息。而符号||·||表示符号集·中元素的个数。2．高斯广播信道所有高斯加性广播信道都属于降阶广播信道。高斯加性广播信道的可达的信道容量区为*8．1．5中继信道山东大学期末考试知识点复习中继信道只有一个接收端和一个发送端，另外还有一些中继点，它帮助发送端到接收端进行通信。中继信道是发送端和接收端之间经过多种途径所进行的单向通信，所以可看成是由一个广播信道和一个多址接入信道组成。如图8．4所示。1．简单的中继信道最简单的中继信道只有一个中继点。3．高斯中继信道设高斯中继信道8．1．6反馈信道山东大学期末考试知识点复习反馈信道输出端的译码器有部分信息反馈传送到输入端的编码器。这种信道中正向信道传送信息，而反向信道只用来将接收信号反馈到发送端。单向通信系统加上一个反馈线路就是具有反馈的简单信道。若多址接入信道上加入从译码器到编码器的反馈线路就是具有反馈的多址信道。具有理想反馈的离散无记忆反馈信道如图8．5所示，它是最简单的反馈信道。具有理想反馈的离散无记忆反馈信道的信道容量仍等于无反馈时离散无记忆信道的信道容量。因此，反馈不能使无记忆信道增加信道容量。8．1．7相关信源无失真编码两个相关信源编码的最基本结构如图8．6所示。称为Slepian-Wolf模型，是最具实际意义和最好解决的模型。相关信源无失真编码定理(Slepian-wolf)：两个离散无记忆相关信源S1和S2，分别以速率R1和R2传输信息，在一共同的译码器以任意小的错误概率无失真地再现信源，所有的可达速率对必满足山东大学期末考试知识点复习8．1．8相关信源的多址接入信道相关信源的多址接入信道模型如图8．7所示。则信源(S1S2)可在离散无记忆二址接入信道中可靠地传输。上述结论说明，在网络的信源信道编码中，分别进行信源编码和信道编码的这种方法并不是最佳方法。*8．1．9具有边信息的无失真信源编码具有边信息的无失真信源编码的模型如图8．8所示。具有边信息的无失真信源编码定理：设信源S1和S2，其概率分布为P(s1s2)。山东大学期末考试知识点复习信源S1以速率R1编码。信源S2以速率R2编码并作为边信息送至译码器，辅助译码器复现信源S1。当且仅当满足R1≥H(S1|Z)和R2≥I(S2；Z)则信源S1存在无失真信源编码，译码错误概率任意小。其中Z为随机变量，它使S1→S2→Z形成马尔可夫链，而且||Z||≤||S2||+2。符号||Z||和||S2||表示符号集Z和S2中元素的个数。*8．1．10具有边信息的率失真信源编码1．具有边信息的率失真函数两离散无记忆相关信源S1、S2概率分布为P(s1s2)，失真度为d(s1，g(s2，ω))，具有边信息的信息率失真函数是2．具有边信息的率失真信源编码定理