第10讲――信道与信道容量2013B

信道及其容量(第四章）第十讲信道：传输信息的通道或媒质–在通信中，信道按其物理组成被分成微波信道、光纤信道、电缆信道等。–信号在这些信道中传输的过程遵循不同的物理规律。–信息论关注信息通过有扰信道的传输问题。用数学方法研究信息在信道中传输的规律，因此我们首先需要确定信道的数学模型。信道的基本概念设信道的输入输出信道转移概率矩阵：–描述输入和输出的统计依赖关系XxxxxiN),,...,,(21x信道XYp(Y|X)信道数学模型Xp(Y|X)Y)/(xypYyyyyiN),,...,,(21y•按信道的输入和输出在幅度和时间上的取值–时间离散的离散信道（离散信道）–时间离散的连续信道（连续信道）–时间连续的离散信道–时间连续的连续信道（波形信道）信道分类•按输入输出之间关系的记忆性来划分：–无记忆信道信道的输出只与信道该时刻的输入有关,而与其它时刻的输入无关–有无记忆信道信道的输出不但与信道现在时刻的输入有关，而且还与以前时刻的输入有关信道分类•按输入输出信号之间的关系是否是确定关系–无干扰信道：输入和输出符号之间有确定的一一对应关系–有干扰信道：输入和输出之间关系是一种统计依存的关系•输入和输出的统计特性：–恒参信道和随参信道–对称信道和非对称信道信道分类信道0,1,2,,1XK0,1,2,,1YJ12Nix,x,,xxXX2,,,1NiyyyyYY1212(|)(,,,|,,,)NNNppyyyxxxyx)|(xyNp离散无记忆信道)|()|()|(2211NNxypxypxyp1101101,11,10,11,11,10,11,01,00,0KpppppppppPJJKKKJJ)|(nnxyp信道转移矩阵–输入符号X取值{0,1}–输出符号Y取值{0,1}–信道转移概率p(0|0)=1-pp(1|1)=1-pp(0|1)=pp(1|0)=p0101pp1-p1-p101110ppppP无错误传输的概率传输发生错误的概率二元对称信道（BSC）–输入符号X取值{0,1}–输出符号Y取值{0,1,2}–信道转移概率021011-pp1-ppppppP1001二元纯删除信道（BEC）p(0|0)=1-pp(0|1)=0p(2|0)=pp(2|1)=pp(1|0)=0p(1|1)=1-p•研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率•平均互信息I(X;Y)–接收到符号Y后平均每个符号获得的关于X的信息量。信道容量1100111000(|)(;)()log()(|)()(|)log()(|)KJxyKJKxyzpyxIXYPxywypyxqxpyxqzpyz信道容量给定转移概率P后,平均互信息I(X;Y)是输入信源的概率分布q(x)的上凸函数。离散无记忆信道的信道容量定义为{(),}max(;)qqxxXCIXY信道容量C与信源无关，只是信道转移概率的函数，不同的信道就有不同的信道容量，它反映了信道本身的传信能力。回顾定义即为改变输入分布时，使每个符号所能含有的平均互信息量的最大值，相应的输入分布称为最佳分布。输入概率矢量KQQQQ,,,10达到转移概率为)(kjp的DMC的容量C的充要条件为CYkxI);(0,kQkCYkxI);(0,kQk其中，iijijpQkjpkjpYkxI)()(log)();(定理：达到C的充要条件在给定输入分布下，若某个输入k与所有输出事件之间的平均互信息大于其它任一输入与所有输出之间的平均互信息，我们就可以通过更经常采用这个输入k（即加大Qk）。但这样做会改变每个输入与所有输出之间的平均互信息量（由概率归一性约束）。通过足够多次的调整输入概率分布，就可使每个概率不为零的输入与所有输出之间的平均互信息量任意接近。定理与直观概念一致令是定义在R上的凸∩函数，其中=(1,2,…,K)存在且在R域上连续，在R上为极大的充分必要条件是Kuhn-Tucker条件()fα为一概率矢量。假定偏导数()kfaα对所有’k0对所有’k=0)('f')(kf')(kf其中为一常数。);(YXI是kQ的上凸函数，故必有最大值，由K-T条件，kQ为最佳分布的充要条件是kQYXI);(0,kQkkQYXI);(0,kQk为常数达到C的充要条件证明：jmKiimkkijpQmjpmjpQQQYXI10)()(log)();(jkmKiimKiikkijpQmjpmjpQijpQkjpkjpQQ1010loglogjmKiimKiiijpQkjpmjpQeijpQkjpkjp1010loglogjjKiikjpeijpQkjpkjploglog10jkmKiimKiikkijpQmjpmjpQijpQkjpkjpQQ1010loglog0,kQk0,kQk为常数从而充要条件为eYkxIlog);(eYkxIlog);(eYkxIlog);(令eClog，则CYkxI);(对CYkxI);(左右两边乘以kQ，并对Xk得到给定信道在分布kQ即达到了信道容量值。CYXI),(下，输入和输出之间的信息量0,kQk0,kQk为常数从而充要条件为eYkxIlog);(eYkxIlog);(则充要条件可写为CYkxI);(0,kQkCYkxI);(0,kQk求和，就可以对于一般信道,信道容量计算相当复杂,数值解。我们只讨论某些特殊类型的信道•几种特殊类型的信道－无噪无损信道－有噪无损信道－无噪有损信道－(准)对称信道－可逆矩阵信道信道容量计算•无噪无损信道–输入和输出符号之间有确定的一一对应关系X100010001Pa1b1Ya2b2a3b3111无噪无损信道容量X0001001001001000Pa1b1a2b2ak-1bk-1akbk11Y噪声熵H(Y|X)=0，损失熵H(X|Y)=0因此)()(),(YHXHYXI2()max(;)logiqaCIXYK无噪无损信道容量•无噪有损信道–多个输入变成一个输出(K＞J)X1010010101Pa1b1a2a3a4b2a511111输出Y是输入X的确定函数,但不是一对一,而是多对一无噪有损信道容量Y噪声熵H(Y|X)＝0损失熵H(X|Y)≠0)()(),(XHYHYXI()max(;)max()logiqaCIXYHYJ•有噪无损信道–一个输入对应多个输出(K＜J)Xb1Ya1b2b3a2b4b51/31/31/31/43/4111003331300044P有噪无损信道容量接收到符号Y后,对发送的X符号完全确定的。噪声熵H(Y|X)≠0，损失熵H(X|Y)=0)()(),(YHXHYXI()max(;)max()logiqaCIXYHXK对称性:–若P的任一行是第一行的置换，则称信道是关于输入为对称的。–若P的任一列是第一列的置换，则称信道是关于输出为对称的。–若信道是关于输入为对称的，又是关于输出为对称的，则称信道为对称信道。2131616121313161213131616161613131PP对称信道7.01.01.02.02.07.03161316161613131PP不具有对称性若信道输出集Y可以划分成几个子集，而每个子集所对应的信道转移矩阵P中的列组成的子阵具有如下性质：（1）任一行是第一行的置换，（2）任一列是第一列的置换。则称信道为准对称信道。准对称信道若列子集只有一个，则为对称信道。1111336611116363P定理1若DMC关于输入为对称的，则对任意k∈{0,1,…,K-1}110011(|)log(|)log(|)(|)JJjjpjipjkpjipjk101(|)(|)log(|)(|)JjHYXpjkHYXkpjk)|(1log)|()()|(1log)|()()|(10101010ijpijpipijpijpipXYHKiJjKiJj准对称信道特点证明关于输入对称，则P的任一行是第一行的置换，即10)|(1log)|()|(JjkjpkjpXYHk于是i定理2若DMC关于输出为对称的，则当输入分布等概时，输出分布等概。证明：关于输出对称，即任何一列是第一列的置换设q(x)=1/K，x∈{0,1,…,K-1}，则1100101(|)(|)1('|)KKjkkkKkwQpjkpjkKpjkK准对称信道特点根据概率归一性，Jwj1此时JKkjpKk10)|(，即输出等概分布'j定理3对于准对称DMC信道（1）达到信道容量的最佳输入分布为等概分布；（2）信道容量为kYkXIijpKkjpkjpCJjKi；);()|(1)|(log)|(1010准对称信道容量特点最佳输入分布为等概分布kYkXIijpKkjpkjpCJjKi；);()|(1)|(log)|(1010若信道为准对称，则当输入等概时，有10()(;)()logJjjpjkIxkYpjkw()()logssjYjpjkpjkw子集Ys中相应子阵的列是可置换的，所以，对此子阵中的每一个输出j，概率证明：准对称信道容量特点jw准对称，可将可将Y划分为一些子集Ys都相等，又在同一个子阵中，各行又都是第1行的置换，所以()(')()log(')logjYsjYsjjpjkpjkpjkpjkconstww,'(;)(';)ssjYkkIxkYconstIxkY满足了K-T条件，从而证明输入等概情况下达到信道容量。准对称信道容量特点准对称DMC信道准对称信道容量计算公式101010)(1)(log)()(log)();(JjKiJjjijpKkjpkjpwkjpkjpYkxIC对称DMC信道10)(log)(logJjkjpkjpJC例：二元对称信道（BSC）0101pp1-p1-p101110ppppP比特/符号)(1)(log)(log10pHkjpkjpJCJj对称信道最佳输入分布为等概分布当输入等概时，输出分布也为等概信道容量)()1log(log)1(log)1()1()1log()1(logpHKpKKpKpKppKC)(12pHCK时：当例：KSC信道容量pKpKpKpKpKpKppP1111111110)(log)(logJjkjpkjpJC对称DMC信道比特/符号021011-pp1-ppppppP1001例:二元纯删除信道（BEC）pijpKkjpkjpYkxICJjKi1)(1)(log)();(1010比特/符号准对称信道例：二元删除信道容量例：二元删除信道输入事件集为{0,1}；输出事件集为{0,