信122蔡猛毕业设计

前言：关于信息论及其创始人信息论（informationtheory）顾名思义是研究“信息”的理论。那么信息到底是什么？信息的重要性到底有多大？“信息”是个大家耳熟能详却又含义模糊的词。它存在于生活的方方面面，它的载体多种多样：图片，文字，符号，声音……我们在试着从哲学的角度出发，发现哲学界对信息没有统一的定义，哲学认为信息分为三种形态：自在信息，自为信息和再生信息。从中我们可以看出信息似乎是我们司空见惯的概念，它理解起来很容易，但要准确描述信息是什么却又非常困难。而信息论的伟大贡献就在于可以用数学公式严格定义信息的量，反映了信息表达形式在统计方面的性质。提到信息论就不得不提到一个它的创始人——克劳德.埃尔伍德.香农。而前不久的2016年4月30日正是这位伟人的整整一百周年诞辰。1948年，香农发表了一篇专题论文，这篇论文的题目简单而又宏大，就像几百年前牛顿发表的论文题目相似——《通信的数学理论》。这篇文章创新性的引入了信息熵的概念，并开创了比特这个如今最常见的单位之一，而最重要的莫过于香农从理论上证明了只要通信速率低于信道容量C，总可以找到一个编码方式，使得误差概率接近于0，并提出了可以求出信道容量C的标准公式，也就是本篇论文着重研究的香农公式：C=Wlog（1+𝑃𝑁）这个结论震惊了整个通讯理论界，因为在此之前人们普遍认为以固定速率发送信息，而忽略概率的传输系统是不可能做到的，它的重要性丝毫不亚于同年诞生的跨时代科技产物——晶体管，而自此开创了信息论这门伟大的学科。此后的时间香农又发表了诸如信息论解决密码学的新思路之类的多项成果，为信息论做出了大量贡献。而本文着重要解决的是通过迭代算法运用计算机来计算信道容量，从而提升效率和精准度。一信道及信道容量的概述信道，就是信息传输的通道。信道容量是信道传送信息的最大能力的度量，信道实际传送的信息量必然不大于信道容量。研究信道的就是要讨论信道中平均每个符号能传输的信息量，也就是信道的信息传输率R，而平均互信息I(X;Y)是接收到输出符号集Y后所获得的关于输入符号集X的信息量，所以信道的信息传输率就是平均互信息。又有信源（信息的发源地）的不确定性H(X），由于存在干扰，接收端收到Y后对信源仍然存在不确定性H(X|Y），又称为信道疑义度。信宿（通信过程中接收和处理信息的设备或计算机）消除的关于信源的不确定性，也就是获得的关于信源的信息为I(X;Y），即）丨（）（）；（YXHXHYXIR-我们讨论的是信道在单位时间为秒的条件下平均传输的信息量。假设平均传输一个符号需要t秒，则信道每秒平均传输的信息量为t1t1t）；（YXIR）丨（）（YXHXHt1-（比特/秒）一般称这为信息传输率。对于固定的信道，总存在某种输入概率分布P（x），使得信道平均传输一个符号接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即为信道容量C。}{Imaxxp）；（）（YXC信道容量的单位为比特/秒，对应的输入概率分布P（x）为最佳概率分布。二常用对称信道的信道容量单符号离散对称信道是一种常用的特殊通道。我们可以在前面对信道介绍和分析基础上，运用有关信息论知识和相关重要结论，简化和分析信道容量的计算过程和方法，直接导出下面三种对称信道的信道容量。1对称离散信道的信道容量如果单符号离散信道的信道矩阵[P]中每一行都是由同一符号集合{pppn.....21，}中元素的不同排列组成，每一列也都是由同一集合{yyyn.....,21}元素不同排列组成，则这种信道称为对称离散信道。例如[A1]=}2121515151512121{[A2]={513141415131314151}所对应的信道为对称离散信道容量。但下面的矩阵对应的信道不是对称离散信道：[A1]={2151215151512121}[A2]=（6.01.03.01.03.06.0）因为在[A1]和[A2]中，虽然每行都是同一集合元素不同排列，但是每一列不都是同一集合元素不同排列。假设信道的输入符号集为X，输出符号集为Y，输入符号数为s，输出符号数为n，对称离散信道的信道矩阵[A]的行元素集合为{pppn.....21，},那么有：0≤pppn.....21，≤1，1n1mmp若X的概率分布由P（ai）（s,....2,1i）表示，那么根据熵函数的对称性，得到对称离散信道的噪声熵为)(log)(p)p(-aaaiis1in1mi丨丨）丨（bbmmpXYH=），（pppnH....21【1.1】【1.1】可以说明对称离散信道“信道矩阵[P]中每一行都是由同一符号集合{pppn.....21，}中元素的不同排列组成”这个基本特点导致了对称离散信道的噪声熵）丨（XYH就是信道矩阵[P]中行元素集合{pppn.....21，}的n个元素)....2,1(nmpm构成的熵函数H{pppn.....21，}这个噪声熵的显著特点。由于行元素集合就是信道的传递概率，是给定对称离散信道本身固有参量，和输入信源X无关，所以由【1.1】可得对称离散信道的信道容量如下）（）；（）（pppnYXC.....,H-nlog}{I21xpmax【1.2】问题的关键在于当输入信源X的概率分布P（X）呈什么分布时，才能使输出随机变量Y达到等概分布，使输出随机变量Y的熵H（Y）达到的最大值logn。2.强对称离散信道的信道容量单符号离散信道的输入符号集X{z....zz21，}3。准对称离散信道的信道容量三．一般信道容量的算法分析传统计算信道容量的方法是人工进行的，由于涉及大量的数据，人工计算既无法保证效率，又不能保证精度，这就会为通讯系统的后续计算产生不小的误差，因此高效高精度的解决信道容量问题就成了通讯实验的一个重要问题，本节文章就将尝试使用计算机算法通过计算机来解决信道容量的计算问题。本文主要讨论的是离散无记忆信道（DMC）的信道容量。一般离散信道的平均互信息I（X；Y）达到最大值也就是我们所要求的信道容量，其充要条件是输入概率{}近年来人们大多采用的是计算机运用迭代法求解，这是一种有效的数值算法，它可以以任意给定的精度和有限步数算出任意离散无记忆信道的信道容量。图【a】为信道容量迭代算法流程图。P(ai)=)(p0ai输入图【a】如图【a】所示，迭代会一直循环，直到C（n+1，n）与C'（n+1，n）相减得到的差值小于给出的精度α，这时二者相差较小，都可以看成为给定信道的信道容量。C=C（n+1,n）是否end