信息熵及其性质和应用

青岛农业大学本科生课程论文论文题目信息熵及其性质和应用学生专业班级信息与计算科学09级2班学生学号姓名20093992指导教师吴慧完成时间2012年06月25日2012年06月25日课程论文任务书学生姓名指导教师吴慧论文题目信息熵及其性质和应用论文内容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。文中介绍了信息熵的定义和性质及其应用。使我们对信息熵有跟深入的了解。资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。内容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。参考文献的书写按论文中引用的先后顺序连续编码。发出任务书日期06月15日完成论文日期06月25日教研室意见（签字）院长意见（签字）信息熵及其性质和应用信息与计算科学专业指导教师吴慧摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应用。信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。关键词；信息熵性质应用InformationentropyanditspropertiesandApplicationStudentmajoringinInformationandComputingScienceSpecialtydongqiangTutorWuHuiAbstract：informationentropyisameasureofuncertaintyofrandomvariable,thispaperfromthedefinitionofinformationentropy,combinedwiththenatureofinformationentropy,informationentropy,introducedthespecificissuesintheapplicationof.Informationisaverypopularandwidelynoun,itishumanunderstandingoftheworld,transformingtheworldknowledgesource.Thehumansocietydevelopmentspeed,dependononcertainlevelthehumanmakeuseofinformationlevel,sothemeasurementinformationisnecessary.Shannonputforwardtheinforma-tionakindofmeasurement,thedefinitionofentropyform,itistheuncertaintyofrandomvariablemetric,thispapermainlyintroducesthepropertyofentropyanditsapplication.Keywords:informationentropypropertiesapplication引言:作为一种通俗的解释，熵是一种不规则性的测量尺度．这一种解释起源于香农在通讯理论的研究中，为确定信息量而提出的一种熵测度．对于离散概率分布p=(p1,p…，pn)，香农熵定义为H(X)=E[I(ix)]=iplogip在p1+p2+p3+…pk=1的条件下，为使H（X）最大，显然是pi＝1/k（i=1,2,…，k），即在等概率分布情况下H(X)达到最大值，换句话说，熵的值与不规则度（如果以等概率分布作为不规则性的极端表现）是一致的．这是熵作为一个概率测度的理论基础．物理学的发展为熵理论提供了更为现实的应用背景，热力学的第二法则既是所谓熵增大的法则，对孤立的系统，系统的热力学状态只能假定在熵增大的方向上起变化，Boltzmann原理把熵引入了热力学的研究领域，他所提供的著名关系式S=klogw（ｗ是系统状态的概率）是后来Planck的量变论及爱因斯坦的光量子理论开展的基础．人们对熵的认识和应用很长一段时间内都局限于理论物理领域，直到本世纪中叶，一些人开始注意到熵对系统不确定性度量的一般性，试图在行为科学和社会科学中更广泛地引用熵，对一些复杂现象加以刻划。信息熵(entropy)的概念设一个离散型随机变量和它的概率分布为任意随机事件的自信息量定义为该事件发生概率的对数的负值，即I(ix)=-logip。自信息量I(ix)是指某一信源X发出某一消息信号ix所含有的信息量，发出的消息不同，它们所含的信息量也就不同，因此自信息量是一个随机变量，它不能用来作为整个信源的信息测度。香农将平均自信息量定义为信息熵，简称为熵。即H(X)=E[I(ix)]=iplogip。二、信息熵的性质1、对称性：设某一概率系统中n个事件的概率分布为npp,,1，当对事件位置的顺序进行任意置换后，得到新的概率分布为//1,,npp，并有以下关系成立:H(npp,,1)=H(//1,,npp)它表示概率系统中事件的顺序虽不同，但概率系统的熵值是不变的，即概率系统的熵与事件的顺序无关。2、非负性：因为每个p1，所以它们的以不小于1的数为底的对数是不大于零的。3、确定性：设信息系统中，任一事件产生的概率为1，则其他事件产生的概率为0。这是一种确定的系统，对于这样的系统有:H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,0,…,0)=0若信源中只要有一个事件是必然事件，则其余事件为不可能事件。111211211,10)(niiinnnnppppppxxxxxpX0),,(21qpppH此时，信源中每个事件对熵的贡献都为0，因而熵总为零。4、扩展性：若集合X有n个事件，另一集合Y中有n+1个事件，但集合X和Y的差别只是多了一个概率近于零的事件，则两个集合的熵值是一样的。即一个事件的概率和集合中其它事件相比很小时，它对于集合的熵值的贡献就可以忽略不计。式子表达如下：nnnnpppHpppHLim,,,,.,,2121105、可加性与强可加性：（涉及到了两个变量！）H（XY）为两个随机变量的联合熵。可加性：H（XY）等于X的无条件熵，加上已知X时Y的条件概率的熵的平均值，即条件熵对于X与Y独立的情况有：（强可加性）6、递增性：（子集再划分，第n个分为m个）按照定义证明：)|()()(XYHXHXYHqiijijqjixypxypxpXYH11)|(1log)|()()|()()()(YHXHXYHyxxppxyPxPxyP)|()()(;01;01),,(),,(log)()(loglogloglog)(log)()(1112121,.,.,.,.ijmjijiniiniimiiminnniijijmjinimjjiimnjiijijimnjiiijimnjiijiijimnjijijinmpppppppHppppHpppyxppppppppppppyxpyxpXYHmjnjniinmnnmnnnnmnmnpqppqpqpqHpppppHqqqpppH1121121211211,1),,,,(),,,,(),,,,,(mnnminnininnnniiimiiimniniiiiimnHpHppqpqpppppqqpppppH111111111/1log1log1log1log1log1log)(例题：计算7、极值性：可利用两个引理证明；（以后再利用Jensen证明。）引理1：对于x0引理2：其中：8、上凸性：是P的上凸函数即对于和两个概率矢量，有：函数f的图象几何解释：f(EP)总在Ef(P)上边9、1证明离散平稳信源有12213XXHXXXH，试说明等式成立的条件。解：213321213logxxxPxxxPXXXH21321321log312xxxPxxxPxxPxxx2321321log312xxPxxxPxxPxxx=23XXH根据信源的平稳性，有23XXH=12XXH，因此有12213XXHXXXH等式成立的条件是213xxxP23xxP)61,61,31,31(H)/(918.1)21,21()32,31()21,21(2132)21,21(32)32,31()41,41,21(32)32,31()61,61,31,31(symbolbitHHHHHHHqqqqHpppHqlog)1,1,1(),,(211ln11xxxiiqiqqppppHlog),,(121iiiiqp1;1)(),,(21PHpppHq,1021,PP)P(H)1()P(H)P)1(P(H2121θθθθ9、2证明离散信源有NNXHXHXHXHXXXH32121，并说明等式成立的条件。证明12121322121NNNXXXXHXXXHXXHXHXXXH而121NNXXXXH12121log12NNXNXXxxxxPxxxPN121121121log112NNXNNXNXXxxxxPXXXXPxxxPNNNXNNXNXXxPXXXXPxxxPNNlog121121112=NXH即212xHxxH3213xHxxxH代入上述不等式，有NNXHXHXHXHXXXH32121等号成立的条件是：NNNxpxxxxp12112211NNNxpxxxxp212xpxxp9、3在连续信源中，根据差熵、条件差熵和联合差熵的定义，证明（1）h(X|Y)h(X)，当且仅当X和Y统计独立时等号成立；（2）NNXhXhXhXXXh2121当且仅当X1X2NX彼此统计独立时等式成立。证明：（1）dxyxpyxpdyypXYhlogdxxpyxpdyyplogXhdxdyxpyxplog,等号成立当且仅当p(x|y)p(x)，即p(x,y)p(x)p(y)，因此仅当X和Y统计独立时等号成立。（2）根据条件概率密度的相关公式，有12121322121NNNXXXXhXXXhXXhXhXXXh根据（1）的结论，条件差熵小于差熵，因此有NNXhXhXhXhXXXh32121等号成立当且仅当212xpxxp3213xpxxxpNNNxpxxxxp121即2121xpxpxxp321321xpxpxpxxxpNNxpxpxpxxxp21219、4N维连续型随机序列NXXX21,有概率密度以及)(21NXXXp以及2iiimXE。证明：当随机序列的分量各自达到正态分布并彼此统计独立时熵最大。最大熵为NNeN