信息论基础

1信息论基础第一讲信息的基本概念与预备知识一、信息的基本概念1、信息论是通信的数学理论，是运用数理统计的方法研究信息的传输、存储与处理的科学。2、物质、能量、信息是构成客观世界的三大要素，信息存在于任何事物中，有物质的地方就有信息。3、信息具有的性质（1）无形————不具实体性；（2）共享————交流者不会失去原有信息，还可获得新的信息，可无限传播，也可限制传播，如设密码、安全措施；（3）信息是一种资源————永远在产生、更新、演变，取之不尽用之不竭；（4）可度量————信息的数量和质量可度量。3、概率信息（香农信息或狭义信息）美国数学家香农（C.E.Shannan）提出，信息源具有随机性不定度，为了消除一定的不定度必须获得与此不定度相等的信息量。（1）甲袋有100个球，50个红，50个人白，取出一个为红；（2）乙袋有100个球，25个红，25个白，25个蓝，225个黑，取出一个为红；概率大，不确定性小，信息量小，。4、消息构成消息的条件：能被通信双方理解，可在通信中进行传递和交换。消息具有不同的形式，如语言、文字、符号、数据、图片等。消息是信息的载荷者，同一消息可以含不同的信息量，同一信息可以用不同形式的消息来载荷。5、信号信号是消息的表现形式，消息是信号的具体内容。信号是消息的载体。6、信息的传输系统信源——编码——信道——译码器——信宿二、预备知识1、全概公式nkkknkkABpApBApBp11)()()()(2、贝叶斯公式)()()()()()(BpABpApBpBApBApkkkk3、条件概率3)()()(BpABpBAp4、乘法公式)()()()()(BApBpABpApABp4、不等式1ln110xxxx三、自信息的度量1、自信息随机事件ix发生概率为)(ixp，则随机事件ix的自信息量为)(log)(iixpxI。（1）非负性（2）随机性)(ixI是随机变量（3）单调性概率大自信息量小（4）随机事件的不确定性在数量上等于它的自信息量。（5）单位以2为底，记作lb，单位比特（bit）；4以e为底，记作ln，单位奈特（nat）；以10为底，记作lg，单位哈脱来（hat）。常用数值:lb3=1.585,lbe=1.443,lb10=3.322,lb5=2.322，lb7=2.806，例1见教材p9习题2.5一副充分洗乱了的牌（含52张牌），试问(1)任一特定排列所给出的信息量是多少？(2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1)52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(ixpbitxpxIii581.225!52log)(log)((2)52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：5bitCxpxICxpiii208.134log)(log)(4)(135213135213补充1设离散无记忆信源8/14/1324/18/310)(4321xxxxXPX，其发出的信息为202120130213001203210110321010021032011223210，求(1)此消息的自信息量是多少？(2)此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183p此消息的信息量是：bitpI811.87log(2)此消息中平均每符号携带的信息量是：bitnI951.145/811.87/62、联合自信息)(log)(jijiyxpyxI3、条件自信息)(log)jijiyxpyxI（jy给定后ix还存在的不确定性。例2见教材p9习题2.4居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.757设随机变量Y代表女孩子身高Yy1（身高160cm）y2（身高160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：bitxyp75.0)/(11求：身高160厘米以上的某女孩是大学生的信息量即：bitypxypxpyxpyxI415.15.075.025.0log)()/()(log)/(log)/(11111111四、互信息的度量1、);()()()()()()(log)()()(log)()(log);(ijijjjiijijjijiijijixyIxyIyIyxIxIypxypypxpyxpxpyxpyxI先验的不确定性减去尚存在的不确定性，即消除的不确定性的度量；或jy的出现后所提供的有关ix的信息量。2、性质（1）互易性);();(ijjixyIyxI（2）独立时互信息为零8（3）可正可负为正，事件jy的出现有助于肯定事件ix的出现；为负，则不利，存在信道干扰。（4）)();(ijixIyxI，)();(jijyIxyI例3见教材p12补充2有两个二元随机变量X和Y，它们的联合概率为YXx1=0x2=1y1=01/83/8y2=13/81/8试求：（1）)(ixI，)(jyI；（2）)(jiyxI；（3）)jiyxI（，)ijxyI（；（4）);(jiyxI，其中2,1,ji解：（1）21)()()()(2121ypypxpxp)(1xI)(2xI)(1yIbitlbyI12)(2（2）81)()(2211yxpyxp，83)()(1221yxpyxp)(11yxIbityxI38log)(22，9)(21yxIbityxI415.1585.133log8log)(12（3）)()(1111xypyxp41)()(2222xypyxpbitxyIyxIxyIyxI24log)()()()22221111（)()(1221xypyxp43)()(2112xypyxpbitxyIyxIxyIyxI415.03log4log)()()()21121221（（4）bitxyIyxIxyIyxI1-2log-);();();();22221111（bitxyIyxIxyIyxI585.02log3log);();();();21121221（3、条件互信息)()(logkikjikjizxpzyxpzyxI）；（4、)()(log);(ikjikjixpzyxpzyxI五、小结10)(log)(iixpxI)(log)(jijiyxpyxI)(log)jijiyxpyxI（);()()()()()()(log)()()(log)()(log);(ijijjjiijijjijiijijixyIxyIyIyxIxIypxypypxpyxpxpyxpyxI)()(logkikjikjizxpzyxpzyxI）；（)()(log);(ikjikjixpzyxpzyxI六、作业习题p412.1，2.2，2.5，2.8思考题：2.3，2.7，11第二讲平均自信息——信息熵一、复习)(log)(iixpxI)(log)(jijiyxpyxI)(log)jijiyxpyxI（);()()()()()()(log)()()(log)()(log);(ijijjjiijijjijiijijixyIxyIyIyxIxIypxypypxpyxpxpyxpyxI)()(log);(ikjikjixpzyxpzyxI)()(logkikjikjizxpzyxpzyxI）；（二、信息熵1、)(ixI的数学期望定义为平均自信息，又称为信息熵，简称熵，)(log)()()(1iniiixpxpxEIXH表示事件出现的平均不确定性，在观测之前，确定出现一个事件平均所需的信息量；或在观测之后，每出现一个事件平均给出的信息量。12规定：00log0特别地，等概时，nnnXHnilog)1log(1)(12、举例（1）p15（2）试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0,1,2,3}八进制脉冲可以表示8个不同的消息，例如：{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同的消息，例如：{0,1}假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbolbitnXH/24loglog)(1八进制脉冲的平均信息量symbolbitnXH/38loglog)(2二进制脉冲的平均信息量symbolbitnXH/12loglog)(013所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。（3）、从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士：symbolbitxpxpXHbitxpxIxpbitxpxIxpiiiNNNYYY/366.0)93.0log93.007.0log07.0()(log)()(105.093.0log)(log)(%93)(837.307.0log)(log)(%7)(2女士：symbolbitxpxpXHiii/045.0)995.0log995.0005.0log005.0()(log)()(23、熵的数学特性14记iniinpppppHPHXHlog),,,121（）（）（上凸函数：)()1()(])1([2121XfXfXXf（严格上凸函数，下凸函数，严格下凸函数）（1）引理2.3.1Jenson不等式p17（2）熵的数学特性性质1对称性性质2非负性（离散成立，连续不一定成立）性质3扩展性性质4可加性性质5极值性性质6确定性性质7上凸性4、条件熵定义2.3.3mjijijixypxypxXYH1)(log)()(XYijjiXYijjixypyxpxyIyxpXYH)(log)()()()(称为噪声熵，是由于信道中噪声引起的。15nijijijyxpyxpyYXH1)(log)()(XYjijiXYjijiyxpyxpyxIyxpYXH)(log)()()()(称为信道疑义度，表示得到输出的条件下，输入中剩余的不确定性，即信道损失。5、联合熵——共熵XY)(log)(p-,jijiyxpyxYXH）（例p286、各种熵的关系(1))()()()(,YXHYHXYHXHYXH）（独立时，)()(),(),()(),()(YHXHYXHXHYXHYHXYH推广：)()()(),,(12112121NNNXXXXHXXHXHXXXH独立时，)(()(),,(2121NNXHXHXHXXXH）(2))()(),(YHXHYXH)(()(),,(2121NNXHXHXHXXXH）)()(,)()(XHYXHYHXYH167、例题（1）设信源17.016.017.018.019.02.0)(654321xxxxxxXPX，求这个信源的熵，并解释为什么H(X)log6不满足信源熵的极值性。解：585.26log)(/657.2)17.0log