《概率论与数理统计》笔记

《概率论和数理统计》笔记一、课程导读“概率论和数理统计”是研究随机现象的规律性的一门学科在自然界，在人们的实践活动中，所遇到的现象一般可以分为两类：确定性现象随机现象确定性现象在一定的条件下，必然会出现某种确定的结果．例如，向上抛一枚硬币，由于受到地心引力的作用，硬币上升到某一高度后必定会下落．我们把这类现象称为确定性现象（或必然现象）．同样，任何物体没有受到外力作用时，必定保持其原有的静止或等速运动状态；导线通电后，必定会发热；等等也都是确定性现象．随机现象在一定的条件下，可能会出现各种不同的结果，也就是说，在完全相同的条件下，进行一系列观测或实验，却未必出现相同的结果．例如，抛掷一枚硬币，当硬币落在地面上时，可能是正面（有国徽的一面）朝上，也可能是反面朝上，在硬币落地前我们不能预知究竟哪一面朝上．我们把这类现象称为随机现象（或偶然现象）．同样，自动机床加工制造一个零件，可能是合格品，也可能是不合格品；射击运动员一次射击，可能击中10环，也可能击中9环8环……甚至脱靶；等等也都是随机现象．统计规律性对随机现象，从表面上看，由于人们事先不能知道会出现哪一种结果，似乎是不可捉摸的；其实不然．人们通过实践观察到并且证明了，在相同的条件下，对随机现象进行大量的重复试验（观测），其结果总能呈现出某种规律性．例如，多次重复抛一枚硬币，正面朝上和反面朝上的次数几乎相等；对某个靶进行多次射击，虽然各次弹着点不完全相同，但这些点却按一定的规律分布；等等．我们把随机现象的这种规律性称为统计规律性．使用例子摸球游戏中谁是真正的赢家在街头巷尾常见一类“摸球游戏”．游戏是这样的：一袋中装有16个大小、形状相同，光滑程度一致的玻璃球．其中8个红色、8个白色．游戏者从中一次摸出8个，8个球中．当红白两种颜色出现以下比数时．摸球者可得到相应的“奖励”或“处罚”：结果（比数）A(8:0)B(7:1)C(6:2)D(5:3)E(4:4)奖金（元）1010.50.2-2注：表中“-2”表示受罚2元解：此游戏（实为赌博），从表面上看非常有吸引力，5种可能出现的结果．有4种可得奖．且最高奖达10元．而只有一种情况受罚．罚金只是2元．因此就吸引了许多人特别是好奇的青少年参加．结果却是受罚的多，何以如此呢？其实．这就是概率知识的具体使用：现在是从16个球中任取8个．所有可能的取法为816C种．即基本事件总数有限．又因为是任意抽取．保证了等可能性．是典型的古典概型问题．由古典概率计算公式．很容易得到上述5种结果．其对应的概率分别是：3807048730121800099460000155404848385828681878.CCCP(E);.CC2CP(D);.CC2CP(C);.CC2CP(B);.C2P(A)816816816816816假设进行了1000次摸球试验，5种情况平均出现的次数分别为：0、10、122、487、381次，经营游戏者预期可得2×381-(10×0＋1×10＋0.5×122＋0.2×487)=593.6（元）．这个例子的结论可能会使我们大吃一惊，然而正是在这一惊之中．获得了对古典概率更具体、更生动的知识.戏院设座问题乙两戏院在竞争500名观众，假设每个观众完全随意地选择一个戏院，且观众之间选择戏院是彼此独立的，问每个戏院至少应该设多少个座位才能保证观众因缺少座位而离开的概率小于5%?解由于两个戏院的情况相同，故只需考虑甲戏院即可。设甲戏院需设m个座位，定义否则个观众选甲戏院，第,ixi01，i=1,2,…,500依题意，500215001,,,i,.)x(P)x(Pii若用x表示选择甲戏院的观众总数，则5001iixx，问题化为求m使950050.)mx(P,.)mx(P即因为E(xi)=D(xi)=0.5,由中心极限定理近似地),(N~..x1025050050500故95055250.)m()mx(P，查标准正态分布表知65155250.m，从而解得269m，即每个戏院至少应该设多少269个座位。各章的重点难点第一章事件和概率古典概率全概率公式和贝叶斯公式(*)独立试验序列第二章离散型随机变量离散随机变量的概率分布分布函数常用分布：超几何分布H(n,M,N)、二项分布B(n,p)、泊松分布P(λ)随机变量的数学期望和方差的概念及性质第三章连续型随机变量连续随机变量的概率密度、均匀分布U[a,b]、指数分布e(λ)、正态分布N(μ,σ2)分布函数二维随机变量的分布（联合分布）边际分布随机变量函数的数学期望常用分布的数学期望和方差相关矩和相关系数随机变量的和的分布切比雪夫不等式第四章大数定律和中心极限定理大数定律（辛钦定理、伯努里定理）中心极限定理（列维定理、德莫威尔-拉普拉斯定理）第五章数理统计的基本知识总体和样本的概念常用统计量：样本均值、样本方差、修正样本方差数理统计中的常用分布：χ2分布、t分布、F分布(*)正态总体的统计量分布：定理1~定理4第六章点估计参数的矩估计：极大似然法无偏估计第七章假设检验正态总体均值的假设检验正态总体标准差的假设检验正态总体均值的区间估计正态总体方差的区间估计（未知μ）二、学习方法指导本课程是研究随机现象的统计规律性的数学学科。因为研究对象，所以在学习方法上和分析数学、线性代数等其它课程有很大不同。在学习过程中，会遇到较多的、独特的概念和分析方法，初学者可能会感到很不习惯，入门会有一定困难，但是只要肯于钻研并掌握较好的学习方法，多数学生不仅能达到考核的基本要求，而且还会产生较大的学习兴趣。这是因为概率论和数理统计和社会生活实际的联系十分紧密，使用特别广泛，因而容易激发人们的兴趣。下面，结合本课程的特点，介绍某些行之有效的学习方法供学生参考。1．学习概率论的基本概念时，首先要注意这些概念的统计背景。概率论部分的基本概念比较多，特别从第二章“随机变量及其分布”开始，似乎“高难动作”一个接着一个来。如果对基本概不能很好理解，势必影响自学的信心。实际上，概率论的许多基本概念来源于统计实践，因此弄清其统计背景乃是入门的向导。例如，概率来源于频率，它是大量独立重复试验时频率的稳定值。因此，频率是概率的先导。而概率又是频率的抽象和发展。进而可理解概率的某些基本特性也是相应的频率特性的高度概括和抽象。又如，连续随机变量的概率密度的统计背景是统计直方图；随机变量的分布函数实质上是一种“累计概率”，它来源于统计中的经验分布函数；而随机变量的期望概念则是样本均值的抽象，在提供了频率分布的前提下，样本均值实际上是一种加权平均值（“权”就是频数），而离散随机变量的期望恰恰是这种加权平均值概念的提升和推广，即将频率提升为概率，将有限推广到无限等等。2．重视概念的甄别，即弄清某些容易混淆的概念之间的区别。在概率论中存在许多容易混淆的概念，如果不能认真区分，仔细加以甄别，就不能正确理解这些重要概念，在使用时就会产生各种各样的错误。互不相容事件和相互独立事件是最容易混淆的一对概念“互不相容”是指两个事件不能同时发生。而“相互独立”则是指一个事件发生和否对另一事件发生的概率没有影响。随机变量的独立性和不相关性是两个既有区别又有联系的概念。两个随机变量相互独立不相关条件概率P(A|B)和乘积概率P(AB)也是容易混淆的一对概念条件概率是已知某事件发生条件下，另一事件发生的概率，而乘积概率中所涉及的事件都没有“已经发生”的假定。两者的关系为P(AB)=P(B)P(A|B)3．善于识别一些重要的概率模型并能正确进行计算是提高分析和解决概率实际问题能力的关键。在概率论中有许多经长期实践概括出的重要概率模型（简称“概型”），学生必须了解其背景、特点和适用范围，要熟记计算公式，以便能正确使用。例如：（1）古典概型：一类具有有限个“等可能”发生的基本事件的概率模型。（2）完备事件组模型：若干个两两互不相容的事件在一次试验中有且仅有一个发生的一类概率模型。它主要用于某些复杂事件的计算——全概率公式，以及某些条件概率的计算——贝叶斯公式。（3）贝努利概型和二项分布模型：贝努利概型是关于独立重复试验序列的一类重要的概率模型，其特点是各个重复试验是独立进行的，且每次试验中仅有两个对立的结果：事件A发生或不发生，则在n次独立重复试验中，事件A恰好发生m次的概率为mnmmnnppCmP)1()(，其中p=P(A).（4）泊松分布：物理上存在一种质点流，称为泊松流，它是由源源不断的随机出现的许多质点构成的一种随机质点流。例如，电话交换台所接到的呼唤形成一呼唤流，到某商店去购物的顾客形成一顾客流，经过某块天空的流星形成流星流，放射性物质不断放出的质点形成质点流等等。泊松流的主要特征之一就是在任意两个不相交的时间区间内各自出现的质点个数是相互独立的。加上另一些特征，即可导出泊松流的概率模型.（5）正态分布——最重要的概率模型：根据中心极限定理的意义可知：无数微小的，又相互独立作用的随机因素，如果它们同分布，则它们累加起来的总效应必定服从正态分布。这是正态分布使用最为广泛的根本原因。例如人体的身高、体重，测量的误差等都服从正态分布。（6）均匀分布——“等可能”取值的连续化模型：如果连续随机变量仅在某有限区间[a，b]内取值，且具有概率密度其它,0,1)(bxaabx则称服从区间[a，b]上的均匀分布。除以上6种常见的概率模型外，还有指数分布，随机变量的函数等模型，不再—一列举，可参看教材有关内容。4．对于某些难度较大的特殊算法要在理解的基础上进行“典例复算”学生普遍反映本课程自学较难，除概念抽象外，恐怕一些特殊的计算方法也会带来不少学习上的困难。要突破这一点，最好的方法是将有关的典型例题读完后，合上书，认真复算一遍，边算边加深理解。例如，关于已知随机变量的分布列或概率密度，求分布函数的方法。从分布函数的定义}{)(xPxF出发，可得出关于离散随机变量和连续随机变量分布函数的计算公式，分别为xxixxiiipxPxF}{)(和xdttxF)()(困难在于这两个公式的具体使用。5．学习数理统计部分，最重要的是要领会各种统计方法内在的统计思想，其次是要熟练掌握操作步骤。例如，极大似然估计法的主要统计思想是：如果在一次试验中，某个样本x1,x2，…，xn一旦出现，就有理由认为该样本出现的概率最大。具体操作时，只要利用总体的已知分布（其中包含待估的本知参数）构造样本的联合分布，即似然函数，再使用微积分的极值原理找出最大值点，即得极大似然估计量。又如，区间估计实际上是以一定的把握（置信概率）去估计未知参数所落入的范围（置信区间）。区间估计方法最主要的统计思想是：设法构造一个和待估未知参数有关的统计量，利用它的抽样分布，在给定的置信概率下确定临界值，再作适当的概率恒等变形即可获得置信区间。简言之，就是以统计量及其抽样分布为武器，达到用样本推断总体的目的。数理统计既然是用部分去推断总体，特别是区间估计和假设检验都只是根据一次抽样所得的样本值去下结论，这就不可能不犯错误，于是就产生了区间估计的可靠性（置信概率）和假设检验的两类错误问题。这就是说，数理统计工作者对实际问题下结论时往往不是简单地回答“是”或“非”，而是带有一定的犯错误的概率。这样做，既体现了实事求是的科学精神，又鼓励人们通过不断实践，经过多次试验逐步获得较为准确和可靠的结论。学生在学习数理统计这部分内容时应充分领会和把握统计方法的这一重要特色。6．在重视基本概念、基本理论和基本方法学习的前提下，也要注意概率统计中专用语言和符号的规范使用。本课程的教学实践和测试的情况反映出学生的学习效果不容乐观。许多学生对基本知识和基本技能不能正确理解和掌握。例如，求得的概率是负值或大于1，方差小于0，相关系数大于1等错误大有人在；对于“至少发生1个”、“至多发生2个”等概率论专用语言不理解，从而不能正确表达事件；计