解析小概率意义与判断风险的控制

解析小概率意义与判断风险的控制王鼎中央财经大学财政与公共管理学院（100081）[e-mail]摘要:本文举例介绍了生产生活中的小概率事件，统计假设检验原理和小概率事件的关系，并就不同检验任务中的统计量的数学式进行小概率意义的解析。在泊松分布中讨论了小概率意义和判断风险控制的问题，并将小概率意义和逆抽样的运用相联系。关键词：小概率泊松分布逆抽样1.引言在现实生活中，我们可以找到不少的例子，来对小概率事件及其定义进行认识和理解。在抛硬币的游戏中，10个人同时抛了10次，要从10个人的抛硬币结果中找出9次都是正面朝上的可能性是非常小的，因为硬币就一般而言是质地均匀的，抛一次硬币出现正面和反面的可能性相等，都为0.5，不大可能出现正反两面次数相差比较大的情况，随着抛硬币次数的不断增加，这种可能性出现的机会就会越小[1]。某个厂商宣传他的产品的合格率为0.99，甚至更高，那么，如果厂商的话可信，又没有假冒伪劣产品的影响，你在市场上想找到一件该厂生产的次品将是非常困难的，因为次品生产和在市场出现的可能性是非常小的。如上两例事件，日常状态下存在的事物，其各种性征的表现都有一个稳定或者是朝向某个特征集中的趋势，这个稳定性和集中趋势在对事物所进行的统计分析中，表现为数量关系的稳定，也可以称为集中趋势的数量测量。日常统计运用最多的就是事物存在和表现特征的均值测量，均值代表事物在一定时间和一定空间限制下的所谓稳定表现，或者是期望。在日常生活中事物特征就其测量意义上讲，是不会偏离其均值有很大距离的。当然，说其均值集中趋势并不是说事物的每次性征表现恰好就是均值的数量大小，而是重在对其性征表现和均值偏差大小的考察。日常生活中的情况是事物的性征表现总是以其集中趋势（大多情况下就是以均值表示）为中轴线进行窄幅振荡，振荡的幅度非常有限，不会产生非常大的距离空间，这种特征随着观测数量的不断增加而趋于恒定。对事物的集中趋势和稳定性的考察不能完全拒绝我们在对事物的一次测量中，发现其性征表现和其均值产生非常大的偏差的情况的出现，由于某个事物的组成内部存在巨大的差异或者是存在一些非常极端的情况，使得事物某个性征数量和其均值发生巨大偏差的可能成为现实存在。尽管这样的巨大偏差存在，我们并没有做出否定事物某个性征均值数量的决定，而是把这种出现重大偏差的情况当作一种非常态来处理，认为它是在日常生活中较少有机会出现的，把它当作特例来处理，这样我们引入文章将要进一步阐释的小概率事件问题。下面给出本文统计检验意义上的小概率事件的定义。在大量统计观察中，将出现次数少，或者出现概率小的事件，称为小概率事件，其定义背景是基于对社会事件观察中经常出现的事情拥有较大的概率，不经常出现的事情拥有较小概率的考虑。显然，定义的考察重点是大量观察结果中不太容易碰得到的情况，如对硬币单面数量结果的过高要求和对市场次品的寻找。正是日常生活现象中这种小概率事件的难以获得，使得统计检验在社会生活中的应用有了更加充分的理论基础。2.统计检验原理和假设选择1社会科学研究过程中存在众多的理论假设，它们是课题研究方向的理论指导，但是理论本身首先有个需要检验和验证的问题，否则，先验或预设的理论很难保证依其推论所得结果的正确性，使众多的社会科学研究项目和课题从一开始就犯了方向上的指导错误。实证主义主张通过实验和大量的数据调查来对众多的理论假设进行验证，由于社会科学领域缺乏像自然科学领域那样众多可以进行大量重复实验而实验结果偏差不大甚至没有的对象和条件，实证主义者大多采取对研究对象进行全规模和部分规模的调查。全规模的调查由于调查经费，调查对象的穷尽困难和实施障碍等诸多因素使其不能被广泛地采用，部分规模的抽样调查就其在经费、实施难度、研究效果等方面的最优权衡处理后，成为广大实证主义者共认的有效研究手段，并借此求得对某些理论假设的验证。部分规模的抽样调查是从研究对象总体中抽选部分单元作为总体单元的代表，由于是部分地抽取，实际研究中的样本特征很难和总体特征保持高度的一致，在对返回总体的研究过程中，就需要对总体中某些与理论假设相关的研究特征进行检验，确定依据抽样结果检验总体中理论假设正确与否的把握程度，即假设理论在总体中正确存在的置信度。同时，充分考虑到抽样所得的众多样本中，样本特征和总体特征有很大差异的可能性不是很大，尤其是在一次抽样中，出现样本特征和总体特征发生重大差异的情况的可能性是微之又微。但是，在实际抽样研究中又确实会抽到这样的样本，其特征和总体特征存有巨大差异。这时，研究者有两种判断的选择，其一，总体中的情况没有变化，是在抽样过程中碰巧抽中一个非常偏的样本，对总体的各项特征并不产生怀疑；其二，基于总体特征的小概率事件在一般情况下是不会轻易碰到的，而今在一次抽样调查中却碰到了，开始怀疑先前总体中某些预设是否正确，产生推翻先前预设，接受研究理论假设的想法。现行主流的做法是选择第二种判断（袁方王汉生1997；柯惠新1992）。总体研究对象中存在的小概率事件在一次抽样中的发生成为怀疑总体先前假设的现实基础，这就是假设检验的原理和思路，依托小概率事件的发生概率对假设进行验证。完成一个统计假设检验过程，首先要有对日常生活某个现象或表征的怀疑，可以将其称为研究假设。日常生活中人们司空见惯的情况往往不被人们怀疑，人们认为事实就是这样。一个研究的价值就是在于他对惯常现象和判断的推翻，提供世人一个不同的新判断和认识，并以较为公认的手段加以验证。人们普遍认同的状态存在是有一定的时间的，是被某个历史段所证明了的，不会轻易地导致人们犯错误，它是人们以往经验的积累和总结，对事物特征的普遍看法和认同，被用来构成假设检验中原假设。一个新研究所提出的观点和假设往往是对现存状态的否认，由于时间变迁某个总体的某个特征发生了变化，研究者试图提供给人们一个更加合乎实际的判断。这样一个预存于研究者大脑中理论，和人们以往的经验判断相左，被认为是不大可能的事情，是不太合乎常理的，被用来当作假设检验中选择假设（备择假设）。选择假设和小概率事件相联系，表示在原先假设的基础上，总体中不大可能出现的情况。在一次研究过程中，如果选择假设中定义的不大可能的小概率事件出现了的话，就可以做出拒绝原假设，接受选择假设的判断。这样，在检验过程中，什么是小概率事件，如何界定和描述，成为假设确定、选择、表述，统计量概率方向运算和做出判断的重点之一。下面段落就小概率事件定义和判断在假设检验中的运用，作些例子说明，以期突显小概率事件在假设检验中确定判断的重要作用。oH1H3.小概率意义在统计量中的解释3.1单总体的均值、方差检验[2]2在一般的社会调查数据统计分析中，由于调查样本容量都在50以上，根据中心极限定理，不管变量分布类型如何，变量之和或者变量均值近似地服从正态分布。对单总体方差已知的均值检验，采用统计量Z)1,0(~NXσμ−=Ζ（1）00:μμ=H0μ当作出原假设时，对于任意一次的抽样调查所得样本均值，它和的差异是不会很大的，出现差值非常大的可能性非常小，因为总体和来自总体的样本之间特征应该是相似的。样本均值和0μ出现巨大差异的情况被视为小概率事件，一次抽样中小概率事件发生了的话，就会怀疑原假设的总体均值而另外做出判断，接收研究预设的选择假设。方差未知的情况，就小概率事件界定意义上是相同的，只是采用统计量不同而已，此处不多说了。方差检验采用卡方统计量：)1(~1222−−nSnχσ初看，很难找出有小概率事件内容的数学表达式，但是将其进行简单变形，就会发现小概率事件在公式中的所隐所现，现对统计量变形如下：∑∑==−=−=−niiniixxxSn12212222)()(1σμσσ（2）从（2）式中可以看出，方差检验和前面的均值检验思路相同，都是利用从总体中抽取的样本的各类特征和总体特征近似，一次抽样结果的均值和总体的不会产生较大偏离，来检验假设的可靠与否。此中的小概率事件就是指抽样结果和总体的相去甚远，如果抽样结果和总体的有很大差距，就认为小概率事件发生了，表现为（2）式的卡方值大于显著水平下临界值，就推翻原来假设方差，接受研究假设方差。需要指出的是，均值和方差检验都是利用对总体均值的考察，但两者检验所用统计量的分布服从不同的分布，均值检验统计量服从正态分布，而方差检验服从卡方分布。3.2双总体的均值、方差检验[2]调查研究中有时需要对来自不同总体的样本就某些特征值进行比较，例如对不同地域的收入水平，性别比，和不同职业群体的消费状况等问题的考察，这些都涉及双总体均值和方差检验。双总体均值检验是事先从各总体中抽取合适的样本，并对两个样本均值的差值进行计算。事物的某个特征值一般是恒定的，较少有变化，例如出生性别比在地域间的差异不大一样。对事物特征值恒定的认识恰就是双总体均值检验原假设的基础，既然双总体均值的差异不大，来自两总体的样本均值之差理应也不是很大。当然，实际对双总体的抽样中，会发现两个样本均值差异很大的情况，这恰就是我们要找的小概率事件，抽样结果得出的小概率事件发生，使我们顺理成章地认为双总体均值存有较大差异，证明研究假设。Aμ设、BμAX是总体A和总体B的均值，和是总体A和总体B的方差，A2σB2σ和BX是来自总体A和总体B的样本均值，和为来自总体A和总体B的样本方差，并预先规定好大于，以便于后面的讨论。AS2BS2AS2BS23双总体均值检验统计量为：)1,0(~)()(22BNnnXXBAAAσσμμ+−−−=ΖB（3）BAHμμ=:00:00==−DHBAμμ或者是在原假设的基础上，一般认为总体均值相等或者之间差值为零的话，来自两个总体的样本均值也应该相近相似，之间的差距不会过大，在（3）式的表示是Z值不会太大。检验所需的小概率事件指抽取的两个样本之间均值有较大差异，其差值较大，表现为Z值的偏大，它常常导致Z值超出一定小概率下的临界值。双总体方差检验统计量为：)1,1(~)1(1)1(12222−−−−−−BABBBAAAAnnFnSnnSnσσB（4）方差检验原假设为的条件下，（4）式可以进一步变为：BAH220:σσ=)1,1(~22−−BABAnnFSS（5）可以很好地理解，两总体方差相等的情况下，出自它们自身的样本方差之间的差异必不会过大，样本方差的比值应该是离1非常靠近的数值，加上预先规定好大于，可以推断（5）式的数值应该是一个大于1但又不会超出很多的数值，这时的小概率意义便是体现为（5）式的数值偏离1的位置过远，当他越过小概率限定的临界值时，检验过程中的原假设便遭到拒绝，研究假设成立。AS2BS23.3简单回归方程的检验对定距层次存有线性关系的双变量研究可以借用最小二乘法，建立回归方程来进行，通过调查样本数据建立的回归方程必须有返回总体变量间线性相关关系的验证，以期评估配置回归方程的意义。设调查数据中存有定距层次的变量x和y，在i处的观察值为（），变量x和y的均值为iiyx,bxay+=ˆyx和，所得的回归方程为：，在图1的众多观测点中取○A（yxi,），表示和y均值的交汇，○B（），表示在回归方程上y估计，○C（）点，对简单回归方程检验如下：yxiˆ,ixixiiyx,回归方程的检验，首先要考虑构建回归方程的两变量间的线性关系，原假设有：0=β。bxay+=ˆββ的意义等同于图1：回归方程中的b，表示回归方程的斜率。只有在不等于零的前提下，回归方程的配置才有意义。4回归方程检验的统计量为：)2,1(~)2(−−=nFnRSSRSSRF（6）∑=−=niiyyRSSR12)ˆ(其中表示回归方程对总偏差平方和的解释部分，RSSR，RSS表示回归方程所不能解释的部分，和在总的偏差平方不变的前提下，是个此消彼涨的零和关系，RSSR的大必然导致的小，反之亦然。在图1：如果只考虑的话，RSSR可以用○A○B两点间的直线距离表示，可以用○B○C两点间的直