管理培训之逆向思维与统计研究

本课内容包含•统计回顾•方差分析•主成分分析和因子分析•聚类分析•判别分析•典型相关分析•对应分析•列联表•Logistic回归•Poisson对数线性模型•时间序列分析•。。。。统计基本概念回顾随机性和规律性现实中的随机性和规律性•从中学起，我们就知道自然科学的许多定律，例如物理中的牛顿三定律，物质不灭定律以及化学中的各种定律等等。•但是在许多领域，很难用如此确定的公式或论述来描述一些现象。比如，人的寿命是很难预先确定的。一个吸烟、喝酒、不锻炼、而且一口长荤的人可能比一个很少得病、生活习惯良好的人活得长。•因此，可以说，活得长短是有一定随机性的(randomness)。这种随机性可能和人的经历、基因、习惯等无数说不清的因素都有关系。现实中的随机性和规律性•但是从总体来说，我国公民的平均年龄却是非常稳定的。而且女性的平均年龄也稳定地比男性高几年。这就是规律性。•一个人可能活过这个平均年龄，也可能活不到这个年龄，这是随机的。•但是总体来说，平均年龄的稳定性，却说明了随机之中有规律性。这种规律就是统计规律。概率和机会•你可能经常听到概率（probability）这个名词。例如在天气预报中会提到降水概率。大家都明白，如果降水概率是百分之九十，那就很可能下雨；但如果是百分之十，就不大可能下雨。•因此，从某种意义说来，概率描述了某件事情发生的机会。•显然，这种概率不可能超过百分之百，也不可能少于百分之零。换言之，概率是在0和1之间的一个数，说明某事件发生的机会有多大。有些概率是无法精确推断的•比如你对别人说你下一个周末去公园的概率是百分之八十。但你无法精确说出为什么是百分之八十而不是百分之八十四或百分之七十八。•其实你想说的是你很可能去，但又没有完全肯定。•实际上，到了周末，你或者去，或者不去；不可能有分身术把百分之八十的你放到公园，而其余的放在别处。有些概率是可以估计的•比如掷骰子。只要没有人在骰子上做手脚，你得到6点的概率应该是六分之一。得到其他点的概率也是一样。•得到6的概率或者机会是可以知道的，但掷骰子的结果还只可能是六个数目之一。•这个已知的规律就反映了规律性，而得到哪个结果则反映了随机性。•如果你掷1000次骰子，那么，大约有六分之一的可能会得到6；这也是随机性呈现有规律的一个体现。变量•做任何事情都要有对象。比如一个班上注册的学生有200人，这是一个固定的数目，称为常数（constant）或者常量。•但是，如果猜测今天这个班有多少人会来上课，那就没准了。这有随机性。可能有请病假或事假的，也可能有逃课的。这样，就要来上课的人数是个变量(variable)。•另外对于某项政策同意与否的回答，也有“同意”、“不同意”或者“不知道”三种可能值；这也是变量，只不过不是数量而已。变量•当变量按照随机规律所取的值是数量时该变量称为定量变量或数量变量（quantitativevariable）；因为是随机的，也称为随机变量（randomvariable）。•象性别，观点之类的取非数量值的变量就称为定性变量或属性变量或分类变量（qualitativevariable，categoricalvariable）。•这些定性变量也可以由随机变量来描述，比如男性和女性的数目，同意某政策人数的比例等等。只有当变量用数量来描述时，才有可能建立数学模型，才可能使用计算机来分析。数据•有了变量的概念，什么是数据呢？拿掷骰子来说，掷骰子会得到什么值，是个随机变量；而每次取得1至6点中任意点数的概率它在理论上都是六分之一（如果骰子公平）。这依赖于在掷骰子背后的理论或假定；而在实际掷骰子过程中，如果掷100次，会得到100个由1至6点组成的数字串；再掷100次，又得到一个数字串，和前一次的结果多半不一样。这些试验结果就是数据。所以说,数据是关于变量的观测值.•通过数据可以验证有关的理论或假定（比如每一次得到每个点的概率是不是1/6等等）。对于顾客是否喜欢某种饮品的调查也类似，但这里不象掷骰子那样事先可以大致猜测顾客喜欢与否的概率。在问了1000人之后，可能有364人说喜欢，而480人说不喜欢，其余的人可能不回答，或说不知道，或从来没有喝过这种饮料。这些数目就是数据。当然，它仅仅反映了1000个被问到的人的观点；但这对于估计整个消费群体的观点还是有用的。统计和计算机•现代生活越来越离不开计算机了。最早使用计算机的统计当然更离不开计算机了。•事实上，最初的计算机仅仅是为科学计算而建造的。大型计算机的最早一批用户就包含统计。而现在统计仍然是进行数字计算最多的用户。•计算机现在早已脱离了仅有计算功能的单一模式，而成为百姓生活的一部分。•计算机的使用，也从过去必须学会计算机语言到只需要“傻瓜式”地点击鼠标。结果也从单纯的数字输出到包括漂亮的表格和图形的各种形式。统计软件•统计软件的发展，也使得统计从统计学家的圈内游戏变成了大众的游戏。只要你输入你的数据，点几下鼠标，做一些选项，马上就得到令人惊叹的漂亮结果了。•你可能会问，是否傻瓜式的统计软件使用可以代替统计课程了？•当然不是。数据的整理和识别，方法的选用，计算机输出结果的理解都不象使用傻瓜相机那样简单可靠。统计软件•有些诸如法律和医学方面的软件都有不少警告，不时提醒你去咨询专家。•但统计软件则不那么负责。只要数据格式无误、方法不矛盾而且不用零作为除数就一定给你结果，而且没有任何警告。•另外，统计软件输出的结果太多；即使是同样的方法，不同软件输出的内容还不一样；有时同样的内容名称也不一样。这就使得使用者大伤脑筋。即使是统计学家也不一定能解释所有的输出。因此，就应该特别留神，明白自己是在干什么。不要在得到一堆毫无意义的垃圾之后还沾沾自喜。统计软件•统计软件的种类很多。有些功能齐全，有些价格便宜；有些容易操作，有些需要更多的实践才能掌握。还有些是专门的软件，只处理某一类统计问题。面对太多的选择往往给决策带来困难。这里介绍最常见的几种。统计软件•SPSS：这是一个很受欢迎的统计软件；它容易操作，输出漂亮，功能齐全，价格合理。对于非统计工作者是很好的选择。•Excel：它严格说来并不是统计软件，但作为数据表格软件，必然有一定统计计算功能。而且凡是有MicrosoftOffice的计算机，基本上都装有Excel。但要注意，有时在装Office时没有装数据分析的功能，那就必须装了才行。当然，画图功能是都具备的。对于简单分析，Excel还算方便，但随着问题的深入，Excel就不那么“傻瓜”，需要使用函数，甚至根本没有相应的方法了。多数专门一些的统计推断问题还需要其他专门的统计软件来处理。•SAS：这是功能非常齐全的软件；尽管价格不菲，许多公司还是因为其功能众多和某些美国政府机构认可而使用。尽管现在已经尽量“傻瓜化”，仍然需要一定的训练才可以进入。对于基本统计课程则不那么方便。统计软件•S-plus：这是统计学家喜爱的软件。不仅由于其功能齐全，而且由于其强大的编程功能，使得研究人员可以编制自己的程序来实现自己的理论和方法。它也在进行“傻瓜化”以争取顾客。但仍然以编程方便为顾客所青睐。•R软件：这是一个免费的，由志愿者管理的软件。其编程语言与S-plus所基于的S语言一样，很方便。还有不断加入的各个方向统计学家编写的统计软件包。同时从网上可以不断更新和增加有关的软件包和程序。这是发展最快的软件，受到世界上统计师生的欢迎。是用户量增加最快的统计软件。对于一般非统计工作者来说，主要问题是它没有“傻瓜化”。统计软件•Minitab：这个软件是很方便的功能强大而又齐全的软件，也已经“傻瓜化”，在我国用的不如SPSS与SAS那么普遍。•Statistica：也是功能强大而齐全的“傻瓜化”的软件，在我国用的也不如SAS与SPSS那么普遍。•Eviews：这是一个主要处理回归和时间序列的软件。•GAUSS：这是一个很好用的统计软件，许多搞经济的喜欢它。主要也是编程功能强大。目前在我国使用的人不多。•FORTRAN：这是应用于各个领域的历史很长的非常优秀的编程软件，功能强大，也有一定的统计软件包。计算速度比这里介绍的都快得多。但需要编程和编译。操作不那么容易。•MATLAB：这也是应用于各个领域的以编程为主的软件，在工程上应用广泛。编程类似于S和R。但是统计方法不多。统计软件•当然，还有其他的软件，没有必要一一罗列。其实，聪明的读者只要学会使用一种“傻瓜式”软件，使用其他的仅仅是举一反三之劳；最多看看帮助和说明即可。如果只有英文帮助，那还可以顺便提高你的英文阅读能力。想想看•举出你所知道的统计应用例子。•举出日常生活中随机性和规律性的例子。•你使用过统计软件或者利用过其他软件中的统计功能吗？你有什么经验和体会？数据的收集二手数据•每天翻开报纸或打开电视，就可以看到各种数据。比如高速公路通车里程、物价指数、股票行情、外汇牌价、犯罪率、房价、流行病的有关数据（确诊病例、疑似病例、死亡人数和出院人数等等）；当然还有国家统计局定期发布的各种国家经济数据、海关发布的进出口贸易数据等等。从中可以选取对自己有用的信息。•这些间接得到的数据都是二手数据。第一手数据•获得第一手数据并不象得到二手数据那么轻松。•某些在华的外资企业每年至少要花三四千万元来收集和分析数据。•他们调查其产品目前在市场中的状况和地位并确定其竞争对手的态势；•他们调查不同地区，不同阶层的民众对其产品的认知程度和购买意愿以改进产品或推出新品种争取新顾客；•他们还收集各地方的经济交通等信息以决定如何保住现有市场和开发新市场。市场信息数据对企业是至关重要的。•他们很舍得在这方面花钱。因为这是企业生存所必需的，绝不是可有可无的。观测数据和试验数据•上面所说的数据是在自然的未被控制的条件下观测到的，称为观测数据(observationaldata)。•而对于有些问题，比如在不同的医疗手段下某疾病的治疗结果有什么不同、不同的肥料和土壤条件下某农作物的产量有没有区别、用什么成分可以提高某物质变成超导体的温度等等。这种在人工干预和操作情况下收集的数据就称为试验数据(experimentaldata)。总体和样本•要想了解北京市民对建设北京交通设施是以包括轨道运输在内的公共交通工具为主还是以小汽车为主的观点，需要进行调查；•调查对象是所有北京市民，调查目的是希望知道市民中对这个问题的不同看法各自占有的比例。•显然，不可能去问所有的北京市民，而只能够问一部分；并且根据这一部分的观点来理解整个北京市民的总体观点。总体和样本•这种情况下，称所有（每个）北京市民对这个问题的观点为一个总体(population)，而调查时问到的那部分市民的观点为该总体的一个样本(sample)。•当然，也有可能调查所有的人（比如人口普查），那叫做普查(census)。•总体是包含所有要研究的个体(element)的集合。而样本是总体中选中的一部分。随机样本•在抽取样本时，如果总体中的每一个体都有同等机会被选到样本中，这种抽样称为简单随机抽样（simplerandomsampling），•而这样得到的样本则称为随机样本（randomsample）。随机样本•就北京交通问题的调查为例，在随机抽样的情况下，如果样本量（samplesize，也就是样本中个体的数目）在总体中的比例为1/5000，那么，无论在东城区或者在延庆县，无论在白领阶层还是蓝领阶层被问到的人的比例都应该大体是1/5000。•也就是说，这种比例在总体的任何部分是大体不变的。方便样本•在实践中，得到随机样本不容易。很多搞调查的人就采取简单的办法。•还以北京的交通问题的调查为例。假定按照随机选出的电话号码进行调查。这样肯定节省时间和资源，但这样得到的就不是一个随机样本了。•如果按照随机选择的数字（无论号码本上有没有）打电话，那很多电话是空号或单位电话；显然这种样本也不是随机样本，它称为方便样本（conveniencesample）。•在调查中，即使选择对象的确是随机的，最理想的情况所得到的样本也只代表那些愿意回答问题人的观点所组成的总体；没有回答问题的人的观点永远不会被