统计学 数据的搜集与整理(新)

第一节数据的搜集现实生活中有不少问题是不能像我们以往解数学题一样套用公式、法则的方法解决，而需要在仔细观察和积累数据的基础上，经过整理和描述分析的数据，才能给出答案。也就是用数据来说话。当我们确定了研究问题，就需要搜集相关的数据，设计调查方案，有些研究的问题需要通过实验来获得数据，那么怎样使用实验方法获得数据呢？第一节数据的搜集统计数据的搜集就是按照统计研究所预定的目的和任务，运用恰当的统计方法，有组织、有计划地向调查对象搜集原始统计资料的工作过程。属于统计工作过程的基础阶段。一、数据来源从使用者的角度看，统计数据来源于两种渠道：一是直接来源，即统计数据直接源于自己的调查或实验，称之为一手数据或直接数据；二是间接来源，即统计数据来源于别人的调查或实验，称之为二手数据或间接数据。1、数据的间接来源分为内部信息数据和外部信息数据。内部信息数据是指从被调查单位内部直接获取的，与调查单位有关的信息数据资料，例如，通过企业的统计报表、资产负债表等获取的企业有关数据。外部信息数据是指从各级政府、贸易组织、计算机网络等渠道获取的数据。例如，统计部门和各级政府定期发布的统计公报、定期出版的各类统计年鉴国内部分提供统计数据的网站及相关内容见表2-1。网站名称网址数据内容国家统计局统计年鉴、统计月报等国务院发展研究中心信息网宏观经济、财经、货币金融等中国经济信息网三农信息、论坛即相关网址中国统计网统计基本知识、统计论坛人大经济论坛经济理论、论坛表2-1国内部分提供统计数据的网站及相关内容2、数据的直接来源统计调查是获取直接数据的主要方法，数据的直接来源主要有两个渠道：一是统计调查或观察；二是科学实验。二、统计调查方案设计调查背景调查目的调查内容调查方法和抽样方法调查对象和调查范围调查时间进度表调查费用预算附件三、统计调查的形式按调查的组织形式，对统计调查方法进行分类：普查、重点调查、典型调查和抽样调查等。（一）普查普查是一种专门组织的一次性的全面调查。普查是为了了解总体的全面情况。（二）重点调查重点调查是对总体中的重点单位进行的专门调查。“重点单位”是指此类单位的变量值（调查所要了解的变量）占总体中该变量值总和有较大比重。重点调查是为了了解总体的基本情况。（三）典型调查典型调查是对总体中的有代表性的单位进行的专门调查。如我国的投入产出调查。一般来说，典型调查是为了了解总体的特殊情况。（四）抽样调查抽样调查又称抽样推断，它是指按随机原则对总体进行抽取样本，以样本资料来推断总体的有关特征的一种专门调查。抽样调查方法运用广泛。统计调查方法调查对象调查作用普查重点调查典型调查抽样调查四种调查方法比较统计调查方法调查对象调查作用普查总体中的全部单位了解总体的全面情况重点调查总体中的重点单位了解总体的基本情况典型调查总体中的有代表性的单位了解总体的特殊情况抽样调查样本中的全部单位由局部推断整体四种调查方法比较（五）统计报表统计报表是指按照国家统一规定以统计表的形式定期逐级上报统计资料的制度化的调查方式。优点：在报表实施范围内，各报告单位一定是以制度化形式按期并以统一口径报送统计表，从而确保调查资料全面性、连续性和统一性。缺点：要花费较大的人力、物力和财力，而且资料的准确性受人为因素影响很大，所以应将统计报表与专门调查等方法结合起来运用。我国的统计调查方法体系：以周期性的普查为基础，以抽样调查为主体，辅助重点调查、典型调查和进行科学推断。四、原始数据的搜集方法原始数据的搜集方法主要有三类：询问法、观察法和实验法。1、询问法将所要了解的事项以当面、书面或电话的方式，向被调查者提出询问，以获取所需资料的一种方法。面谈调查能够直接听取对方意见，灵活性高，但成本也高，调查时拒访率高，调查结果容易受调查人员技术水平的影响。电话访谈是目前应用非常广泛的一种调查方法，主要特点是速度快、成本低，但在电话普及率较低的地区不适用，电话调查的问题也不宜过多，否则会被拒访。问卷调查是由调查人员交给被访问者的问卷，说明方法后由其自行填写，再由调查人员收回。随着互联网的普及，问卷调查也可以在网上进行。2、观察法观察法是不与调查对象直接交流，而以旁观者的身份对具体事件、人物、行为模式等特征和演变过程进行记录的数据搜集方法。观察法分为直接观察法和实际痕迹测量法两种。常用的观察法有如下三种：神秘顾客，是由经过严格培训的调查员，在规定的时间里扮演成顾客，对事先设计的一系列问题逐一进行评估或评定的一种方式。神秘顾客以普通顾客身份进入客户指定的门店，观察店面，对店面环境、服务人员行为语言、服务规范性等方面进行暗访；购买者行为研究，常常被零售商用于分析顾客的购买倾向。例如，大型超市的入口处经常陈列着厂家来推销的新产品或者商店要推销的季节性商品。顾客走进商店时，多半会驻足观看和选购这些商品。观察人员可以利用这一机会，观察和收集消费者对新产品和季节产品的关注度及购买情况的资料。消费痕迹观察法，也是间接观察法的一种，通过观察消费者留下的痕迹来推断其消费行为。例如，国外有一家饮料公司曾根据垃圾站饮料瓶的回收情况，来分析消费者口味的偏好。3、实验法实验也可以用于数据的搜集。实验法是通过实验来研究变量之间因果关系的一种方法。实验法常用来调查某种因素对市场销售量的影响，例如，某一商品在改变品种、品质、包装、设计、价格等因素时，可以在一定条件下进行小规模实验，通过观察用户的反应来做出是否推广的决策。五、统计误差统计误差是指在统计工作中由于种种原因产生的与研究对象本来状态有差异的结果。统计误差分为：（1）抽样误差是指由抽样的随机性引起的样本结果与总体真值之间的误差。在抽样的过程中，根据不同的样本，可以得到不同的观测结果。（2）非抽样误差是指相对抽样误差而言的，是指除抽样误差之外的，由其他原因引起的样本观测结果与总体真值之间的差异。例如，调查者在接受调查时给出的回答与真实情况不符，导致的误差。非抽样误差是可以避免的。练习：设计大学生就业意向调查方案。第二节统计数据的整理统计数据整理是对所搜集到的原始的、零散的资料进行加工和综合，使之系统化。将搜集的数据进行科学的分类汇总、加工处理，才能揭示现象的规律性。一、数据的预处理数据的预处理主要包括数据的审核、筛选、排序等。1、数据的审核数据审核就是检查数据中是否有错误，对于调查取得的原始数据，主要从资料的准确性和完整性审核。①准确性审核检查的方法有两个：一是逻辑检查，根据调查项目之间的内在联系，检查资料是否符合逻辑性，项目的答案是否存在异常值等。二是计算检查，检查调查表中各项数字的计算方法、计算口径、计算结果有无差错，数字之间该平衡的是否平衡。②完整性审核，主要是检查应调查的单位或个体是否有遗漏，所有的调查项目是否填写齐全等。对于通过其他渠道取得的二手数据，要审核数据的适用性和时效性。①适用性审核，即要弄清楚数据的来源、数据的口径以及有关的背景资料，以便确定这些数据是否符合分析研究的需要。②时效性审核，即要尽可能使用最新的数据，对于时效性较强的问题如数据过于滞后，就可能失去研究的意义。2、数据筛选数据筛选主要包括两方面：一是将某些不符合要求的数据或有明显错误的数据剔除；二是将符合某种特定条件的数据筛选出来，将不符合特定条件的数据剔除。3、数据排序数据排序是指按一定顺序将数据排列，以便研究者通过数据发现一些明显的特征或趋势，找到解决问题的线索。二、数据的整理与图示数据经过预处理后可根据需要进一步做分类或分组。针对于不同类型的数据，所采用的处理方式和所使用的处理方法是不同的。数值型数据则主要是做分组整理；1、品质数据的整理与图示品质数据包括分类数据和顺序数据，主要是做分类整理。①分类数据的整理与图示频数（次数）是指落在某一个特定类别或组中的数据个数。把各个类别及落在其中的相应的频数全部列出，用表格形式表现出来，称为频数分布（次数分布）。比例也称构成比，他是一个样本（或总体）中各个部分的数据与全部数据之比。【例2-1】调查广告市场的状况，一家广告公司在某城市随机抽取200人就广告问题作了问卷调查，其中的一个问题是：“您比较关心下列哪一类广告？”1.商品广告；2.服务广告；3.金融广告；4.房地产广告；5.招生招聘广告；6.其他广告经过分类整理后，可以看出关注商品广告的人数最多，关注其他广告的人数最少。表2-2某城市居民关注广告类型的频数分布广告类型人数（人）比例频率（%）商品广告1120.56056.0服务广告510.25525.5金融广告90.0454.5房地产广告160.0808.0招生招聘广告100.0505.0其他广告20.0101.0合计2001100分类数据的图示条形图是用宽度相同的条形的高度或长短来表示数据多少的图形。条形图可以横置或纵置，纵置时也叫柱形图。例如，根据上例中表2-2某城市中关注广告类型的人数可以绘制如果2-1所示的条形图。图2-1某城市居民关注不同类型广告人数分布饼图它是以圆的面积或圆内各扇形面积来表示数值大小或总体内部结构的一种图形。它主要用于表示一个样本（或总体）中各组成部分的数据占全部数据的比例，对于研究结构性问题十分有用。例如，根据上例中表2-2可以绘制如果2-2所示的饼图。图2-2某城市居民关注不同类型广告人数构成②顺序数据的整理与图示在品质数据的整理与图示中介绍的方法，如频数、比例、百分比、条形图等，也都是用于顺序数据的整理与图示。对于顺序数据，还可以计算累计频数和累计频率（百分比）。累计频数是将各有序类别或组的频数逐级累加起来得到的频数。它表明总体在某一变量值的某一水平上下一共包含的总体频数。频数的累计方法有两种：向上累计，从类别顺序的开始一方向类别顺序的最后一方累加频数（数值型分组数据是从变量值小的一方向变量值大的一方累加频数），组距数列中的向上累计，表明各组上限以下一共所包含的总体频数有多少。向下累计，从类别顺序的最后一方向类别顺序的开始一方累加频数（数值型分组数据则是从变量值大的一方向变量值小的一方累加频数），组距数列中的向下累计，表明各组下线以上一共包含的总体频数有多少。例2.1在一项有关某酒店顾客满意度的调查中，研究人员在某酒店随机抽取300名顾客进行调查，其中的一个问题是：“您对酒店员工的服务态度是否满意？”要求回答的类别依次如下：1.非常满意；2.满意；3.一般；4.不满意；5.非常不满意调查结果的频数分布表如表2-3所示。人数（人）百分比（%）人数（人）百分比（%）非常满意248248300100满意108361324427692一般93312257516856不满意4515270907525非常不满意30103001003010合计300100表2-3某酒店顾客对员工服务满意度的频数分布表回答类别人数（人）百分比（%）向上累计向下累计顺序数据的图示根据上例中的累计频数或累计频率，可以绘制累计频数分布或频率分布图。如图2-3所示。（a）向上累计（b）向下累计图2-3某酒店顾客对员工服务满意度的频数分布图③数值型数据的整理与图示分类和顺序数据的整理与图示方法，也都是用于数值型数据。但一些适用于数值型数据的特定整理和图示的方法，并不适用于分类数据和顺序数据。数据分组数值型数据的结果表现为数值，在进行整理时通常是进行数据分组。根据统计研究的需要，将原始数据按照某种标准分成不同的组别，分组后再计算出各组中的数据出现的频数，就形成了一张频数分布表。数据分组的方法有单变量分组和组距分组两种。单变量分组：把每一个变量值作为一组，通常只适用于离散变量，且变量值较少的情况下使用；组距分组：适用于连续变量或变量值较多的情况下，它是将全部变量值一次划分为若干个区间，每一个区间的变量值作为一组。组距、上限、下限、等距数列、异