调查数据处理和分析

工作任务五调查数据处理和分析学习目标1.知识目标（1）理解数据处理的涵义；（2）了解调查数据的审查的内容、方法和基本步骤；（3）掌握市场调查缺失数据的处理技术和方法；（4）了解数据分析的的涵义、特点和原则；（5）掌握数据分析的方法。2.技能目标（1）会调查数据的编码、录入与汇总；（2）会运用统计表，统计图表达调查数据信息；（3）会运用总量、相对和动态指标对调查数据进行分析；（4）会运用集中趋势分析技术对调查数据进行分析；（5）会运用离中趋势分析技术对调查数据进行分析。5.1数据处理5.1.1数据处理概述1.数据处理的含义数据处理，又称数据资料整理，是指将调查所得的原始资料按照调查目的和调查任务的要求，运用科学的方法进行加工整理，使之条理化、系统化，并能反映调查现象总体特征的综合资料的工作过程。2.数据处理的内容主要有以下几个方面：对调查所得原始资料进行审查；缺失数据的处理；调查数据的排序、分类、编码、录入、汇总；将整理后的数据绘制成图表。5.1.2调查数据的审查1.数据审查的内容（1）数据资料的完整性（2）数据资料的准确性（3）数据资料的及时性（4）数据资料的一致性5.1.2调查数据的审查2.数据资料准确性的审查方法（1）经验判断，即根据已有的经验，判断数据的真实性和准确性。（3）计算审核，即根据调查项目有关指标之间存在的数量关系，检查所接受资料数据的正确性，审查过程中，主要看各个数字在计算方法和计算结果上有无错误。（2）逻辑检查，就是根据调查项目之间的内在联系和实际情况，对数据进行逻辑判断，看其是否有违背常理或者前后矛盾的地方。5.1.3有问题问卷的处置1.无效问卷（1）回答不完全。如果一份问卷中至少有三分之一的问题没有回答，这份问卷应视为无效问卷。（2）调查对象不符合要求。如有的调查中规定某类的人员不能成为调查对象，如果问卷是由这类人员作答，就是无效问卷。（3）答案选择高度一致，即回答没有什么变化。如，不管什么问题都选择第一个答案。（4）截止日期后收回的问卷，即这些问卷其回答的可靠性很低，提供的极有可能是虚假信息。虚假信息的危害非常大，甚至比缺乏信息带来的还要大，所以这些问卷要全部作废。5.1.3有问题问卷的处置2.不满意的问卷（1）模糊不清。可能由于调查员记录的原因，把“√”画在两个答案之间。（2）前后不一致或有明显错误的。如一个年龄为20岁的被访者职称是教授；一个月收入低于1000元的被访者却拥有一处豪宅等。（3）模棱两可。要求单项选择的闭式问题却选择了多个答案。（4）不符合作答要求。比如跳答或不按要求回答。5.1.3有问题问卷的处置3.有问题问卷的处理方法（1）退回问卷重新调查（2）放弃不用（3）视为缺失数据的处理，如果不满意问卷数量所占比例较少，而且涉及的变量不是关键变量，在无法退回问卷做重新调查时，可以按缺失数据的处理方式进行处理。5.1.3缺失数据的处理1.推理插补推理插补，是对缺失或不一致的数据通过推断来确定。这种推理一般是根据数据资料中其他回答项的数据推理得来的。例如，一个三项数值的和是100,其中的两项分别是30和40,剩下的一项数值可以推算出是30。其数据间的逻辑关系是，第三项数值是三项数值之和与已知两项数值之差。5.1.3缺失数据的处理2.均值插补均值插补,是对缺失或不一致的数据用数列的均值来代替的插补方法。（1）当原数列没有明显升降趋势和季节波动时，用整个数列的平均值插补缺项。（2）当原数列各期增（减）量大体相同时，可以用前期数据加平均增（减）量来插补缺项。5.1.3缺失数据的处理2.均值插补均值插补,是对缺失或不一致的数据用数列的均值来代替的插补方法。（1）当原数列没有明显升降趋势和季节波动时，用整个数列的平均值插补缺项（2）当原数列各期增（减）量大体相同时，可以用前期数据加平均增（减）量来插补缺项。5.1.3缺失数据的处理3.比例插补，是根据事物之间的比例关系推算所缺数据的插补方法。4.热平台插补热平台插补是使用相似类型被调查者的已有记录的信息（供者）来代替一个缺失的或的或不一致的数据（受者）。热平台插补有序贯热平台插补和随机热平台插补两种基本类型。5.1.4调查数据资料的排序调查数据资料的排序是指把收集到的数据资料按照某一数量标志或指标数值的大小顺序重新排列。一般来说，录入数据清单的数据资料是无序的，不能反映现象的本质和规律性，为了使用方便，通常要将收集到的所有数据资料进行排序。5.1.5数据资料的分类（分组）审核后的数据资料只有进行分类（分组）和汇总，才能为市场分析提供系统化和条理化的综合指标数据，这也是保证数据资料客观准确的重要条件。1、分组的类型1）按品质标志分组2）按数量标志分组3）简单分组4）复合分组5.1.5数据资料的分类（分组）2、分组（分类）的步骤第一，选择恰当的分组标志第二，确定分组形式第三，确定组距和组数第四，确定组限与组中值组数最小变量值最大变量值组距=组中值=2下限上限缺下限的开口组组中值=2邻组组距上限缺上限的开口组组中值=2邻组组距下限5.1.6调查数据的编码、录入1.调查数据的编码（1）编码的含义利用计算机对调查资料进行加工整理时，需要对调查项目进行编码，以保证计算机对录入信息的高效处理。所谓编码，就是将调查表中的各个项目进行编号，将其所承载的信息转化为符号或数字代码，通过计算机语言对调查资料进行进行分类汇总和统计分析。5.1.6调查数据的编码、录入（2）编码的作用1）减少数据录入和分析的工作量，节省费用和时间，提高工作效率。2）将定性数据转化为定量数据，把整个问卷的信息转化为规范标准的数据库，进而可以利用统计软件，采用统计分析方法进行定量分析。3）减少误差。量化的数据简单易懂，不像文字资料容易丢失重要信息，在编码过程中，还可以利用编码修正回答误差，替代缺失值，因此编码有助于减少调查误差。5.1.6调查数据的编码、录入（3）几种常见的编码方法对甄别条件的设定、甄别质量的控制和主持人的主持水平要求高；所取得的信息是方向性的，不易精确地进行定量分析，不能将结论推及总体；有些涉及隐私、保密等问题，不容易当众询问；由于受时间的限制，需在有限时间内完成规定的内容，容易造成无法深入讨论。5.1.6调查数据的编码、录入1）顺序编码法顺序编码法又称系列编码法，是指用一个标准对信息资料进行分类，并按照一定的顺序用连续的数据或字母进行编码的方式。例如，一项对家庭年收入的调查项目，把不同年收入的家庭划分为以下五个档次。20000元及以下（1）20000～40000元（2）40000～60000元（3）60000～80000元（4）80000元及以上（5）5.1.6调查数据的编码、录入2）分组编码法分组编码法又称区间编码法，是根据调查事物的特性和信息资料分类及其处理的要求，将具有一定位数的代码单元分成若干个组，每一个组的数字均代表一定的意义。分组编码法编码简单，便于计算机处理，但位数过多，容易造成系统维护上的困难。5.1.6调查数据的编码、录入个人基本情况的调查性别居住地家庭人口数月收入水平回答编码回答编码回答编码回答编码男1大城市1单身13000元以下1女2中小城市2两人23000～6000元2县镇3三口之家36000～9000元3农村4四人及以上49000～12000元412000元以上5若某被调查者的信息是：女性，居住地某大城市，单身，月收入3000～6000元，信息码是2112。5.1.6调查数据的编码、录入3）信息组码编码法信息组码编码法，是指把调查信息资料区分成一定的组，每个组给予一定的组码进行编码的方法。某地市场商品价格变动情况的调查，调查组码分类如下：级别名称码百货组01～25食品组26～50服装组51～70家电组71～80其他组81～1005.1.6调查数据的编码、录入4）表意式文字编码法表意式文字编码法，又称助记编码法，是用数字、文字、符号等表明编码对象的属性，并依此方式进行信息资料编码的方法。例如，用210BXJ表示容量为210升的进口电冰箱，其中210为暗箱容量，BX表示冰箱，J表示进口。这种编码方法表现直观，易于理解，便于记忆。5.1.6调查数据的编码、录入2.调查数据的录入（1）数据录入的含义数据录入，是将经过编码的数据资料输入到计算机存储设备中的过程。市场调查发达的国家在数据采集中常常采用计算机辅助电话调查（CATI）、计算机辅助面访（CAPI）等调查方式，计算机录入工作在调查访问时就完成了。5.1.6调查数据的编码、录入（2）数据录入质量的检查1）数据库软件自动检查法通过数据库结构的编辑，可以对录入的过程进行逻辑检查，避免数据录入过程中出现某种类型的逻辑错误。2）重复输入数据重复输入数据的核查方式主要有双机录入或三机录入。双机录入，是指将同一份问卷，分别由两个录入人员在计算机上进行两次录入，将两次录入的结果逐一进行比较，相同的部分被认定为没有错误，不同部分立即检查问卷进行核对，及时修正错误；5.1.6数据资料的显示1.统计表（1）统计表的结构统计表从结构形式上看，一般由表号、总标题、横行标题、纵栏标题和数字资料等几个部分组成。（2）统计表的种类统计表根据制表的方式不同，可分为简单表和交叉表。5.1.6数据资料的显示2.统计图（1）条形图0200040006000800010000120001400016000吊扇台扇地扇壁扇空调扇小吊扇数量（台）5.1.6数据资料的显示（2）折线图元0500001000001500002000002500001月2月3月4月5月6月7月8月9月10月11月12月销售额利润5.1.6数据资料的显示（3）圆形图百货商品30%副食品商品50%服装商品20%5.2调查数据的分析1.数据分析的的涵义调查数据分析，是根据研究的目的和要求，运用科学的方法和手段，对调查数据进行定性和定量分析，揭示现象的本质和规律，为决策和管理提供咨询服务的过程。数据分析所采用的主要是一些统计分析技术。5.2调查数据的分析2.调查数据分析的特点（1）数据分析过程要定性分析和定量分析相结合（2）数据的定量分析以统计分析方法为主（3）数据分析不能孤立于被调查研究的现象独立地进行（4）数据分析过程是一次认识上的质的飞跃5.2调查数据的分析3.调查数据分析的基本原则（1）科学性原则是指在数据分析中，应该根据调查数据的属性和特点、调查数据的来源渠道、调查研究的任务和目的，选择科学合理的分析方法进行分析。（2）客观性原则是指在数据分析中，必须遵守实事求是原则，充分了解研究对象的各种实际情况，尊重调查数据事实，保证分析结果的公正与客观。（3）目的性原则是指数据分析必须围绕调查研究的任务和目的来进行，其分析的结果必须能够满足调查研究的需要。（4）系统性原则是指数据分析要将所研究的现象进行分解，然后对各种复杂的联系进行分析和综合。5.2.2总量指标分析总量指标的计算方法有直接计算法、推算与估算法。（1）直接计量法是指对研究的现象进行直接读数、点数或测量后，将总量数值计算出来的方法。（2）推算与估算法1）因素关系推算法。因素关系推算法是指利用社会经济现象的各个影响因素之间的关系，根据已知因素来推算未知因素的方法。2）比例关系推算法。比例关系推算法是指利用各种相关现象的比例关系进行推算的一种方法。3）平稳关系推算法。平稳关系推算法是指利用各种平稳关系来推算未知指标的方法。5.2.3相对指标分析（1）结构相对指标结构相对指标是在对总体进行分组的基础上，各组数值与总体数值对比得到的相对数。用来反映社会经济现象总体内部的构成情况，说明总体内各部分在总体中的地位。结构相对指标通常用百分数表示，其计算公式为：总体的全部数值总体各部分（各组）数值结构相对指标=×100%5.2.3相对指标分析