问卷四讲义

问卷调查法(四)提纲一、回收问卷整理及数据准备工作1问卷整理2问卷编码2.1建立编码手册2.2单选题的编码2.3多项多选题的编码2.4比较题的编码2.5开放式问题的答案处理2.6综合小案例二、调查问卷的评价1.项目分析2.问卷的信度评价3.问卷的效度评价三、参考文献问卷（四）问卷整理及编码1问卷整理问卷整理：指全部问卷回收后所进行的排除无效问卷和问卷编码等工作。方法：首先是有效问卷的识别问题。其次，对包括虽有缺陷但仍可以使用的问卷在内的全部有效问卷进行编号。两种情况处理：如果收集上了的问卷数量不是很大，如50份问卷，我们可以将每份问卷简单编号。即直接从1开始编号一致编到50，在问卷首页的一角写上相应的编号。但是如果有效问卷较多，且来自不同的班级或者学校，则需要对班级或者学校加以区分。假如我们调查了华中科技大学、河南大学、南京大学、武汉大学、北京外国语大学和华中师范大学等6所大学的10个教学班，共收集了500份有效问卷。我们可以用6位数字对每份问卷进行编码，第一位数字代表学校，而后两位数字代表班级，最后三位数字代表具体的受访者。问卷编号过程如下：（例如，编号为101001的问卷表示，这份问卷是来自华中科技大学第一个班级的第一位学生。）2问卷编码问卷编码就是将每份问卷中项目的答案进行量化处理，即对他们赋予一定的数值。也就是说将每个答案转化成一个数字。2.1建立编码手册2.1.1编码手册是是什么？编码手册的内容一般包括问卷中的每个变量名、变量标签、变量值及其含义、变量测量类型、每个变量在数据问卷中的位置等信息（见表6.2）；变量名的作用是对问卷项目进行命名，便于计算机识别；变量标签是用来描述变量名的具体含义，即问卷项目的含义；变量值是用来对各个问卷项目的答案进行赋值，即对项目答案进行量化处理，也是为了便于计算机处理。2.1.2编码手册的主要作用：首先是为了自己研究方便，尤其是帮组自己记住问卷的编码过程，研究者即使不用编码手册也能进行编码，记住每个变量名和变量值及其代表的意义，但是随着时间的推移很可能就忘记每个变量名和变量值及其代表的意义。如果研究者想试用以前的调查数据，那么编码手册更是必不可少；其次，编码手册是为了课题组的其他成员理解问卷的编码，方便数据录入员（如果不是研究者自己录入的话）将数据输入到计算机中，或者便于课题组之外的研究者理解或者进行重复研究。2.2单选题的编码在第一节课中我们讨论封闭式问题时，列出了是非题、多项单选题、利克特量表、和语义区分量表。它们共有的一个共同的特点，无论答案有几个选项，受访者只需要从其中选择一个最适合自己的选项。对这类问题进行编码时，需要将每个问卷项目作为一个变量进行处理，答案有几个就用几个数值来代表。2.2.1是非题问卷项目编码2.2.2多项单选题项目编码2.2.3利克特量表项目：编码：2.2.4语义区分量表项目：编码：2.3多项多选题的编码单选题编码时每个问题只作一个变量。如果问卷项目是多项选择题，答案有几个选项就需要用几个变量名进行编码。问卷项目：编码：2.4比较题的编码我们知道比较问题一般分为成对比较式问题和排序问题。对于成对比较式问题的编码，只需要使用一个变量名，因为答案只涉及两个选项，所以只需要用两个数字来代表该变量的数值。2.4.1成对式比较问卷项目：编码：2.4.2排序问题项目：编码：2.5开放式问题的答案处理不同类型的开放式问题有不同的处理方法。1.答案本身就是数字的填空题，无需进行编码处理。如个人背景部分的年龄、课外学习英语的时间、考试分数等等，可直接录入计算机。2.由选择题结合开放性填空的项目类型处理方法：见课堂3事实性的调查如果开放式问题是关于受访者过去参与的活动、经历、个人偏好等事实性的调查，受访者给出的答案就是一种客观存在的事实。对于这类问题的处理也有两种，如果受访者给出的答案选项不多，直接给每个选项进行编码即可。如果给出的选项较多，就可以根据一定的标准对选项进行分类，达到简化的目的，然后对这些分类进行编号。4主观思想的调查可以采取以下具体步骤：逐一检查同一开放式问题的答案找出一份回答得比较完全、具有代表性的问卷以该问卷为蓝本，从中找出关键句子，做好标记对这些关键句子进行分类给每一类进行简单命名，并在问卷上进行标示在一张大纸（如A3复印纸）上制作分类表（见例子）根据分类表分析第二名受访者的答案，找出相同类别的句子并归入分类表中如果有不同的关键句，在分类表后面补充新的类别。第三名以及以后的受访者的答案分析方法与第二名受访者的分析方法相同。所有的分类数据填入表格以后就可以进行量化处理了。2.6综合小案例接下来以秦教授曾经使用过的外语学习动机问卷调查中的部分项目为例，综合说明如何对一份完整的问卷进行编码（参考附加例子）二、调查问卷的评价1.项目分析1.1项目分析含义：项目分析（广义）：对问卷项目进行定性和定量分析。定性分析涉及项目是否具有代表性，测量是否客观、准确等，广义的定性分析贯穿于整个问卷研究的过程中。定量分析是通过一定的统计程序检验项目的区分度。狭义含义：仅限于定量分析，即用统计的方法来检验项目的区分度。项目分析的目的：通过项目分析来了解每个项目的答案分布情况。排除答案变化太小的项目，确保问卷项目具有良好的区分度。区分度：指问卷项目对所要测量内容的区分灵敏或者鉴别能力。项目效度：区分度高的问卷项目可以很好的反应受访者在所测量内容上的个体差异。区分度高低反应了问卷项目能否有效地区分受访者，这是项目本身效度。项目区分度也称项目效度。1.2项目分析方法：极端分组法和内部一致性分析法。1.2.1极端分组法：就是根据受访者在个项目上的测评结果，先计算出全部问卷项目的总分，将问卷项目的总分从高到低排列，以27%的标准分别抽取出高分组和低分组，最后进行独立样本T检验。查看统计结果，看高分组和低分组在每个项目上的差异是否达到显著性水平（p0.05）,如果达到显著性水平就说明该项目具有较好的鉴别度。具体来说，用独立样本T检验方法检验每个项目区分度的具体做法为：1.2.2内部效度一致法除了上述独立样本T检验方法检验项目的区分度以外，还可以用先关分析方法。具体做法是，根据受访者在个项目上的测评结果，计算全部项目的总分，对每个项目与量表总分进行相关分析。如果相关系数等于或者大于0.30，且达到了显著性水平，表明项目内部的一致性程度高，或者该项目具有良好的区分度。用相关分析方法检验项目的区分度有两个步骤：2.问卷的信度分析2.1信度的内容信度：信度也成可靠性，它是指测量结果的稳定程度或者一致性程度。问卷存在的三种误差：抽样误差、系统误差和随机误差①抽样误差：抽出来的样本可能代表性不强，如果抽样范围广，样本足够大，那么抽样误差就不会太大，可忽略不计。②系统误差：是一种有规律性的误差，它与测量工具本身的质量有关，与文件的效度密不可分。③随机误差：是一种无规律的随机变化，它影响测量结果的稳定性。2.2外在信度检验含义：外在信度检验方法是通过对累计检验结果进行比较来验证问卷的信度。外在信度的检验方法主要有两种：再测信度和复本信度。再测信度：指用相同问卷在不同的时间、相同或者类似的条件下，对于相同受访者进行先后两次测量，然后根据两次测量的结果进行相关分析，得出相关系数，这种相关系数就是再测信度系数。相关系数高就说明该测量工具稳定性很好、信度高。复本信度：指研究者设计了两套形式不同但内容相同的问卷项目，同时或者连续对受访者进行调查，然后检验不同问卷项目策略结果直接的一致性。这也就是计算两个测量结果之间的相关系数，如果高度相关，说明测量工具的信度好。优点：复本信度可以很好地避免再测信度中受访者可能凭记忆回答的问题，而且也不要求两次测试必须有时间间隔。使用复本信度方法需要注意的是要确保两个测量工具是平行的，或者是等值的，即无论是内容、数量，还是形式都必须相同或者类似。缺点：设计策略工具的两个版本，需要耗费大量的诗句，而且难度也很大。2.3内在信度检验定义：指测量同一概念的不同项目之间的一致性。如果在测量工具中使用了多个独立的项目，就是需要弄清楚这些项目提供的信息是否相同，即需要检验量表的内在一致性。也就是说，内在信度要检验的是，测量相同现象的不同项目是否产生类似的结果。主要有两种方法：折半信度方法和Coronbachalpha系数，这两种方法也叫内在一致性检验。折半信度方法适合于检验态度量表的内在一致性。研究者为了使折半信度检验测量的一致性，往往在量表中增加一倍的测量项目，重复前半部分项目的测量内容，但是措辞上不同。具体分析时将测量结果根据问卷项目编号的单双号分为两组，然后计算这两部分之间的相关系数，相关系数就是信度指标。折半信度系数等同于复本信度系数，我们也可以用同样的方法去理解，因为折半的方法中的两半类似于复本方法总的两个部分，只不过折半的方法中两个部分是同时实施测量的。Cronbachalpha系数Cronbachalpha系数是人们用来对不易进行折半系数分析的量表检验内在信度，它可以帮助人们确定影响量表内在一致性的项目。该方法是估计内在一致性信度系数最常用的方法。其原理是基于项目间的平均相关，如果测量出的内在一致性很差，其Cronbachalpha系数最低时会为零，如果内在一致性很好没有误差时，Cronbachalpha系数为1.一般认为可以接受的Cronbachalpha系数不应低于0.7。3.效度分析效度：指测量工具对所要测量的东西的测量能力。两种方法确定测量工具的效度：逻辑正经和统计证据。用逻辑证据来确立效度就是证明测量工具中的问题与研究目的是否合适；用统计证据来确立效度则是通过一定的计算提供硬证据来证明问卷项目与研究目的的关系。分类：效度分为内在效度和外在效度。3.1内在效度：指存在于测量工具本身的效度，它包括内容效度和结构效度。内容效度：评价内容效度主要是一种定性分析，判断问卷是否达到测量目的的主要依据，问卷项目与研究目的直接的逻辑关系，因此内容效度又称逻辑效度。内容效度一般在问卷初稿设计完成立即进行。主要是检验问卷项目与研究目的之间的联系。结构效度：检验结构效度主要是依赖于统计证据，即通过统计程序检验每一个结构对观测现象的整个方差的贡献。3.2外在效度：是指利用测量工具以外的标准，即外在标准验证而得以证实的效度，它包括预示效度和共时效度。预示效度的判断是根据测量工具能在多大程度上预示结果，而共时效度的判断则是根据一种测量工具与另一种测量工具同时使用时的比较。一般问卷调查只需要做内容效度和结构效度的检验。3参考文献[1]秦晓晴，《外语教学问卷调查法》[M].北京：外语教学与研究出版社，2009.[2]张红霞，《教育科学研究方法》[M].北京：教育科学出版社，2009.[3]侯怀银，《教育研究方法》北京：高等教育出版社，2009.[4]严明，《英语学习策略理论研究》[M].吉林：外语教育出版社，2009.[5]袁军，《教育科学研究的工具——量表与量化（上）》[M].北京：学苑出版社，2005.[6]张克勤，《教师科研理论与方法》[M].浙江：浙江大学出版社，2009.