问卷调查的信度分析方法

问卷调查法是教育研究中广泛采用的一种调查方法，根据调查目的设计的调查问卷是问卷调查法获取信息的工具，其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性，在形成正式问卷之前，应当对问卷进行试测，并对试测结果进行信度和效度分析，根据分析结果筛选问卷题项，调整问卷结构，从而提高问卷的信度和效度。信度和效度分析的方法包括逻辑分析和统计分析，本文主要讨论后者。一、信度分析信度（Reliability）即可靠性，它是指采用同样的方法对同一对象重复测量时所得结果的一致性程度。信度指标多以相关系数表示，大致可分为三类：稳定系数（跨时间的一致性），等值系数（跨形式的一致性）和内在一致性系数（跨项目的一致性）。信度分析的方法主要有以下四种：1、重测信度法这一方法是用同样的问卷对同一组被调查者间隔一定时间重复施测，计算两次施测结果的相关系数。显然，重测信度属于稳定系数。重测信度法特别适用于事实式问卷，如性别、出生年月等在两次施测中不应有任何差异，大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变，这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短也有一定限制，因此在实施中有一定困难。2、复本信度法复本信度法是让同一组被调查者一次填答两份问卷复本，计算两个复本的相关系数。复本信度属于等值系数。复本信度法要求两个复本除表述方式不同外，在内容、格式、难度和对应题项的提问方向等方面要完全一致，而在实际调查中，很难使调查问卷达到这种要求，因此采用这种方法者较少。3、折半信度法折半信度法是将调查项目分为两半，计算两半得分的相关系数，进而估计整个量表的信度。折半信度属于内在一致性系数，测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷（如年龄与性别无法相比），常用于态度、意见式问卷的信度分析。在问卷调查中，态度测量最常见的形式是5级李克特（Likert）量表。进行折半信度分析时，如果量表中含有反意题项，应先将反意题项的得分作逆向处理，以保证各题项得分方向的一致性，然后将全部题项按奇偶或前后分为尽可能相等的两半，计算二者的相关系数（rhh，即半个量表的信度系数），最后用斯皮尔曼-布朗（Spearman-Brown）公式：求出整个量表的信度系数（ru）。4、α信度系数法Cronbachα信度系数是目前最常用的信度系数，其公式为：其中，K为量表中题项的总数，为第i题得分的题内方差，为全部题项总得分的方差。从公式中可以看出，α系数评价的是量表中各题项得分间的一致性，属于内在一致性系数。这种方法适用于态度、意见式问卷（量表）的信度分析。二、效度分析效度（Validity）即有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度。效度分为三种类型：内容效度、准则效度和结构效度。效度分析有多种方法，其测量结果反映效度的不同方面。常用于调查问卷效度分析的方法主要有以下几种。1、单项与总和相关效度分析这种方法用于测量量表的内容效度。内容效度又称表面效度或逻辑效度，它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价。逻辑分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求。统计分析主要采用单项与总和相关分析法获得评价结果，即计算每个题项得分与题项总分的相关系数，根据相关是否显著判断是否有效。若量表中有反意题项，应将其逆向处理后再计算总分。2、准则效度分析准则效度又称为效标效度或预测效度。准则效度分析是根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析问卷题项与准则的联系，若二者相关显著，或者问卷题项对准则的不同取值、特性表现出显著差异，则为有效的题项。评价准则效度的方法是相关分析或差异显著性检验。在调查问卷的效度分析中，选择一个合适的准则往往十分困难，使这种方法的应用受到一定限制。3、结构效度分析结构效度是指测量结果体现出来的某种结构与测值之间的对应程度。结构效度分析所采用的方法是因子分析。有的学者认为，效度分析最理想的方法是利用因子分析测量量表或整个问卷的结构效度。因子分析的主要功能是从量表全部变量（题项）中提取一些公因子，各公因子分别与某一群特定变量高度关联，这些公因子即代表了量表的基本结构。通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构。在因子分析的结果中，用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度，共同度反映由公因子解释原变量的有效程度，因子负荷反映原变量与某个公因子的相关程度。在结束本文时应再次强调，为了提高调查问卷的质量，进而提高整个研究的价值，问卷的信度和效度分析绝非赘疣蛇足，而是研究过程中必不可少的重要环节。另外转的资料：一、信度的考验（一）稳定性系数（重测信度）重测信度是用同一批受试者做同一份量表，然后以前、后两次测验的分数做积差相关。通常两次测验的间隔多以两周为度，有的量表甚至因其需要也有高达一个月或数个月的情形。两次测验的相关若越高，则代表其越具有稳定性。一般而言，.7~.9是属高相关，.4~.6是属中度相关，而.3以下则是低相关。（二）内部一致性系数（Cronbachα、折半信度）假如所得的Cronbachα系数越高，则代表其测验的内容越趋于一致。其次，内部一致性系数还可用折半信度来求得，但由于折半信度是将题目分成两半分别求得两个总分（通常是分为奇数题和偶数题），然后再以积差相关求两个分数的相关。由于题目被分为两半，常会造成信度偏低的现象。因此，需要再加以校正。较常用的校正方法有斯布（Spearman-Brown）、福乐兰根（Flanagan）、卢隆（Rulon）等校正公式。二、效度的考验（一）效标关联效度为了要验证所编的量表是否具有效度，最常用的一种方法即是效标关联效度。此种方法是针对所编的量表找一个可参照的效标，假如所得的积差相关系数达中度相关以上（0.4以上），即代表此份量表具有相当的效标关联效度。一般而言，适当的效标需具有相当的可靠性，否则无法有效预测所编制的量表。如以上述的「运动成就动机量表」而言，若以资深的教练对选手加以评分，所得分数当然可以作为效标。若是资浅的教练，因为对所有的选手还不是非常了解，其所做的评分就不是可靠的效标。（二）建构效度（团体差异的分析、因素分析）1、团体差异的分析：以前述所编的「运动成就动机量表」而言，编制者可请教练从其团队中选出高成就动机及低成就动机的选手，然后以高、低成就动机组的选手在成就动机得分的平均数进行差异性考验。假如高成就动机组的平均得分显著高于低成就动机组的平均得分，即代表此份量表能有效的区别高、低成就动机的选手。又如考验「运动攻击态度量表」的团体差异性分析，可以比较男、女选手在此量表得分的平均数，若男选手的得分显著高于女选手的得分，即代表此量表具有良好的效度。因为从一般心理学的研究中，男性的攻击性都显著高于女性。因此若男选手的得分显著高于女选手的得分，符合了心理学的研究，可由此说明此量表具有建构效度。2、因素分析：因素分析用在效度的考验方面可分为探索性因素分析（exploratoryfactoranalysis）和验证性因素分析（confirmatoryfactoranalysis）两种。当编制者在编制量表而没有理论作为根据时，只是由编制者依其概念将有关的题目编制出来，然后透过探索性因素分析了解所编的题目中究竟含有多少个因素。而当编制者采用某个理论来编制量表时，因为一个理论通常都会包含几个向度，亦即所编的量表相对的也会包含这几个分量表。为了验证此项量表所包含的分量表是否和所用的理论一致，验证性因素分析就可用来考验其效度。在用探索性的因素分析时，通常量表的编制者并不会预先知道会有几个因素，而是看特征值（eigenvalue）大于1的因素有几个，就决定有几个分量表。此外，虽然在统计软件包（如SPSS）上有多种方法可抽取因素时，但是一般多半用主轴法（principalaxismethod）。至于在转轴方面，有正交转轴（一般较常用最大变异法varimax）和斜交转轴（oblimin）两种。通常可先用斜交转轴试做，看其各因素之间的相关，若各因素之间是零相关，可改用正交转轴。若各因素之间有低相关（0.1~0.3），当然是用斜交法进行转轴。此时，以斜交转轴所抽取的因素就可加以命名，并将各因素中各题的因素负荷量较小的题目剔除（一般小于0.4的题目可加以剔除），然后重新再跑一次因素分析，直至各因素所有题目的因素负荷量都达到0.4以上。假如是用正交法进行转轴，也是同样的方式，先将各因素命名，然后剔除因素负荷量未达0.4的题目，再重新跑因素分析。另外在进行探索性的因素分析时，若是编制者综合若干个理论而合成一个量表（其中有几个分量表），此时亦可先用斜交转轴做，但可指定因素的数目。如编制的量表有五个分量表，就可指定以五个因素来做因素分析。因素分析后的各因素间没有相关存在，可改用正交转轴。若各因素间的相关是低相关（0.1~0.3），就以此斜交转轴的结果呈现各题的因素负荷量。若有两个因素间的相关达0.4（含）以上，即表示这两个因素有很大的重迭，应该将这两个因素合并为一个因素，然后再重新做斜交转轴，直到没有因素间的相关达0.4以上为止。至于验证性的因素分析则是量表的编制者根据某一个理论编出一个量表（其中有若干个分量表），为了验证所编的量表是否符合原先的理论，此时可用验证性因素分析加以验证。在进行验证时，有SPSS的LISREL（linearstructuralrelations）软件包可以使用。譬如所根据的理论若有五个因素，而验证性因素分析所做出来的结果也证明是这五个因素，此时即可说此量表具有建构效度。