在线问卷调查的质量控制法

2012-06-06本文行家：夕阳牧马人在线调查在中国正处于从“量的增长”到“质的提升”的转换过程中。虽然越来越多的人开始利用在线调查，但对其数据质量仍会有很多担心和质疑。当前对整个在线调查行业数据质量产生不良影响的“答题不认真”现象尚未得到很好控制。本次研究探索了在无逻辑或模糊逻辑情况下，利用概率清除的方法对在线调查中“答题不认真”现象进行有效控制，并将这一具有“普适性”的方法在软件中固化，从而推动在线调查在中国的进一步推广和发展。一、引言在线调查在中国正处于从“量的增长”到“质的提升”的转换过程中。企业在体验在线调查的高效、经济、便捷的同时，也承受着对在线调查数据真实性、可靠性的担忧。一项最新的关于企业应用在线调查的研究数据显示，有意向使用在线调查的企业中，100%都曾提出过如何保证数据有效性的问题，87%的企业会问：“被访者从何而来，如何保证他们是真实的？”，85%的企业会问：“被访者如果不认真答题怎么办？”，而目前尚无意向使用在线调查企业中，出于对质量担忧的占到近60%。对在线调查数据质量的控制与提升是每个企业已经或即将面临的问题。1、现行主要质量控制手段的应用与局限性1）逻辑关系校验目前针对在线调查的质量控制方法中应用最为普遍的是逻辑关系校验，包含题目自身各选项间的逻辑和题目间逻辑。选项间逻辑通常非常简单，主要是选项互斥或包含的关系，题目间逻辑主要存在于一些具有特定关系的指标中。这些题目在问卷中数量有限，通常不会超过20%，且大多数与甄别部分相关，对主体问卷中题目数据质量的控制作用较微弱。在线调查中，为了验证一些关键信息，尤其是和甄别相关的信息，我们会主动设置地雷题，用于筛选前后矛盾的答题者。这种方法在一定程度上可以帮助我们辨别被访者是否存在作弊的情况，但这种辨别不是绝对的，因为一个被访者很可能在开始时的回答是真实的，但是由于问卷过于长等其他原因，在后期没有耐心继续认真回答时，在地雷题上出现前后不一的情况。如果以此作为标准，筛除这些样本，那么在一个问题相对比较多的在线调查中，通过这种方法筛除的被访者比例可能是相当高的，而没有被筛除的人并不能排除其作弊的可能性。2）历史数据比对基于在线调查的特殊性，对于有样本库的在线调查公司而言，可以将某一次调查的数据与注册信息或其他调查信息进行对比，验证其所填内容的真实性。但一方面不是所有的问卷信息都可以作对比，另一方面有些信息对比后发现不一致现象，并不能100%说明是被访者作弊，因而这种方法在实际应用中存在一定的局限性。3）基于内容的人工检查这种质量控制方法由于个性化很强，和产品或品牌本身特性相关，不是每个调查中都会涉及，也很难形成相对统一并且固化的质量控制方法，更多地需要研究者的介入。综上，目前的在线调查质量控制方法对于有逻辑的题目可以进行控制，但是对于无逻辑或模糊逻辑的题目很难产生实际效果。2、影响在线调查数据质量的关键因素在一个调查中，非抽样误差通常来自于三个方面：设计人员、访问员、受访者。由于在线调查中没有了访问员的环节，相比传统调查，在线调查已经大大减少了产生非抽样误差的可能性。在研究设计符合在线习惯的前提下，担心的唯一来源就是被访者了，一方面是被访者作弊，另一方面是被访者答题不认真。一个符合在线习惯，同时不涉及过多个人隐私的问卷，被访者不存在主动作弊的动机，同时，后台严格的管理使被访者的作弊成本很高，因而作弊现象很少发生。一旦发生，我们通常可以通过逻辑校验、设置地雷题、与会员过去答题情况和注册信息等已有属性对比来进行有效筛除，因而这一现象目前已得到有效控制。但被访者答题不认真的情况尚未得到很好控制，一方面这种现象无法主动避免，主要是由于：1）在线调查无法主动控制被访者参与的情况；2）每个题目对被访者的吸引程度不同，被访者很可能对整体调查主题比较感兴趣，但对问卷中的某个内容不感兴趣而不认真作答；3）题目设计本身可能存在各种问题，造成被访者回答困难；另一方面，主体问卷中的绝大多数题目是无逻辑可依的，当前主要的质量控制方法无法对每个题目产生普遍作用，因而这一现象始终无法根除。基于此，本研究通过探索无逻辑或模糊逻辑情况下的在线数据质量控制方法，剖析以下三个重要的问题：（1）如何系统应对在线调查中“答题不认真”的现象？（2）对于主体问卷中无逻辑或模糊逻辑的题目而言，是否存在“普适性”的质量控制方法，能够有效提高在线调查的数据质量？（3）在线调查与互联网紧密结合，具有不同于传统调查的数据存储特点，如何利用这些特点实现数据质量的“系统化”、“自动化”、“统一化”提升？二、研究设计基于上述研究目的，我们首先对典型在线调查项目进行综合分析，找出数据存在的典型现象；在此基础上，从概率角度出发，探索具有“普适性”的数据质量控制方法，并对应用结果进行评估，验证方法的正确性；再次，结合在线调查特点探索一套具有“可复制”性的质量控制方法，使在线调查质量得到“系统化”、“自动化”、“统一化”提升。1.典型的“答题不认真”数据现象我们首先从2010年至今的各类在线调查项目中抽取了不同调查主题、涵盖不同行业的38个典型项目案例进行了评估，具体项目分布见下表。在分析这些项目的数据特点前，我们已根据过滤条件、地雷题、问卷中显性逻辑关系进行了校验。这些题目本身没有绝对的逻辑，与其他题目间也没有必然联系。我们发现经过上述方法提出不合格的样本后，有些情况仍然无法杜绝，其中典型的现象是被访者回答的选项数量超过合理值范围。我们抽取其中一个典型案例加以说明，如下图所示：比如，当提及过去3天吃过的快餐时，有被访者回答吃过12种，远超过平均的选项数量2种。再如当提及过去3天看过哪些电影时，有被访者回答看过19部，远超过平均的选项数量2种。对于在线调查而言，我们无法主动控制被访者选择时的状态和认真程度，这种数据现象在每个题目中都或多或少会出现。对平均值影响最大的因素就是奇异值，哪怕只有一两个奇异值，也会使数据结果出现较大波动，在回归等分析中产生较大影响。因而虽然奇异值很少，但仍会影响统计分析的准确性。由于每个题目的奇异值标准不一样，如何用一种高效的、普适性的方法找到奇异值是我们面临的首要问题。2、具有普适性的质控方法——概率清除（1）概率清除的基本原理概率统计中的3σ原理告诉我们，通常情况下，标准正态分布时有99.7%的可能数据应该落在μ+3σ的范围内（其中μ为均值，σ为标准差），如下图所示：而选项个数在一定程度上是比较稳定的，即所有人选择个数的均值是相对稳定的，这也是为什么可以通过数据找到事物客观发展规律的原因。考虑到不同情况下大家行为的差异，我们既不能轻易删除被访者数据，但也不能轻易相信所有的回收数据。因而需要利用科学的方法对被访者的回答进行筛除。由于数据落在μ+3σ范围内的概率均超过99%，也就是说一个正常的数据有99%的可能性会落在这个范围内，超过这个范围的值发生的概率极小，因而一旦发生，可以认为是奇异值，需要剔除掉。（2）概率清除的方法应用接下来，我们对上述典型案例中的题目进行验证，在过去3天吃过的快餐一题中，我们发现落在μ+3σ范围内的，即选项数量小于等于7.3个的比例为99.7%，有0.3%的人回答的选项数量超过合理范围，发生的可能很小，可认为是奇异值。此外，在线调查中，由于系统自动记录了每个题的答题时间，因而从答题时间上，我们同样应用概率清除的方法，对每个题的答题时间落在μ+3σ范围外的数据进行剔除。概率清除的质量控制方法在传统调查中是很难实现的，一方面记录每个题的答题时间会耗费大量精力物力，不具有可行性，即便能够记录，在以访问员为介质的调查中无法有效控制记录的准确性和有效性。另一方面由于涉及题目多，计算过程相对复杂，单单依靠研究人员无法在有限的时间内，对所有题目进行同样的处理，结果导致没有人根据这些原则对项目数据进行严格的质量控制。但与在线调查特点相结合，基于概率清除的数据质量控制可以得到很好的应用，从而对“答题不认真”现象进行普遍控制。3、应用结果及其评估验证（1）应用结果在上述典型案例中：A）通过概率清除方法，平均每个题目可以在现有基础上，使2%-3%不好的数据得到清除，如下表所示：B）当我们把同一个被访者超过合理范围的次数进行统计，我们会发现：一个题目不认真作答的人数占总人数的4.21%，两个题同时不认真作答的人数占比为1.05%，3个题同时不认真作答的人数占比为0。剔除的不认真回答数据占全部回答人数的5.3%。在将这一方法运用于其他37个项目后，我们发现：C）随着答题时间的增加，“答题不认真”现象随之凸显，超过合理值范围的样本数随之增加。在一个20个题的调查中，处在问卷末尾的题目，清除的不认真回答率约为5%。（2）评估与验证为证明数据清除的有效性，我们在其他案例中将完全同质人群的在线调查数据与传统调查数据作对比，结果发现，概率清除后，在线调查数据与传统调查数据更为接近。我们选取了具有人群覆盖广、认知程度较均匀的银行品牌竞争力调查项目，这样的项目能够较好的剔除由于人群行为特征的不同造成的数据差异，更能反映数据本身的质量。在这个项目中，在线回收数据11963个样本，CLT回收8891个样本，CATI回收7457个样本。三种渠道的样本构成完全一致，如下图所示：样本分布覆盖全国81个核心城市，其中省会以上城市占比超过50%。本案例题目中（问卷第1题，且内容大家较熟悉，较容易作答），经过概率清除的不认真答题率为1%。通过概率清除后的在线回收数据显示：在线回收数据中，最近三个月打过交道的银行的平均个数从3.52个降低到3.43个，概率清除前后，在线数据与拦截访问数据更为接近，平均差距缩小0.5%。此外，三种渠道数据大体趋势相同，其中在线数据与CATI数据的趋势最为接近，但由于CATI数据的选项不提示特点，整体数据较在线调查与拦截访问降低了约10%的比例。这个结果也同时验证了很少存在在线调查被访者整体作弊的情况，因而基于概率进行质量控制是可行的。4、概率清除法的系统固化为了使在线调查的数据质量得到系统、稳定的提升，可以将这一质控流程固化在系统中，具体流程如下图所示：三、本次研究的意义及存在的问题1、本次研究的意义（1）创新性：针对当前无逻辑或模糊逻辑情况下质量控制手段缺失的现状，提出了概率清除的质量控制方法。（2）科学性：较传统质控相比，由于“标准”是根据客观数据由系统计算得出的，因而改变了以往质控手段中“人为的”、“个性化的”运作特点，使“标准”更加客观、更加科学。（3）有效性：通过这一质控手段，可以在现有基础上清除5%-10%答题不认真的数据，使数据质量提升。（4）高效性：概率清除这一质控手段在在线调查领域具有“普适性”，与软件系统相结合，能够进行批量化处理，使在线调查的数据质量得到“系统化”、“自动化”、“统一化”提升。2、本次研究的不足本次研究虽然采用概率清除的方法对“答题不认真”数据进行了有效清理，但仍属于事后控制的一种手段。如引言所述，受访者的答题不认真可能是问卷设计不合理导致的被迫不认真，这种处于有效值范围内，以“非奇异值”形态存在的不认真现象，仍需从问卷设计这个源头进行深入研究。两者相辅相成，“答题不认真”现象才能得到根除。