概化理论

概化理论简介经典测验理论（ClassicalTestingTheory，简称CTT）存在的问题：1严格平行测验假设难以真正满足2把测验分数简单划分成真分数和随机测量误差两部份。这种划分对于心理测量而言较为粗略概化理论简介一、基本原理及概念二、单侧面随机设计三、双侧面完全随机设计四、总结GT的基本原理和概念测量目标和侧面G研究和D研究侧面的特征与研究设计小结测量目标和侧面GT把测量者希望测量的那些实体称为测量目标（objectofmeasurement）。GT用侧面（facet）这一概念来表示一组特定的测量条件，并称条件的数量为该侧面的水平（level）GT的主要任务就是区分误差的来源，并把误差方差分解成各个具体的方差分量，为控制和减少测量误差提供依据。GT把观察分数的总体方差（totalvariance）分解成测量目标方差、侧面方差、各种交互作用方差，以及交互作用与其他不明的变异来源的混杂（confound）效应的残差方差部分。返回概化研究（G研究）G研究的目的是辅助设计一项具有充分概化力的D研究。G研究的设计需要预计到测量的不同用途和目的，并且应该提供尽可能多的测量变异来源的信息，其主要工作是用方差分析等方法来估计方差分量。两个全域随机平行假设可接受的观察全域(universeofadmissibleabservations)全域分数（universalscore）概化全域（universeofgeneralization）G研究结果的解释方差分量的解释绝对解释：根据方差分量的平方根的大小来解释相对解释：各方差分量占总方差的百分比决策研究（D研究）为作决策或解释收集数据首先要界定出概化全域，还需要明确对测量结果是作相对决策，还是作绝对决策。最后用G研究所得到的方差分量估计值来评价各种可能的D研究设计方案的效果，从中选出测量误差趋于最小的最佳设计。D研究的结果解释两类决策：绝对决策和相对决策相对误差方差和绝对误差方差（二者的区别）概化系数（G系数，或Eρ2）是测量目标方差与测量目标方差加上相对误差方差之和的比率可靠性指标（Φ系数）是测量目标方差与测量目标方差加上绝对误差方差之和的比率2Reˆl2ˆAbs返回侧面的特征和研究设计随机和固定交叉和嵌套1A1A223B3B44侧面的随机或固定，侧面水平数的多少，侧面之间、侧面与被试之间是交叉还是嵌套，共同决定着设计方案的制定。而设计方案不同，两种误差方差和G系数、Φ系数就随之不同。小结GT的整个研究过程：根据D研究可能的设计方案进行G研究，包括设定可接受的观察全域、进行方差分析、估计方差分量等步骤，然后进行D研究，运用G研究提供的方差分析结果估计各种可能的设计方案相应的误差方差和G系数或φ系数，最后结合实际情况即可选择一个最适宜的D研究设计方案返回单侧面随机设计以只有评分者一个侧面为例，单侧面设计可有两种设计：1.交叉设计：由n个评分者给每个被试评分；每个被试的评分者相同。记作ixp2.嵌套设计：由n个评分者给每个被试评分；每个被试的评分者不相同。记作i:pG研究为交叉设计时的数学模型的线性模型=μ+（μp-μ）+（μi－μ）+相应的方差分量2ppiepiXpiX2,epi2i2,222)(epiippiX变异来源示意图ipi,epixpipi,epi:p方差分量示意图2p2i2,,epii2p2,epiixpi:p研究过程1-G研究首先进行G研究。对采集好的数据进行双因子方差分析，由此来估计方差分量。估计出方差分量后，G研究还可以算出各方差分量的相对大小，即占总体方差的百分率，以便对方差分量做解释。至此G研究结束。表1pxi设计的方差分析（ANOVA）表变异方差和自由度均方差均方差期望值来源SSdfMSEMS被试（p）SSp评分员（i）SSi残差（r）SSr1pnpppdfSSMS/1iniiidfSSMS/11ipnn/rrrMSSSdf2,()rpieEMS22,()ppieipEMSn22,()ppiepiEMSn222,()/()/pPriiirppierEMSEMSnEMSEMSnEMS方差分量的估计22,22,2,垐()/垐()/ˆpPprieiiiprieppierEMSnEMSnEMS研究过程2-D研究利用G研究结果来计算D研究各种可能的设计方案的误差方差和概化系数。研究者可以根据需要变换侧面的水平数，或者更改D研究的设计形式，变交叉为嵌套等等，再来计算水平数值不同或者不同设计形式时的指标。误差和概化系数计算公式ieln22Reieiln)(222ReieiAbsn)(222pxii:pieiAbsn)(222)(2Re222lppE)(222Abspp例题假设研究者编制了一份由大量题目构成的科学成就测验，研究者随机挑选了8道题目并施测于20名大学生，研究者想知道把一个学生在题目样组上的成绩推广到所有测题成绩的准确性多大？（用pxi设计G、D研究）表2某科学成就测验分数题目被试1234567810100010121010000131110000041100100151111000161111111171010011081010001191000011110010011001100011100120010000013111111111400000111150010000116111001001701000000181000011119000001102001000000G研究结果变异来源SSdfMS方差分量百分率估计值被试（p）8.6250190.45390.030512测题（i）2.775070.39640.00934残差（e）27.97501330.21030.210384D研究结果（pxi设计，=1）pn(G研究)D研究的设计方案变异来源18203040被试（p）0.03050.03050.03050.03050.0305测题（i）0.00930.00120.00050.00030.0002残差（e）0.21030.02630.01050.00700.00530.21030.02630.01050.00700.00530.21960.02750.01100.00730.00550.130.540.740.810.850.120.530.730.810.852ˆin2ˆp2ˆi2ˆe2Reˆl2ˆAbs2ˆˆ双侧面完全随机交叉设计当研究者所考虑的测量条件有两种时，这时就需要进行双侧面的研究设计完全随机交叉设计两个侧面之间、侧面与被试之间都是交叉的，记作pxixj，采用pxixj设计的G、D研究变异来源方差分量G研究D研究举例小结变异来源2i2p2jpijpiijpjpij,e2pi2pj2ij2,epijpxixj返回方差分量2p2i2j2pi2pj2ij2ij2,epij返回G研究收集数据、估计方差分量对采集到的数据进行三因子方差分析就可以得到相应的均方差项。通过代换，首先计算出残差方差分量的估计值，然后即可依次求出其他方差分量的估计值方差分量估计公式2,ˆpijerMSpeijijnMS/)ˆ(ˆ22jepipinMS/)ˆ(ˆ22iepjpjnMS/)ˆ(ˆ22pipjiijpejjnnnnMS/)ˆˆˆ(ˆ2222pjpijijpeiinnnnMS/)ˆˆˆ(ˆ2222ijpijpjieppnnnnMS/)ˆˆˆ(ˆ2222返回D研究根据决策类型、选择最佳设计方案研究者可以根据实际需要调整各侧面的水平数，比较不同水平数下的误差大小以及概化系数或可靠性指标的高低，从而挑选出最合适的方案来相对误差和绝对误差222,2Repipjpijelijijnnnn222222,2jijpipjpijeiAbsijijijijnnnnnnnn概化系数、可靠性指标2Re222lppE222Abspp返回例题假设有一份休假兴趣的调查表，6人均参加了两个相似场合的测试，每次做相同的5道题目。结果如下表。题目人场合12345115544325544421342322552243114524223523413322424422251144222244356122212213112G研究(pxoxi设计)结果变异来源SSdfMS方差分量估计值百分率被试（p）34.73356.947.53330场合（o）1.06711.067.0201测题（i）4.10043.525.18511oxp3.3335.677.0221ixp0.100201.505.47327oxi1.4334.3580（-.033）0(-2)残差（e）11.16720.558.55832注意：方差分析方法估计方差分量可能出现负的估计值原因：统计模型是否恰当演算是否有误数据是否太少如何处理分值为负数的方差分量用零代替负值，根据需要代入其它方差分量估计公式在估计其它方差分量时，继续使用负值，但报告该方差分量时，用零替之。D研究(pxoxi设计)结果（只改变题目侧面的水平数）(G研究)D研究的设计方案变异来源15101520被试（p）0.5330.5330.5330.5330.533测题（I）0.1850.0370.0190.0120.009场合（o）0.0200.0200.0200.0200.020(oxp）0.0220.0220.0220.0220.022（pxi）0.4730.0950.0470.0320.024（oxi）0(-.033)0(-.007)0(-.003)0(-.002)0(-.002)残差（e）0.5580.1120.0560.0370.0191.0530.2290.1250.0910.0651.2580.2860.1640.1230.0940.340.700.810.850.890.300.650.760.810.852ˆin2ˆp2ˆi2ˆo2ˆpo2ˆpi2ˆoi2,ˆpioe2Reˆl2ˆAbs2ˆˆ小结研究者还可以采用双侧面随机嵌套设计、有一固定侧面的混合设计来进行概化分析。这两类设计又拥有多种形式。另外，G、D研究既可以采用相同的设计形式，也可以采用不同的设计形式，只要保证G研究所得到的方差分量估计值足以计算D研究的误差和G、φ系数即可。返回总结-----GT的特色一次量化分析就能估计出各个误差来源的大小，并且为研究者提供了使测量信度最优化的方法把整个研究细分成了概化（G）研究和决策（D）研究在结果解释上对相对决策和绝对决策作了区分θ结构观察单变量概化理论模型回答之和评分者测验类型测验场合补充多元概化理论基本原理略述——适用于多变量测量情景的多元概化理(MultivariateGeneralizabilityTheory,MGT)历史事件：Cronbach等人(Cronbach,etc.,1972)曾探讨方差协方差分量的估计方法和作用；1976年，Joe和Woodward推导出多元概化系数1.MGT的测量目标由多个变量组成，可以假定相同被试在不同变量上的观察分数具有相互的关联。多个变量的分数（多维分数）形成向量，向量的观察分数方差可以用方差协方差矩阵来表示。期望的观察分数方差协方差矩阵可分解为各效应的方差协方差分量（varianceandcovariancecomponent）矩阵。2.与单变量概化理论（UGT）相比，多元概化研究所得到的方差协方差分量矩阵的对角线元素正是单变量概化分析时各变量的方差分量值，因而说明多元概化研究的结果包含了单变量概化分析的信息；而且，前者还能获得各变量的协方差分量，为多维度测量的测评结构关联、组合测验信度提供了更全面的剖析。3