TQ-Analyst

服务科学，世界领先TQAnalyst红外定量分析刘全[e-mail]2定量分析理论基础3比尔定律A=a·b·c•a-absorptioncoefficient吸光系数•b-pathlength光程•c-concentration浓度ƒ吸光系数–通常可认为是常数，但应注意分子间的相互作用.ƒ光程–定量分析时非常重要且复杂的因数，特别是固体样品的定量分析.如果光谱采集时光程不可知或无法保证其恒定，建模(Calibrate)时必须加以考虑.ƒ含量–事先需确定合适的含量范围.4定量分析方法ƒ简单比尔定律(SimpleBeer’sLaw)•一元线性回归ƒ经典最小二乘(CLS)•多元线性回归ƒ逐步多元线形回归(SMLR)•反向回归ƒ主成分回归(PCR)•基于主成分分析PCA的回归ƒ偏最小二乘回归(PLS)•基于PLS的回归ƒ除比尔定律外，其它几种方法均为多元校正方法(MultivariateCalibration)5简单比尔定律(一元线性回归)ƒA=a·b·ca-absorptioncoefficient吸光系数b-pathlength光程c-concentration浓度ƒ通常A=a·C+b•一元线性回归两点确定一条直线•需至少两个标准样品（Standard）6简单比尔定律(一元线性回归)ƒ通常，采用更多standards绘制标准曲线ƒAi=a·Ci+bi=1,2,3,4,5,……或A=KCƒ最小二乘回归得原理是，根据观测值找出最佳的a,b的估值，使观测值与预测值达到最佳接近的程度。a的值可以通过最小二乘法得到，即选取a使观测值与预测值间的残差平方和达到最小2221()()()()1()()iiiiiiiiicAcAccAAnaccccnbAac⎧−−−⎪==⎪−⎨−⎪⎪=−⎩∑∑∑∑∑∑∑c=(A–b)/aCalibrationModel7简单比尔定律(一元线性回归)ƒ非常简单的线性回归模型ƒVerysimplemodelusingsimplelinearregressionofabsorbanceversusconcentration.ƒ只需最少的标准样品(standards)ƒUsesaminimumnumberofstandards.ƒ不适用于存在谱峰重叠的情况下ƒCannotbeusedwithsignificantlyoverlappedpeaks.ƒ要求含量与吸光度间呈线性关系ƒLinearbehaviorbetweenconcentrationandabsorbanceisrequired.ƒ通常不适用于NIR定量分析ƒNotveryeffectiveinNIRquantitativeanalysisbecausebandoverlapisgenerallypresent.8经典最小二乘回归(CLS)ƒ经典最小二乘回归•多元线性回归算法ƒ经典(Classical)反向(Inverse)9经典最小二乘回归(CLS)ƒ在比尔定律中，因变量只有一个“峰面积”或特定波长处的“峰高”（吸光度）ƒ比尔定律方程A=KC可被扩充至包含光谱中多个波长处的吸光度，K-K矩阵Aν=(K1C1+K2C2+K3C3+…+KnCn)νƒ通过对以上方程采用最小二乘法求解，可以解决光谱重叠问题.()()()()ijjikikjkiikjjkkjykijkiikkkssccccccscAccAA′′⎧===−−⎪⎨′′==−−⎪⎩∑∑∑∑⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=mmmmmmsssssssssSΛΛΛΛΛΛΛ212222111211⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=myyysssYΜ21-1011K=SY()mmkAkckc⎧⎪⎨=−++⎪⎩L10经典最小二乘回归(CLS)ƒCLS要求必须对光谱中的所有变化因素都能够作出解释，不能处理未知的干扰和相互作用ƒ最少标准样品数量=组分数+1ƒ通常不用于NIR，但对该方法的理解有助于理解基于因子分析的建模方法11反向最小二乘回归(InverseLeastSquare,ILS)ƒ“经典”校正假设误差主要来自于响应来拟合模型，而“反向”校正假设所有误差主要来自于含量测定来拟合模型ƒ基于对比尔定律的反向表达：C=PAƒ要求标准样品数量大于自变量即所使用的光谱点数C=PA“P矩阵”A=KC“K矩阵”12ILS与CLS13逐步多元线性回归(SMLR)ƒ逐步多元线性回归•逐步回归是从多元线性回归的m个自变量中挑选出对y的变化起重要作用的那些因子来组成偏回归方程，为此我们需要对回归方程中的每个自变量对每个因变量作用大小进行比较。•逐步回归的基本思想是，在计算的每一步中，都要对回归方程中当时所含的自变量x逐个进行检验，看其对y的作用是否显著，一旦发现不显著的x时予以剔除。只有在回归方程中所含全部x对y的作用都显著时，才考虑在未选入回归方程的那些x中挑选出对y作用最大者，检验其显著性。若显著，则引入回归方程，否则计算即行停止。这样所得回归方程全部包含了并且仅包含对y作用显著的那些x。14逐步多元线性回归(SMLR)ƒ逐步多元线性回归（SMLR）属于反向最小二乘（IIS）回归方法（也称为”P矩阵”）ƒ基于对比尔定律的反向表达：C=PAƒ与CLS不同，SMLR不需要所有所有组分的含量值ƒ对所利用的吸光度点数有限制ƒ这就是SMLR为何使用单点或离散点（或一段光谱范围内吸光度平均值）的原因15逐步多元线性回归(SMLR)ƒ用户不需要选择每个数据点，只需给出光谱范围ƒ逐步算法按组分逐个选择被使用的最佳的数据点(TQ提供设置数据点个数的选项)ƒSummationofresponsescompensatesformatrix(chemical)effects.ƒ可以通过选择第二个光谱范围作为分母对无关的物理因素作出补偿ƒ当建模时所使用的光谱点数太多时，存在“过拟合(over-fitting)”的风险SMLR的Other窗口16SMLR的特点ƒ对简单样品体系往往可以得到较比尔定律或CLS更好的效果ƒGoodforquantifyingfairlysimplesystemsbutdoesbetterthanSimpleBeer’slaworCLS.ƒSMLR可用于无法获知所有组分含量的情况下ƒCanbeusedwhenall“components”cannotbeaccountedforbystandardconcentrations.ƒ许多情况下是一种相对简单且稳健的方法ƒAfairlysimpleandrobustmethodformanyproblems.ƒSMLR不增加多余变量，但正因为此，不能处理异常样品ƒSMLRdoesnotaddunnecessaryvariables,butitcan’thandleunusualsamplesbecauseofthissamefact.ƒ只有在变量只受待测组分含量变化而变化的情况下才能采用ƒItonlyworkswellwhenvariationisdueexclusivelytothecomponentofinterest.ƒ标准样品数量较少时，是一种较好的方法（例如，用于可行性研究）ƒGoodforinstanceswithalimitedcalibrationset(i.e.feasibilitystudies)17基于因子分析的建模方法(Factor-basedModeling)ƒPLS–偏最小二乘ƒPCR–主成分回归•与SMLR一样，均采用反向最小二乘算法•与SMLR采用有限的数据点不同，PLS和PCR运用因子分析，对光谱信息进行了压缩•主因子通过主成分分析(PCA)计算得到18主成分(PrincipalComponent,PC)或因子(Factor)ƒ以5张光谱的2个波长点的简单对象为例.ƒ第一个特征向量是最重要的，最大程度上描述了数据的变化ƒ该简单对象通过第一个特征向量得到了完全描述.ƒ可从该特征向量中计算出主成分或因子.0.200.300.400.500.600.700.80Log(1/R)5000600070008000900010000Wavenumbers(cm-1)XYXYX’Y’“共线性”“特征向量1”19主成分(PrincipalComponent,PC)或因子(Factor)ƒ以30张光谱的2个波长点的简单对象为例.ƒ两个相互正交的特征向量组成了一个椭圆的空间ƒ两个主成分描述数据信息ƒ更多的波长增加了空间的复杂性ƒ数据间的共线性现象带来大量的冗余信息，允许通过相对较少的主成分数或因子数对复杂体系进行描述0.200.300.400.500.600.700.80Log(1/R)5000600070008000900010000Wavenumbers(cm-1)XYXYX’Y’“特征向量1”“特征向量2”20PCR和PLS模型ƒPCR和PLS通过PCA对原始光谱数据进行压缩(降维，特征提取)，然后通过ILS(反向最小二乘算法)创建线性多元回归模型ƒPCRandPLSuseaPCAsteptoreducethedataintofactorsthenuseanILSsteptocreatealinearcombinationofvariableswhichgeneratecalibrationparameters.ƒPCR仅利用光谱信息计算主成分ƒPCRusesonlythespectralinformationtodeterminethefactors.ƒPLS同时利用光谱数据和浓度信息计算主因子ƒPLSusesboththespectralandconcentrationinformationtodeterminethefactors.ƒ因此，PLS在避免引入不相关因素方面风险更小ƒDuetothisfact,PLSrunslessriskofcorrelatingtoirrelevantinformation.21PCRPCR和和PLSPLSSpectrumResult1Result2Result3Result4Result5StatisticalModelorCalibrationMethodPrincipalComponentsPLSFactorsConcentrations22PCR主成分数仅计算自光谱数据23PLS主因子数计算自光谱信息和含量数据24NIR光谱分析中的PCR和PLSƒ通常，PLS和PCR比SMLR更为稳健，大多数情况下PLS是首选ƒNIR光谱信息复杂，PLS力图从复杂的光谱信息中提取感兴趣的相关信息ƒ避免变量间的内部共线性（SMLR的潜在问题）ƒ需要避免“过拟合（over-fitting）”，例如，使用太多的主因子数往往会出现该现象25多元校正方法的选择–“决策树”Yes经典最小二乘(CLS)A=KCExplicitlyaccountforallsourcesofvariation(Needpurespectraofallcomponents)反向最小二乘(ILS)C=PAImplicitlyaccountforallsourcesofvariation(Donotneedpurespectraofallcomponents)NoArethepurespectrareadilyavailable?变量数目是否够少？或能否直接减少？IndirectCLS(ICLS)PurespectraestimatedusingmixturesDirectCLS(DCLS)Purespectrameasureddirectly多元线性回归(MLR)Regressionwithorwithoutvariableselection.主成分回归(PCR)Transformtostabilizetheregressionusingonlyspectral(R)data.偏最小二乘(PLS)Transformtostabilizetheregressionusingconcent