如何建立和评价近红外模型

如何建立和评价模型1.标准方法分析样品2.采集光谱3.优化、检验和建立模型ReportSample#081897-049ComponentA81.55%ComponentB5.38%ComponentC13.06%1.测定未知样品光谱2.调用模型3.预测结果ComponentABCUnits%%%spectrum171.307.0321.67spectrum279.303.0617.64spectrum378.408.3413.26spectrum484.034.3211.65…………spectrum1185.021.3413.64spectrum1278.343.8517.81建立模型分析样品理论背景近红外分析技术的难点和技术策略June30,20203近红外分析是属于从复杂、重叠、变动的光谱中来提取弱信息的技术应用化学计量学的方法来建立相应的数学模型来解决上述困难建立优秀数学模型存在的一系列困难好的仪器优秀的分析软件建模经验丰富的人员代表性的样品资源合理应用样品资源技术准确测定化学值水平----可靠性、稳定性及动态适应性模型还要进行不断检验、修正、转移偏最小二乘法的基本思想分别求出样品集光谱矩阵和样品组分矩阵的主成分矩阵，将这两个矩阵相关联，求其线形关系，用所建立的线形函数来预测未知样品。其中的最佳主成分矩阵的维数采用内部交叉检验来得出。优点：1、充分提取样品光谱的有效信息；2、消除了线性相关的问题；3、考虑了光谱矩阵与样品成分矩阵之间的内在联系，模型更稳健；4、适合于复杂分析体系。该方法是世界上近红外定量分析商品化软件中最流行的算法在主成分回归中，只对光谱矩阵作了分解，消除了光谱矩阵中的无用信息；同样，浓度矩阵中也包含了无用信息，也应作相应处理。偏最小二乘法：分别求出样品集光谱矩阵和样品组分矩阵的主成分矩阵，将这两个矩阵相关联，求其线形关系，用所建立的线形函数来预测未知样品。(其中的最佳主成分矩阵的维数采用内部交叉检验来得出)理论背景偏最小二乘法第一步，矩阵分解，其模型为：X=TP+EY=UQ+F第二步，将T和U作线性回归U=TB预测时，先求出未知样品X矩阵的T未知，再按下式计算浓度Y未知＝T未知BQ优点：充分提取样品光谱的有效信息消除了线性相关的问题考虑了光谱矩阵与样品成分矩阵之间的内在联系，模型更稳健适合于复杂分析体系。缺点：计算速度较慢，计算过程较繁琐，需要多次迭代模型建立过程复杂，较抽象，较难理解理论背景偏最小二乘法世界上近红外定量分析商品化软件中最流行的算法怎样建立好的近红外定量分析模型？1、确定近红外定量分析的目标准确度。实验室标准方法的准确度和精密度确认。2、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。3、选择或配备代表性建模样品集。4、模型优化。5、模型验证（内部交叉验证和外部验证）。确定近红外定量分析的目标准确度近红外定量分析方法是二级方法，利用化学计量学方法将近红外光谱与实验室分析数据进行关联，建立近红外模型对未知样品进行预测。实验室分析数据的准确度非常重要，完全遵循“量子传递”的误差理论。实验室数据越准确，近红外模型的准确度也会越高。目标准确度是评价近红外模型的首要条件。确定近红外定量分析的目标准确度考察实验室数据：方法的可靠性方法的准确性方法的重现性方法的误差范围测试中偶然误差、系统误差怎样建立好的近红外定量分析模型？1、确定近红外定量分析的目标准确度。实验室标准方法的准确度和精密度确认。2、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。3、选择或配备代表性建模样品集。4、模型优化。5、模型验证（内部交叉验证和外部验证）。近红外光谱仪的选择1、理论研究。要求仪器附件配置齐全、扩展能力强、稳定可靠、光谱数据格式转换方便。2、实际推广应用根据应用的现场要求，分析指标难、易程度以及应用推广的数量和范围对仪器进行选择。应用现场比较复杂、分析指标比较难、应用推广的数量和范围比较宽，要求仪器的性能指标比较高，模型能够直接传递。否则，对仪器的要求比较低。近红外仪器的选择近红外仪器的选择多功能研究级仪器大范围推广型仪器（）工业现场仪器专用水分测定仪器实验条件的选择根据仪器的光谱响应特征1、选择分析样品的近红外附件液体样品要选择不同光程的比色皿：颜色深、吸收强的样品，光程短；颜色浅、吸收弱，光程长。固体样品要根据粒径大小、均匀程度选择：粒径大、不均匀的样品应选择扫描面积大的样品附件。粒径小、均匀的样品应选择扫描面积小或大的样品附件。2、光谱扫描的参数分辨率、扫描次数、光谱范围。3、规范操作步骤特别对固体样品要保证装样的一致性。最终目的：得到稳定的高质量光谱。不同光程比色皿测定的光谱5mm光程2mm光程实验条件的选择根据仪器的光谱响应特征1、选择分析样品的近红外附件液体样品要选择不同光程的比色皿：颜色深、吸收强的样品，光程短；颜色浅、吸收弱，光程长。固体样品要根据粒径大小、均匀程度选择：粒径大、不均匀的样品应选择扫描面积大的样品附件。粒径小、均匀的样品应选择扫描面积小或大的样品附件。2、光谱扫描的参数分辨率、扫描次数、光谱范围。3、规范操作步骤特别对固体样品要保证装样的一致性。最终目的：得到稳定的高质量光谱。用样品旋转器和积分球测定不均匀样品0231MessfensterderIntegrationskugel用样品旋转器和积分球测定不均匀样品AccessoryAreaFactorIntegratingSphere1.1cm21SmallSpinner6.8cm26LargeSpinner19.6cm218不均匀样品测试结果差异测试光斑直径6mm，样品旋转杯直径47mm测试光斑直径15mm，样品旋转杯直径90mm实验条件的选择根据仪器的光谱响应特征1、选择分析样品的近红外附件液体样品要选择不同光程的比色皿：颜色深、吸收强的样品，光程短；颜色浅、吸收弱，光程长。固体样品要根据粒径大小、均匀程度选择：粒径大、不均匀的样品应选择扫描面积大的样品附件。粒径小、均匀的样品应选择扫描面积小或大的样品附件。2、光谱扫描的参数分辨率、扫描次数、光谱范围。3、规范操作步骤特别对固体样品要保证装样的一致性。最终目的：得到稳定的高质量光谱。高分辨率、高质量光谱原始光谱二阶导数光谱怎样建立好的近红外定量分析模型？1、确定近红外定量分析的目标准确度。实验室标准方法的准确度和精密度确认。2、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。3、选择或配备代表性建模样品集。4、模型优化。5、模型验证（内部交叉验证和外部验证）。样品集的选择选择或配备代表性建模样品集。天然样品和反应过程中的样品，选择的代表性样品数量比较大。成分已知样品，选择的代表性样品数量比较少。可使用化学计量学方法对样品进行选择、设计。大豆样品的挑选（３７３选２６１）不同含量样品数的选择不同含量样品数量选择不能以现实的样品变化进行选择，应该在所有含量范围内均匀选择。8.799.39.69.910.210.510.811.111.411.7PercentageofConstituent#ofSampleswithLevelofConstituenthello!8.799.39.69.910.210.510.811.111.411.7PercentageofConstituent#ofSampleswithLevelofConstituent完美的分布(很少出现的情况)比较合理的分布样品分布饲料、食品、烟草、化工、炼油等产品的样品分布情况10Mean25百分比分布#ofSampleswithLevelofConstituent制药分布10正常样品25百分比分布#ofSampleswithLevelofConstituentPredictedvalueReferencevalueTypicalconcentrationrange“extremesample”orgoodoutlierUsefulformodelupdateTheconcentrationrangeofthecalibrationshouldalwaysbelargerthantheexpectedanalysisrange.badoutlier,needtoIdentifythecauses异常样品的判断建立模型检验模型图表页：双击异常点由红变黑(由黑变红)，以示剔除(恢复)NIRpredictionReferencevalueRandomerrorNIRpredictionReferencevalueSystematicerror系统误差和随机误差怎样建立好的近红外定量分析模型？1、确定近红外定量分析的目标准确度。实验室标准方法的准确度和精密度确认。2、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。3、选择或配备代表性建模样品集。4、模型优化。5、模型验证（内部交叉验证和外部验证）。模型优化模型优化谱区范围的选择选择信息量相关性最大的谱区。光谱预处理方法的选择选择减小光谱漂移、增加信息量、稳定可靠的光谱预处理方法。最佳Rank（PLS算法）相同的谱区范围，RMSECV无显著性差别，Rank小的模型好。模型优化条件的选择：谱区宽度、Rank大小、预处理方法最佳Rank的选择最佳谱区的选择最佳谱区最佳谱区的相关图交叉检验的相关图绝对误差分布图0.91.11.31.51.71.90.91.11.31.51.71.9referencevalue/%NIRvalue/%矢量归一化预处理的PLS模型R2=96.63RMSECV=0.05%Rank=2光谱预处理方法选择0.91.11.31.51.71.90.91.11.31.51.71.9referencevalue/%NIRvalue/%一阶导数预处理的PLS模型R2=99.68RMSECV=0.02%Rank=2怎样建立好的近红外定量分析模型？1、确定近红外定量分析的目标准确度。实验室标准方法的准确度和精密度确认。2、选择分析样品的近红外附件、光谱扫描的参数、规范操作步骤。3、选择或配备代表性建模样品集。4、模型优化。5、模型验证（内部交叉验证和外部验证）。内部交叉检验Differ1Differ2Differ3……Differn内部交叉检验(crossvalidation)外部检验（Prediction）Differ1Differ2Differ3……Differn模型检验样品模型内部交叉检验2221miiyyDifferR21iDifferMRMSECV决定系数均方差同一组样品、同一组分，R2越大，RPD越大，RMSECV越小。决定于模型优化的条件、实验室化学分析水平和近红外仪器的性能。RMSECV最重要，决定预测样品的误差大小。RPD(ResidualPredictionDeviation)=SD/SEPbias如何判定近红外定量分析是否可行?•RMSEE、RMSEC或SEC（C：Calibration），RMSECV、SECV（CV：CrossValidation），RMSEP（P：Prediction）三者的关系：•RMSEE与RMSECV:•同一模型，RMSEE一定小于RMSECV；但两者不应存在显著性差异，否则，样品代表性不好或模型信息提取不充分。•RMSECV与RMSEP:•RMSEP远大于RMSECV，建模样品的代表性差、模型信息拟和不够或过拟和；RMSEP远小于RMSECV，验证样品代表性差。•文章或方法中只给出校正均方差，不能说明任何问题，要注意。•至少要给出交叉检验均方差，当然最好给出预测均方差。•RMSECV应该与实验室标准方法的精密度相当