运筹学--数据来源与质量评估

第二讲数据来源与质量评估一、数据资料的来源二、搜集资料的指导思想三、计量经济学中常用的数据种类四、数据资料的质量问题五、异常数据的诊断六、宏观经济统计数据系统第二讲数据来源与质量评估一、数据资料的来源1、直接来源通过统计调查和试验研究来取得资料，统称为数据资料的直接来源。统计调查的主要手段有：普查、抽样调查、判断调查、配额调查等。试验研究也是获取第一手资料的重要途径。2、间接来源凡不是通过直接组织的调查和试验，而是从其他渠道搜集第二手资料，统称为数据资料的间接来源。第二讲数据来源与质量评估一、数据资料的来源2、间接来源间接来源包括：统计年鉴、统计摘要、统计资料汇编、统计公告、报纸杂志、历史文献资料、Internet上发布的资料，以及基层单位的统计台帐，会计核算资料等。在计量经济研究活动中，靠调查和试验来搜集资料毕竟受到许多约束和限制，经常的情况是大量使用各种间接资料，所以要了解一些信息载体和出处，学会广泛地涉猎资料。第二讲数据来源与质量评估二、搜集资料的指导思想1、应该根据所研究问题的性质和模型的特征来搜集资料。比如，在预测模型研究中，一般要求参数估计值的方差应尽可能小，在理论检验和政策评价研究中，对模型参数估计的无偏性要求较高。因此，应该有针对性选择样本数据。2、用于估计目的的截面资料一定要注意它们的同质性，用于预测目的的时序资料要注意它们的相关性。再如，进行长期弹性分析，要搜集截面数据，进行短期弹性分析，要使用时间序列资料等。第二讲数据来源与质量评估3、注意搜集数据资料方案的可行性。在计量经济模型中，往往会涉及若干个变量，每一个变量的数据资料能否取得到，这是值得我们关心的问题。4、对可能存在的各种间接资料，要进行甄别和可用价值评价。第二讲数据来源与质量评估三、计量经济学中常用的数据种类计量经济研究中用到的数据，主要有四大类别：1、空间截面资料2、时间序列资料3、时空结合资料4、示性性质资料第二讲数据来源与质量评估四、数据资料的质量问题计量经济学要求的数据资料的质量一般表现在这么几个方面：准确性、完整性、可比性、一致性和有效性。数据资料是进行经济定量分析的原料，只有数据资料准确可靠，才有可能获得正确的结论。对于数据资料的准确性，通常用误差来衡量，它是获得的数据与客观现象的相对真值之间的差。关于准确性的判断分析，有两种方法，一是所谓的后验技术，一是抽样技术。另外，数据必须适合所研究的问题。第二讲数据来源与质量评估四、数据资料的质量问题完整性。经济现象本身是一个系统，作为反映经济现象数量表现的数据资料，应该是系统的、完备的，不能有缺失。可比性。指标的社会经济含义、口径、统计方法有统一。一致性。样本数据要与研究对象相吻合。有效性。搜集来的数据资料，一定有助于说明问题，也就是说，数据资料一定要具有可用价值。第二讲数据来源与质量问题五、异常数据的诊断1、概念。在数据集中出现的特别大或特别小的点，称之为异常数据（Outlier）。异常数据会干扰模型的稳定性。有的异常数据可能是客观现象内在的随机变动的极端表现，有的是由于观察、记录、汇总等过程中出现的差错。对于前者需要保留下来，不能随便舍弃，对于后者可以驱除掉。判断异常数据的性质要用检验的办法进行。第二讲数据来源与质量问题五、异常数据的诊断2、举例3、异常数据诊断方法关于异常数据的诊断问题，已经形成了一个专门的研究领域，人们提出了许多有用的识别异常数据的方法。在这里，我们只给出初步的介绍，详细内容将本结合后面计量分析方法的学习，逐步加以讨论。异常数据诊断方法主要包括：删除法、均值漂移法、方差扩大法、残差图(标准残差图、附加残差图、正态残差图、半正态残差图、包络图)、Score法（用于时间序列数据的异常点）、贝叶斯方法（Box-Tiao、Cheloner-Brant）等等。第二讲数据来源与质量问题六、宏观经济统计数据系统经济计量问题研究，并不象我们想象的那样，通过建立分析模型，然后进行简单地回归估计和预测等。在建立经济模型的时候，需要对整个现象进行深入细致的考察，把它当作一个系统，了解系统各个组成部分之间的关系。这些关系的存在是我们建立计量分析模型的客观依据。宏观经济系统概貌第二讲数据来源与质量问题六、宏观经济统计数据系统1、国民经济核算体系国民收入与支出核算、投入产出核算、资金流量核算、资产与负债核算、国际贸易与收支核算。2、宏观经济系统