金融统计与金融数据挖掘

第二章金融数据挖掘与金融统计分析2019/8/111授课日期：****年**月**日讲授单位：****大学****学院主讲教师：****金融数据生产、分类与公布系统金融数据挖掘原理与技术方法金融数据处理与统计分析货币状况指数的编制实验2019/8/112本讲内容（一）金融数据的生产1.宏观金融经济数据的生产一国的统计系统是生产宏观经济数据的主要部门，国民经济核算体系（SystemofNationalAccount，缩写为SNA）是国家宏观经济数据的生产体系。国家统计局、中国人民银行、财政部等部门是我国宏观金融经济数据的生产编制机构。标准：IMF2000年公布了《货币与金融统计手册》，2001年公布了修订后的《政府财政统计手册》2009年发布了修订后《国际收支与国际投资头寸统计手册》第六版（BPM6）2019/8/113一、金融数据生产、分类与公布系统2.微观金融经济数据的生产机构单位、工商企业、金融企业、居民个人等的金融经济活动数据生产过程是分散化的，也基本没有统一的标准，没有专门的机构进行统计，无公开发布。专业调查研究形成部分数据，而零散的研究难以形成数据体系。微观金融经济数据对于宏观政策决策具有基础性参照价值，这些数据的规范依然是金融经济数据生产、公布体系需要努力的方向。*2019/8/114一、金融数据生产、分类与公布系统（二）金融数据的分类1.从宏观金融与微观金融角度进行数据分类宏观金融数据是从中央银行、金融监管机构的视角进行统计监测生成的数据，主要包括货币类数据、金融投资类数据、保险经营类数据等。微观金融数据是金融市场上单个经济主体的数据，如上市公司的资产负债表，保险公司资产负债表等，投资项目的金融数据等。*2019/8/115一、金融数据生产、分类与公布系统2.从金融机构类别进行数据分类银行类金融机构数据是针对银行性质的金融机构业务状况进行的统计数据。证券类机构的金融数据主要是证券公司、投资银行的经营数据，包括经纪业务、自营业务、投资银行业务等数据。基金类机构的金融数据只要是各类基金公司的业务运作数据，包括风险投资基金、产业基金、资本市场基金、货币市场基金、社会保障类基金等业务运作数据。保险类机构的金融数据包括财产性保险公司、人寿类保险公司、再保险公司等商业性保险业务运作数据，如保险费收入、赔付，基金投资组合、资产管理状况等数据。期货类机构的金融数据主要是期货交易所、期货经纪公司、非经纪类期货交易机构的有关期货交易业务的统计数据。2019/8/116一、金融数据生产、分类与公布系统3.从金融市场角度进行数据分类货币市场数据包括货币市场交易工具的发行、二级交易规模、利率、交易投资者状况等。资本市场数据包括市场的发行、交易规模、交易价格水平等。外汇市场数据包括不同货币之间的兑换比价、外汇交易规模等数据。黄金市场数据包括黄金交易数量、价格等数据。保险市场数据包括保险产品类型及交易数额、保险费收入、保费赔付、保险机构业务运作情况等。衍生品市场数据包括期货、期权、互换、远期利率协议，以及复杂衍生工具的交易、持仓、价格等数据。2019/8/117一、金融数据生产、分类与公布系统4.从经济部门角度进行数据分类住户部门金融数据包括储蓄存款、贷款，股票、基金与债券投资，购买保险，外汇与黄金交易等非金融企业部门金融数据包括存款、贷款、发行股票与债券、购买商业保险等。政府部门金融数据包括为财政赤字进行的融资发行的国债、借款，地方政府投资项目的融资，社会保障基金运作等。金融机构部门金融数据包括资产类、负债类、发行和交易类、价格类数据。国外部门金融数据包括外商直接投资、国内企业对外直接投资、外国证券投资、国内对外证券投资、与贸易投资有关的贷款、货币、存款资金的跨境转移等。2019/8/118一、金融数据生产、分类与公布系统5.从融资方式角度进行数据分类间接融资统计数据主要是信贷规模数据，信贷形式和信贷结构。直接融资统计数据主要包括发行股票、债券、基金等直接融资工具的规模，以及金融工具市场交易数量、价格等数据。2019/8/119一、金融数据生产、分类与公布系统（三）金融数据的公布系统1.数据公布标准：SDDS与GDDSSDDS是数据公布特殊标准（SpecialDataDisseminationStandard）的英文缩写，，适用于已经参与国际金融市场的大多数工业化国家和一些新兴市场经济国家，1996年3月公布。GDDS是数据公布通用系统（GeneralDataDisseminationSystem）的英文缩写，适用于尚未达到SDDS要求的国家，大部分为发展中国家*，1997年12月公布。2019/8/1110一、金融数据生产、分类与公布系统2.SDDS与GDDS的区别适用国家不同宏观部门划分不同：GDDS有社会人口部门发布数据差异：综合统计框架，跟踪性数据种类，与部门相关的统计指标，社会人口数据鼓励公布的指标“视相关程度”而定的指标数据公布的及时性与频率2019/8/1111一、金融数据生产、分类与公布系统SDDS与GDDS的区别2019/8/1112一、金融数据生产、分类与公布系统3.中国的数据公布系统我国于2002年4月15日正式加入了GDDS国家统计局负责统计核算和公布国民经济实际部门的指标和数据财政部负责统计并公布财政部门的指标和数据中国人民银行负责统计并公布金融部门的指标和数据国家外汇管理局、海关总署负责统计和公布国外部门的指标和数据2019/8/11导论13一、金融数据生产、分类与公布系统（一）金融数据挖掘的基本原理1.概念:金融数据挖掘（datamininginfinance）金融行为的选择者从大量的、不完全的、存在噪声的、模糊的、随机生成的金融数据中，搜索、发现、提取隐含在数据内部的、尚未被他人所知的、对决策具有潜在价值的信息或知识的过程。2019/8/1114二、金融数据挖掘原理与技术方法2.原理:发现存在于数据中的模式和趋势掌握金融领域的基本知识和金融行为决策的目标依据金融行为选择目标，选定要解决的问题和适合的金融数据集对原始数据进行预处理将数据集中的数据转换成适合挖掘的形式确定合适的数据挖掘方法数据挖掘过程分析解释数据应用2019/8/1115二、金融数据挖掘原理与技术方法2019/8/1116二、金融数据挖掘原理与技术方法金融数据挖掘原理图示（二）金融数据挖掘的主要任务关联分析：变量之间的数值存在的规律性聚类：将数据库中的数据按照一定的规则划分为一系列有意义的子集的过程分类：找出一个类别的内涵或特征，能够代表该类数据的整体信息估计：数据挖掘中确定一个未知输出值预测：利用历史数据发现未来输出结果的过程异常检测：对数据中存在异常情况加以发现、甄别的过程，找出观察数据与参照标准之间的差异，更好地为模型预测分析服务发现时序模式：在时间序列中找到重复发生概率比较高的模式，强调时间的影响2019/8/1117二、金融数据挖掘原理与技术方法（三）金融数据挖掘的统计技术方法1.描述统计分析集中趋势分析:平均数、中位数、众数离中趋势分析:极差、标准差、方差、最大值、最小值、偏度、峰度、偏度系数、峰度系数统计图形分析:直方图、茎叶图、箱线图等对观察数据进行直观描述2.相关分析相关表相关图相关系数2019/8/1118二、金融数据挖掘原理与技术方法3.差异分析从样本统计量的值得出差异，来确定总体参数之间是否存在差异4.回归分析简单线性回归多元回归虚拟变量5.聚类分析通过分析事物的内在特点和规律，根据相似性原则对事物进行分组适用于没有先验知识的分类，如没有理论指引，没有国际标准、国内标准或行业标准2019/8/1119二、金融数据挖掘原理与技术方法6.判别分析在已知的分类下，遇到有新的样本时，利用已经选定的判别标准，判定如何将新样本放置于哪个族群中。它是一种预测导向型的统计方法，用于事后分析7.时间序列分析平稳随机序列的统计分析，在理论上的发展比较成熟，是时间序列分析的基础谱分析也称频域分析，因为一个时间序列可看成各种周期扰动的叠加，频域分析就是确定各周期的振动能量的分配2019/8/1120二、金融数据挖掘原理与技术方法（一）金融基础数据的处理与显示1.统计整理依照研究目标对收集或调查获得的数据进行科学的分类、汇总，使其达到系统化、规范化，进而可以从数据中得出所研究对象的必要信息、基本特征、规律和趋势等统计整理的结果一般是数据库表格，或者是统计表，在此基础上绘制统计图形2.建立数据文件3.绘制基本统计图形*2019/8/1121三、金融数据处理与统计分析基础基本统计图形:条形图、线形图、面积图、饼图、高低点图、帕雷托图、控制图、盒形图、散点图、直方图等2019/8/1122三、金融数据处理与统计分析基础（二）金融数据的描述性统计分析1、集中趋势的测量算术平均数:调和平均数:几何平均数:众数:一组数据中出现次数最多的变量数值，一组数据可以有多个众数，也可以没有众数中位数:指将数据按大小顺序排列起来，形成一个数列，居于数列中间位置的那个数据。截尾均值:去掉两端的极值后所计算的算术平均数*2019/8/1123三、金融数据处理与统计分析基础niixnX11niixnH11nnnxxxxxG3212.离中趋势的测量全距,极差，是最大值与最小值之间的差距四分位差，总体数量标志值数列中各四分位数离差的平均数异众比率，也称离异比率或变差比，是指非众数组的频数占总频数的比率。方差和标准差:变异系数反映的是标准差相对于均值的离散程度2019/8/1124三、金融数据处理与统计分析基础22)()(.131223QQQQQQDQXVNXXSDNii12)(NXXXVarNii122)()(imrFFV13．频率分布及特征的测量正态分布标准分值偏度系数:偏度系数sk如果小于零，表示负偏（左偏），如果大于零，表示正偏（右偏），等于零，表示分布对称峰度系数:峰度系数ku如果小于零，表示频数分布曲线为平阔峰，如果大于零，表示频数分布曲线为尖峭峰，等于零表示曲线为正态峰2019/8/1125三、金融数据处理与统计分析基础XXziiniiXXnnnsk13)()2)(1()3)(2()1(3)()3)(2)(1()1(214nnnXXnnnnnkunii（三）金融数据的均值比较分析、因子分析与主成分分析1、均值比较分析假设检验（卡方）检验单均值假设2019/8/1126三、金融数据处理与统计分析基础NSDSDx'kiiiiEEO122)(2.因子分析是将多个实测变量转换为少数几个不相关的综合指标的多元统计方法，目的是定义数据矩阵的基本结构。因子分析的步骤:确定主因子,对因子解释和命名3.主成分分析,是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量2019/8/1127三、金融数据处理与统计分析基础imimiiiiefffX2211一、实验类型创新型实验。本实验主要是设计中国货币供状况指数编制中的指标筛选、数据挖掘、处理、合成与分析基本方法与实验试算过程。二、实验目的通过实验教学，使实验者掌握金融指标的选择、指标数据的收集、处理等方法，未被观测的金融指标如何生成方法和现实意义。2019/8/1128实验项目：货币状况指数MCI的编制三、实验背景中国货币政策运行的监测指标如货币供应量等不太理想，难以准确反映货币政策效果，而社会融资总量指标不能全面反映货币政策状况。需要从未被观测的金融指标中寻找合适的指标。货币状况指数MCI是其中可以实践探索的指标。2019/8/1129实验项目：货币状况指数MCI的编制四、实验环境数据处理软件工具：微软EXCEL工作表；