社保信息资源中心数据分析方案最新版

IBMGlobalTechnologyServices社保行业信息资源中心建设及大数据分析方案IBM公司IBMGlobalTechnologyServices内容总览面临的问题和挑战信息资源中心建设方案大数据分析关键技术介绍问与答目录IBMGlobalTechnologyServices当前面临的问题：业务数据分散，数据共享和数据利用程度不高现有各系统的设计实施，基于各业务部门具体需求形成，在建成投入时，大大推动了业务效率，形成了业务办理优势，但在信息化发展趋势下，业务数据因分散在各业务系统中，提供的服务未能整合成一个整体数据服务。单位和个人基础信息库存在多个入口，大部分数据重复录入又没有联动机制，导致各业务系统个人信息、单位信息中同类数据无法保持一致。基础数据不统一，影响了数据共享。由于业务数据分散，缺乏多层次、多角度、多粒度的整体信息数据，各业务部门对数据的利用主要还是停留在满足本部门业务经办的需要，无法对数据进行进一步的深层次挖掘利用，为统计分析、预测分析、监测预警、政策模拟和政策评价在内的多层次的宏观决策提供支持。全局性数据共享数据抽取、过滤、转化、加工平台社会保险系统职业培训系统劳动就业系统人事管理系统….考试鉴定系统综合数据分析平台统计分析预测分析监测预警政策模拟IBMGlobalTechnologyServices内容总览面临的问题和挑战信息资源中心建设方案大数据分析关键技术介绍问与答目录IBMGlobalTechnologyServices信息资源中心–发展历程信息孤岛式的数据应用消费源数据复制存储的数据交换平台基于业务主题构建的数据交换平台满足企业各系统数据交换的ODS以及大数据分析平台2000年-2004年2004年-2008年2008年-2013年2013年-至今系统状况建立独立的分析管理系统管理系统的数据来源分散在各源系统产生问题各管理系统重复从业务系统取数业务系统与管理系统呈网状结构，可维度性低系统状况保存业务系统数据的数据交换中心数据中心不加工源数据产生问题数据中心对下游系统供数交叉重复性强，工作量大缺乏统一的数据标准化过程，仅完成数据集中存放系统状况数据标准化，按主题归类存放，并进行轻度汇总实现统一供数接口产生问题仅提供统一供数接口，各管理系统间数据交换弱技术架构不支持一天多批与准实时的数据要求ODS资源中心基于主题的方式创建数据平台并轻度汇总管理系统与数据平台交互数据，使数据完整共享满足对数据的一天多批与准实时要求各阶段系统的表现形式各阶段存在的典型问题IBMGlobalTechnologyServices信息资源中心-ODSODS（OperationalDataStore，操作型数据存储）的特性及意义：具备数据仓库以及OLTP系统部分特征；面向主题的、集成的、当前或接近当前的、不断变化的数据；将各个孤立的业务系统的运营数据集成起来，组成面向全局的统一数据视图及数据共享主题归纳集成数据清洗数据数据集中数据标准化统一数据采集接口统一数据输出接口定义数据存储周期业务数据经营数据财务数据人力资源上报数据填报数据其他数据经营报表管理报表分析报表信息查询数据统计数据分发决策层管理层执行层客户ODSIBMGlobalTechnologyServices信息资源中心-平台架构IBMGlobalTechnologyServices信息资源中心–构建要素企业级数据模型设计•业务主题划分，统一视图的建立•数据物理层次和数据提升•轻度统计汇总数据•高度汇总数据•数据应用模型数据整合•现有各应用系统的数据模型分析•应用间的数据流图•元数据管理•ETL架构设计数据生命周期管理•历史数据存储策略、原则•软硬件平台的配置数据标准化管理•评估数据标准现状，覆盖范围•数据标准和管理制度的制定•差距分析和改善措施数据质量管理•现有数据质量问题分析•数据质量控制方法•数据质量管理制度•差距分析和改善措施建立数据保障体系•运行维护的组织建设•运行维护的制度•运行维护的方法改进•必要的应急措施ODS数据仓库数据集市IBMGlobalTechnologyServices信息资源中心—数据分析架构数据仓库(DW)ODS数据库数据清洗数据处理数据加载综合应用数据存储数据管理数据处理平台信息整合平台数据源元数据管理经营数据财务数据人力资源数据业务数据上报数据内外网交换数据……多维分析Excel报表GIS关联可视化分析数据挖掘综合查询手工补录数据综合信息资源库IBMGlobalTechnologyServicesPureDataODS(DB2)DataStage数据清洗数据处理数据加载Cognos/SPSSDataStage/CDC综合应用数据存储数据管理数据处理平台信息整合平台数据源元数据管理内外网交换数据手工补录数据个性化门户WebSpherePortalMetaDataWorkbenc数据仓库(DW)综合信息资源库经营数据财务数据人力资源数据业务数据上报数据……数据分析架构—关键技术组件IBMGlobalTechnologyServices内容总览面临的问题和挑战信息资源中心建设方案大数据分析关键技术介绍问与答目录IBMGlobalTechnologyServicesIBMConfidential信息整合与治理SOAWebService流数据目标事件侦测并捕捉实时数据企业Hadoop系统实时流动的数据(结构与非结构)实时分析门户多维查询分析数据挖掘内容分析数据仓库数据集市传统数据源（ERP,数据库,电子表….）操作型数据存储（ODS）海量的原始数据(包含结构与非结构)分析静态数据来自其他单位的交换数据数据采集、交换移动化可视化分析社交化BigInsightStreamMQ/MBDataStagePureDataCognosICASPSSi2WorklightPortalConnection社保大数据分析前景IBMGlobalTechnologyServices信息整合与数据处理平台—ETL工具复杂的数据流程开发容易好处图形化自上而下设计数据流驱动开发，具有丰富的内建功能和图形化工作流工具；系统快速实现,开发快速,可管理型强；可扩展的基于组件的架构；低风险,更好利用现有投资；强大的重用性能,包括共享容器、函数、连接对象和可重用的服务；性能稳定性，程序强壮性；广泛和深入的连接,具有bulk连接、变化数据捕获、和动态连接选项；针对源/目标数据库的优化；提高效率扩速SOA开发能力；更好的实用性、更广泛的应用；强大的可扩展性线性开发,并行配置；不改变设计和逻辑的情况下，可以处理任何数据量－－强大的实用性；元数据驱动整合统一的元数据模型；加速项目交付,提高系统协作,达到更好结果；动态元数据分析，包括差异分析、冲突分析和世袭分析；更好的生产力，降低风险；IBMGlobalTechnologyServices14优点:1.使开发、维护和调试变得容易2.只需要鼠标的点击即可完成数据整合3.基于组件的体系结构4.可重用性5.顺序开发,并行执行信息整合与数据处理平台—ETL工具IBMGlobalTechnologyServices15优点:1.复杂的转换规则通过使用transformations可以很容易的完成ETL：数据转换IBMGlobalTechnologyServices哪些名叫王刚的是同一个人？ETL：数据清洗（数据不一致）15,999.00上海中山东路23号7号楼203(021)87383756王刚10,243.00上海市延安西路198号8621-87239573王刚6,800.00淮海路698号1402021-56739756王刚5,900.00南京西路1266/38/02A(8621)62490688王刚2,243.00上海市南京路（西）1266号38A0286-21-62490688王刚3,432.00上海南京西路1266号3802A室021-62490688王刚8,494.00上海市南京西路1266号38楼02A室(021)62490688王刚缴费地址电话姓名•电话号码不一致•地址不一致IBMGlobalTechnologyServices5,900.00南京西路1266/38/02A(8621)62490688王刚2,243.00上海市静安区南京路（西）1266号38A0286-21-62490688王刚3,432.00上海南京西路1266号3802A室021-62490688王刚8,494.00上海市南京西路1266号38楼02A室(021)62490688王刚缴费地址电话姓名5,900.00上海市静安区南京西路1266号38楼02A室86-21-62490688王刚2,243.00上海市静安区南京西路1266号38楼02A室86-21-62490688王刚3,432.00上海市静安区南京西路1266号38楼02A室86-21-62490688王刚8,494.00上海市静安区南京西路1266号38楼02A室86-21-62490688王刚缴费地址电话姓名ETL：数据的标准化IBMGlobalTechnologyServices实时事件发生时捕捉数据异类的平台支持从广泛的来源范围中捕捉数据把数据应用到广大的目标范围中典型的微小影响日处理300GB以上的信息,只需要3%的系统资源高性能每小时捕捉到高达20亿个处理信息整合与数据处理平台—数据复制工具CDCIBMGlobalTechnologyServicesSystemforAnalytics为分析提供数据服务数据仓库系统IBMPureDataSystemforAnalytics专为分析数据工作负载而优化速度比传统自定义系统快10-100倍*获得专利的MPP硬件加速（大规模并行处理）简单性几小时内准备好数据加载无需数据库索引无需调优无需存储管理可扩展性PB级数据容量智慧设计为在几分钟内运行复杂分析，而不是几小时最丰富的数据库中分析集合IBMGlobalTechnologyServices报表分析与数据挖掘工具日常固定报表报表针对一个问题的不同侧面反复验证想法多维分析针对某中异常情况进行随机即席查询即席查询数据钻取找出业务数据背后隐藏的规律性信息及预测未来趋势数据挖掘CognosSPSSCognosCognosIBMGlobalTechnologyServices4/10/2014数据展示分析平台--IBMCognos报表分析仪表盘记分卡为什么高/低于业务目标?当前我们的业务表现如何?WebOffice搜索移动未来的业务我们应当怎么发展?计划未来业务可能会发生什么情况?预测挖掘让更多的用户做出更快、更有效的决策−完整的BI功能，随时随地为企业所有用户群及时地提供相关信息−开放的企业级平台，使企业IT能够更为经济地满足用户日益增长的需求−框架和最佳实践，提供专家知识，确保企业能够成功地实行绩效的管理IBMGlobalTechnologyServicesIBMGlobalTechnologyServicesIBMGlobalTechnologyServices4/10/2014Cognos10全新的图形引擎--提供丰富、美观的展现形式IBMGlobalTechnologyServices储存硬件/云计算企业BI信息基础架构缴费评估、稽查选案离退休、经济景气分析决策支持计划分解与监控参保人分析政策评估退休金发放预测预测分析型解决方案预测分析型应用参保人预测参保户调查25SPSSIBMGlobalTechnologyServicesPage26SPSS预测分析产品4种分类产品26数据收集为客户的态度和观点提供准确的视图•IBMSPSSDataCollection统计分析为分析人员提供专业的统计分析结果，提高决策可信度•IBMSPSSStatistics预测模型建立预测模型，提供直观的辅助决策信息•IBMSPSSModeler•IBMSPSSTextMining部署在企业日常运营中，降低分析维护成本，最大限度地提高数据分析为