人社大数据解决方案-v1.1-20170909

人社大数据解决方案值得信赖的专业化的IT服务公司1人社大数据解决方案22.1典型业务场景2.2总体架构2.3技术架构人社大数据实施路径33.1实施路径3.2一期12333语音大数据方案3.3我们的优势1.1业务需求1.2面临的挑战目录值得信赖的专业化的IT服务公司人社大数据业务需求信息共享内部共享：“五险”合一，全国联网共享，异地就业、异地就医、异地领取养老金的需求非常强烈；内外部共享：人社与地税，工商，民政、卫生、住房保障、公安等部门存在信息共享需求。精准决策就业和失业形势分析预测；人才供需医保支付政策调整等业务创新与扶贫办、公安、民政等部门联合，发现违规行为个性化培训服务和评估，及时提醒代办事宜；科学监管医疗保险监管养老保险监管就业专项资金监管等值得信赖的专业化的IT服务公司人社数据管理现状以及面临的挑战社保数据量不断增加。以某地级市为例，仅结构化的社保数据库数据已达TB级，如果算上12333电话语音、医保药店视频监控等数据，数据已接近PB级。数据类型已不是简单的结构化数据。数据库中存储的图片信息、12333的语音信息、医保药店的视频监控信息等非结构化数据日益增多。数据统计分析困难。历史数据繁多，部分历史数据未能有效整合、数据不能有效共享，数据提取利用困难。对数据处理速度要求高。海量数据的处理遇到性能瓶颈，而社保经办需要实时性，对数据处理速度提出了挑战。全国所有省级城市和地级人社部门均已建立了数据中心：社会保障卡超过10亿张，覆盖72%的人口32个省级单位全部实现了与部中央数据中心的网络联结90%以上的地市实现了与省级数据中心的联网值得信赖的专业化的IT服务公司人社大数据的业务需求和挑战122.1业务分析主题&总体架构2.2数据挖掘技术2.3数据治理人社大数据实施路径33.1实施路径3.2一期12333语音大数据方案3.3我们的优势1.1业务需求1.2面临的挑战目录值得信赖的专业化的IT服务公司精准决策业务创新科学监管精准服务人社大数据建设目标值得信赖的专业化的IT服务公司人社大数据业务分析专题值得信赖的专业化的IT服务公司人员画像示例值得信赖的专业化的IT服务公司骗保人员相似性分析PatientSimilarityAnalysis值得信赖的专业化的IT服务公司利用相似性分析精准识别同类人员值得信赖的专业化的IT服务公司个性化信息推送和提醒示例值得信赖的专业化的IT服务公司领导仪表盘示例值得信赖的专业化的IT服务公司LED大屏幕分析示例值得信赖的专业化的IT服务公司人社大数据总体架构值得信赖的专业化的IT服务公司人社大数据物理部署架构值得信赖的专业化的IT服务公司数据挖掘建模过程值得信赖的专业化的IT服务公司数据挖掘业务场景—人员群体分类应用场景：在商业上，聚类可以帮助市场分析人员利用消费者的消费数据区分出不同的消费群体，并且概括出每一类消费者的消费习惯。它可以发现数据中一些深层的信息，并且概括出每一类的特点，进而把注意力放在某一个特定的类上做进一步分析。采用的算法：K-means聚类算法。算法要求：被分类的数据需要是数值化的。算法原理：所谓聚类，就是将相似的事物聚集在一起，而将不相似的事物划分到不同的类别的过程。划分聚类算法是根据给定的n个对象或者元组的数据集，构建k个划分聚类的方法。每个划分即为一个聚簇,并且k=n。步骤一：将所有对象随机分配到k个非空的簇中。步骤二：计算每个簇的平均值，并用该平均值代表相应的簇中心。步骤三：根据每个对象与各个簇中心的距离，分配给最近的簇。步骤四：转到步骤二，重新计算每个簇的平均值。这个过程不断重复直到没有数据点被重新分配则停止。值得信赖的专业化的IT服务公司典型业务场景-相关性分析应用场景：产品关联度分析主要的应用场景就是购物篮分析，用于购物推荐或者电影推荐等。比如最典型“啤酒和尿不湿”的案例。在本次项目中，我们可以用于分析客户（经销商、最终买家）的购买记录，为有关联的商品做一些捆绑促销等。采用的算法：Apriori关联算法。算法要求：被分析的商品需要是相对独立的，本身并未作捆绑销售。算法原理：关联度分析是基于概率进行分析的。需要计算以下指标：支持度：一条销售记录同时包含A、B的概率，记作support(A=B)。置信度：包含A的销售记录中包含B的概率，记作confidence（A=B）。提升度：（X发生则Y发生的概率）/（Y发生的概率），记作lift(A=B)=confidence(A=B)/support(B)。•提升度=1表明A与B是独立的•提升度1表明A与B是有关联性的，一般实际大于2我们才承认有效•提升度1表明A与B是互斥的值得信赖的专业化的IT服务公司典型业务场景-需求量预测应用场景：为了更好的调整产量，需要对需求进行预测，根据预测结果动态调整产能。采用的算法：ARIMA时间序列算法。算法要求：一般需要数据的波动有一定的规律性。算法原理：是一种动态数据处理的统计方法。该方法基于随机过程理论和数理统计学方法，研究数据序列所遵从的统计规律，以用于解决实际问题。时间序列分析的主要目的是根据已有的历史数据对未来进行预测。步骤一：对数据进行平稳性检验。步骤二：对数据进行多阶差分，阶数需要多次尝试。步骤三：对数据进行平稳性检验的白噪声检验。步骤四：计算ACF（自相关系数）和PACF（偏自相关系数）。步骤五：确立模型的自回归项和移动平均项。步骤六：使用模型预测短期的值，并评估误差，如果效果不好，重新进行步骤二。值得信赖的专业化的IT服务公司数据治理-数据标准管理值得信赖的专业化的IT服务公司数据治理-数据质量管理框架值得信赖的专业化的IT服务公司数据治理-数据质量事后管理流程值得信赖的专业化的IT服务公司n数据治理规划阶段：○业务规划定义阶段：业务规划、业务标准设计○应用设计实现阶段：数据模型设计、应用设计实现、数据录入n数据生命周期管理阶段○数据创建○数据使用○数据归档○数据销毁数据治理规划阶段数据生命周期管理阶段业务规划业务标准设计数据模型设计应用设计实现业务规划定义阶段数据采集应用设计实现阶段数据创建数据创建数据使用数据归档数据销毁数据销毁数据治理-数据生命周期值得信赖的专业化的IT服务公司数据治理-数据治理工具支撑环境值得信赖的专业化的IT服务公司人社大数据的业务需求和挑战1人社大数据解决方案22.1典型业务场景2.2数据挖掘场景2.3数据治理33.1实施路径3.2一期12333语音大数据方案3.3我们的优势1.1业务需求1.2面临的挑战目录值得信赖的专业化的IT服务公司人社大数据平台实施路径值得信赖的专业化的IT服务公司人力资源社会保障部办公厅关于加快推进12333电话咨询服务事业发展的指导意见人社厅发〔2016〕186号。。。完善自动语音、质量监控、满意度评价等功能，实现集约化发展，有效支撑跨地区业务服务和数据集中管理。。。。，建立12333电话咨询服务监测分析平台，。。。。。。。实现业务办理的在线预约和进度查询，提升12333电话咨询服务体验。探索面向各类服务对象的身份验证机制，并与网站、短信、移动应用及线下窗口等服务渠道实现用户身份互信与服务联动。。。。。。大力发展自动语音和互联网服务，丰富移动应用、自助终端、短信、微信等服务渠道，。。。加强技术创新，探索语音识别、智能客服等新技术的应用，提升12333电话咨询服务的智能化水平。强化咨询数据收集，推进数据利用。建立和完善咨询数据采集标准，搜集整理咨询业务数据和来电行为数据，夯实数据基础，提升数据质量。完善咨询数据报送机制，形成支撑大数据应用的资源基础。加强数据分析利用，洞察民生诉求、分析用户行为规律，提升服务的针对性、有效性和主动性。加强分析成果的应用转化，提升对管理决策的支撑作用。12333语音数据平台建设依据值得信赖的专业化的IT服务公司12333语音数据业务现状和面临的挑战微税通实际的访问量大，涉及咨询种类繁杂；通过过去多年的运行，12333劳动保障热线已经积累了大量的语音、文本信息，却无法对这些语音和文本进行有效的整理和利用；值得信赖的专业化的IT服务公司29满足人社工作中，不同角色的需求，为社会公众、人社业务部门和领导提供服务。金保应用数据特色应用数据其它资源数据社会公共服务管理应用数据资源库主题库……省级大数据中心基础数据库学生奖惩曲线分析大数据关联性分析……参保体征曲线分析人社工作曲线分析参保人分布分析人社业务分析人社资源利用分析……成本分析参保单位遵从度分析社保医保量分析服务过程监控税源成长档案体征关联分析服务质量评估专业情况分析自建主题分析征收效率分析安全预警分析管理决策…………人社干部社会公众各级领导参保单位地方政府人社业务发展分析就业现状分析。。。人社业务发展分析绩效评价工作评估管理决策参保人分析综合素质评价业务预警。。。人社信息公开咨询。。。人社业务个性化服务人社业务辅导。。。12333大数据平台12333语音数据分析应用建设目标值得信赖的专业化的IT服务公司方法一：12333大数据平台•数据应用驱动业务流程创新再造的依据；政策变化带来的业务流程调整方式二：12333服务过程监控•通过对数据的集成，以及与各业务系统的数据实时交互，实现对人社业务流程事前、事中、事后监控。方式三：大数据平台的整合•通过数据应用，完成12333业务过程中的质量控制、进度控制、成本控制，风险控制等等方式四互联网+人社应用•互联网+人社的应用，再造流程。方式五开放的应用模式建立标准、开放的数据接口和应用接口，鼓励本地化的创新应用以数据应用为核心，业务流驱动为动力，探索12333数据应用在智慧人社中的实现途径。整合资源挖掘潜力创新应用重构流程Ø可视化、智慧化的建立一系列基于应用场景的大数据分析及应用模型；.Ø12333业务流程和监控流程的应用场景形成闭环，建立智慧化12333服务体系，实现12333业务质量可控、安全可控、效率提升、风险可控。。。。。12333语音数据应用建设模式值得信赖的专业化的IT服务公司12333语音数据分析思路值得信赖的专业化的IT服务公司12333语音数据平台系统架构门户统计报表统计报表统计报表展现层能力API业务层数据清洗业务中文预处理主体挖掘自动分类数据清洗规则业务逻辑中文处理算法文本分类算法主题挖掘算法算法数据层HDFS数据库RedisØ面向接口的松耦合设计；Ø数据层：采用分布式文件存储，并提供Redis快速访问；Ø业务层：算法和业务逻辑，并能够调整；Ø展现层：最终用户访问和第三方调用。值得信赖的专业化的IT服务公司12333语音数据平台处理过程录音系统业务系统其它系统实时录音数据业务索引数据其它类型数据数据归集服务器检索调听系统管理业务分析自动质检浏览器数据归档服务器语音处理服务器语音分析集群应用服务集群运维监控服务器数据存储分析集群大数据基础平台语音大数据分析平台需求：录音存管智能质检主题分析PB级数据在线查询，历史数据调听响应从数日降秒级；质检覆盖率提升至100%；了解群众需求，人社业务主题，提升服务水平；12333语音数据挖掘分析云可以通过第三方语音云服务，完成语音数据的识别、分词和检索。值得信赖的专业化的IT服务公司智能咨询实现过程渠道WEB微信APP自助终端电话短信其他渠道交互形式人工座席业务人员消息回复请求响应座席及业务人员处理人工解答互联网用户互联网问答用户经验交流延时跟进机器人智能回复文本语音咨询答案无答案图片值得信赖的专业化的IT服务公司项目\产品长天科大讯飞小I机器人云问科技是否支持web端是是是是是否支持APP/微信是是是是是否支持实体机器人是是否否是否支持电话端是是否否知识库维护简易度简中难中语音识别非自主研发自主研发非自主研发非自主研发产品性能高高中中语义理解32个语义领域可以挂接多个领域无自主领域无自主领域转人工方式可自动转人工可自动转人工可自动转人工可自动转人工成功案例金融，政府行业等案例银行，保险，政府行业等案例在企业，航空，银行方面有成功案例互联网、政府有成功案例产品团队清华中科大微