微软数据平台与PowerBI V3.0

MicrosoftEIMSolution•内存数据库（提升3-20倍交易性能），适用于高频率大并发交易场景•列存储（提升10-100倍查询行）），适用于海量数据查询库与表的场景•多节点读写分离群集，适用于改进与增强原有的SQL服务器主备群集场景数据库平台•移动式互联时代的BIAPP：提供Iphone/Ipad/Android/Win10平台BIAPP，以及支持客户定制化APP的HTML5嵌入式开发展现•PowerBI：高级业务用户自助式BI分析，与公有云结合进行分享与分析•ExcelBI增强：提供普通业务用户自助式数据分析能力，以及图形增强能力分析•企业复杂报表定制：提供HTML5的企业复杂报表开发与发布、管理•多维分析服务器：利用多维立方体技术，实现对海量数据的多维快速聚合与分析，提升报表性能企业自助式BI平台•完全兼容开源R模型，迁移到R-Server运行提升10倍以上挖掘性能，支持跨平台：RServeronWindows/RServeronLinux/RforHadoop/RforTeradata高级数据挖掘与分析RServer•数据转换与清洗IntegrationSerivce：一个图形化的批量数据的跨平台迁移与清洗平台•数据质量管理平台DataQualityService：针对企业数据库中数据质量问题，进行统一管理的平台•主数据管理平台MasterDataService：针对企业大量不同系统之家数据口径不一致，进行企业核心主数据的管理平台数据管理平台•提供直接用SQL语句访问Hadoop群集，将结构化与非结构化数据整合进行分析大数据Hadoop整合分析SQLServer是7大企业数据平台工具的套装SQLServer内置工具•数据库•数据集成服务SSIS•多维分析服务SSAS•报表服务SSRS•复杂报表平台•移动BI平台•自助式PowerBI•主数据管理平台MDS•数据质量平台DQS•数据挖掘RServerSourceofexamples:TDWI(2009)可信的,一致的数据错误或不完整的数据业务决策业务决策更高的效率减少开销增加收入更高的利润降低效率客户的不满合规奉献减少收入和利润由于录入了错误的客户代码导致无法发送账单，一家电信公司每个约损失8百万美元一家全球的化工企业发现由于无法识别和协调全球的供应商，它们每年在采购折扣上损失数百万美元由于重复的客户记录，一个保险公司每年在邮寄开销上损失数十万美元（邮费，退信，员工支出）由于数据不准确导致反复的给客户发送报告，最终使一家信息服务商每年损失50万美元并丢失了客户一家大银行发现其62％的房屋贷款被错误的计算了，导致本金每个月越来越大一个在中西部的保险公司因为数据是“质疑”的，导致其决策支持系统推迟2年上线需要解决主要问题•客户数据不一致•系统用户数据不一致•业务定义不一致•低生产力•低效的供应链管理•不一致的客户待遇•客户不满意•浪费销售部门的努力企业内的每一个系统、应用、甚至业务部门都会收集自己版本的核心业务实体数据。•引入新的产品和服务•营业网点变化•新技术出现并成熟基于知识的数据清理和匹配数据质量分析移动BI、领导驾驶舱、自助式分析数据挖掘管理数据和维度快速、容易加载数据集成部署和管理改进用户体验主数据服务数据质量服务数据跨系统集成数据可视化分析微软EIM解决方案主数据管理数据质量管理数据集成服务分析服务报表服务PowerBIR语言数据挖掘所有功能都集成在一个产品中数据集成服务SSIS•从多种数据源整合数据•在企业内和云环境上扩展数据集成数据质量服务DQS•基于业务知识清洗和标准化数据主数据管理服务MDS提升业务效率•统一和标准化的数据•IT控制下的业务驱动治理报表和分析服务等数据可视化服务•做出可信的决策，用可信的，一致的数据支持为用户驱动的商业智能提供支持。Marketing&Promotion营销CommunitySalesSupport&Services社群销售支持服务Telematics物联网WeChatPlatform微信平台DSClubDS俱乐部DSConnectDS物联系统T-CallCenter呼叫中心CallCenter呼叫中心DMS经销商管理系统DigitalShowRoom数字展厅DCS经销商协同平台DSWebsiteDS官方网站MediaChannels媒体渠道MobileApp行动应用Customer业务与IT协作是主数据管理的核心“谁来主导或驱动你的主数据?”业务/IT协作:业务为主IT配合:IT为主业务配合:未知/其他:–Forrester70%15%12%3%数据属于业务用户，而不是IT因为业务用户理解业务领域和实体，他们是最好的数据管家IT是管理数据存储和整合的最佳人选，但是业务用户应该得到数据治理的授权主数据管理（MDMMasterDataManagement）概念主数据管理描述了一组流程、技术和解决方案，用于为所有利益相关方（如用户、应用程序、数据仓库、流程以及贸易伙伴）创建并维护业务数据的一致性、完整性、相关性和精确性。人员•Customers•Vendors•Salespeople•Employees•Partners•Patients事物•Products•Organizationalunits•Recipes•Parts•Storagebins•Documents位置•Stores•Wells•Powerlines•Geographicalareas抽象•Contracts•Warrantees•Time•Metrics数据仓库和主数据管理对比数据是历史的数据是现时的包括交易数据和主数据只包括特定类型的主数据只包括被认为是分析需要的数据包括完整的跨整个企业的实体信息维度是平面的实体是有上下文的(实体视图、角色)通常是一个数据消费者，端点通常是数据的消费者也是提供者，通常具有双向的关系目的是分析历史数据目的是保持精确和最新更新的实体数据重点是实体和聚合重点是实体维度不会被其他应用所使用实体被包括数据仓库在内的其他应用所使用围绕着交易分析来建立各种工具围绕着实体管理来建立各种工具数据仓库主数据管理主数据管理和数据仓库不一样，虽然它们是共生的。17应用处理环境开发管理环境用户界面开发工作流程定义分发流程定义流程监控管理分发接口定义主数据数据库数据抽取数据存储数据备份主数据数据管理主数据查询主数据清理数据分析工作流程管理主数据申请主数据审批主数据转换主数据分发规则主数据分发处理主数据业务管理编码规则处理编码处理数据交换处理流程调度接口调用WEB用户界面管理发布申请审批查询监控SAP业务环境主数据平台接口其它业务系统主数据平台接口用户身份管理授权系统SQLServerMasterDataServicesSQLServerMasterDataServices客户熟悉的MicrosoftExcel界面:定义和管理数据实体验证业务规则以用户为中心的主数据管理数据质量问题数据问题示例格式值是否按照一致的格式标准?电话号码#可能显示为xxxxxxxxxx,(xxx)xxx-xxxx,1.xxx.xxx.xxxx,等.标准数据元素是否一致性定义和理解?一个系统性别代码=M,F,U，另一个系统性别代码=0,1,2一致性值是否代表统一的含义?营业额是否总是显示为美元还是也有可能为?完整性是否所有必须的数据都包含?20%的顾客的lastname为空,50%的邮政编码为99999精确性数据是否准确地反映现实或可验证的数据来源？供应商显示为‘活动’，但是其实6年前已经和它没有业务往来。有效性数据值是否在接受的范围内?薪水值应该在60,000-120,000重复性数据多次出现JohnRyan和JackRyan都在系统中出现了–他们是同一个人吗?21微软数据质量DQS解决方案概念•基于数据质量知识库(DQKB)，可重用于不同的数据质量改进。知识驱动•数据被映射到捕获语义的数据域语义•通过数据抽样和用户反馈获得辅助知识知识发现•支持使用用户生成的知识，和第三方的参照数据提供程序。开放和可扩展•提供友好的用户体验来提高生产率。容易使用DQS架构概览DQ客户端交互式DQ项目知识发现和管理SSISDQ组件未来的客户端–Excel,SharePoint,MDS…DQ云计算分类参照数据Dallas分类参照数据服务DQSUIDQ服务器RD服务API(浏览,设置,验证…)参照数据API(浏览,获取,更新…)数据质量服务DQ项目存储DQ活动项目CommonKnowledgeStoreMS数据域知识库存储发布的KB本地数据域DQ引擎知识发现数据探查匹配清理参照数据数据探查参照数据据服务第三方MSDQ域存储参照数据介绍数据质量服务SQLServerDataQualityServices直观的，基于向导的客户端工具发现数据知识创建知识库引用外部数据集清理和匹配数据结果导出到Excel验证清洗过的数据评估匹配的纪录基于知识的数据质量管理交互式进行清理–示例交互式进行清理-Profiler知识管理–示例SQLServerIntegrationServices强大，但在创建集成解决方案时简单易用由于减少了外部顾问的数量，所以总体成本也可以降低“Microsoft’sSQLServerIntegrationServices(SSIS)ETLproductwasbyfartheleastlikelytorequireexternalSIsupportaccordingtooursurvey,withonly9%ofrespondentssayingthattheyusedanSIforimplementation,comparedwithIBM’susersemployinganSImorethan50%ofthetime.”–Forrester:EnterpriseETL:EvolvingandIndispensableToYourDataManagementStrategy(May2010)企业数据源:关系性数据库SQLServer,Oracle,DB2,MySQL任何ODBC或OLEDB数据源CDCforSQLServerandOracleSAPTeradataFlatfilesXMLExcel文档云WebServicesSQLAzureAzureDataMarket自定义数据源过程通过VST脚本内建了对扩展性的支持SQLServerIntegrationServices示例完整的EIM集成解决方案DQS提供了流式的数据清洗和转换MDS通过中间表和订阅视图创建了一个主数据的交换机制SSIS为装载和抽取主数据提供了一个平台减少花费在不同来源的数据调和时间。提供一个主数据的单一视角。增进数据数据质量、准确性和一致性。简化使用主数据的业务流程。1.业务分析和确定管理模式2.确定信息标准3.主数据模型的分析和整理4.主数据平台接口规范定义—数据总线5.主数据管理规范体系6.主数据管理系统开发©2013微软公司，保留所有权利。Microsoft、Windows、WindowsVista以及其他的产品名称是在美国和/或其他国家的商标和/或注册商标。本文档中所提供的信息只做信息展示用途，并且只代表微软公司对文档发布日期对文档中所讨论问题的观点。由于微软必须对不断变化的市场环境做出响应，本演示文档当中的内容可能会做出调整，微软不能保证本文档在发布日期以后所提供的信息的准确性。微软不在本演示文档当中做任何明示或暗示的担保。总结数据输入业务用户，而不是IT企业内外的集成是可能的EIM起始和终止于业务用户