大数据的行业应用25

BDI-B203大数据的行业应用曾睿志会议大纲发掘大数据行业价值V（速度）V（种类）V（数据量）V（变化）数据复杂性：多样（Variety）、变化（variability）&速度（Velocity）TerabytesGigabytesMegabytesPetabytes数据量（Volume）大数据来源和组成传统数据分析和大数据分析Gartner：国内外CIO的IT投资重点大数据就是金矿，谁挖掘得好就可以成为竞争壁垒。而今天最好的大数据都在大公司。我的预测：互联网大公司大部分会学会驾驭大数据，越做越强；而大部分非互联网公司（电信、银行、保险）虽拥有大数据，却不知其珍贵，或用之不当。——李开复各行业应用运输和物流行业互联网行业金融服务行业公共和政府机构医疗保健能源和制造行业零售行业电信数据深度应用电信网络与系统中存储海量数据是构建分析竞争型企业的核心，运营商在用户信息上拥有天然优势。A接口信令GI接口信令完善基站的配置信息提供WLAN热点的信息GPRS话单的位置信息WLAN话单的终端信息WALN用户上网日志网络信令数据网络配置类数据其他卫生医疗大数据的价值小数据集大数据•临床数据比对大数据与企业级分析市场机会泛互联网数据机器数据行业内容数据重点行业价值关键技术基于泛互联网内容的准实时舆情监测和用户行为分析基于机器设备数据的生产状态实时监测和统计分析基于行业内容数据的海量分布式存储和查询•银行：贷款、发卡等多业务线数据集成分析、市场评估。•保险：开发新产品的风险评估。•银行：合理放置ATM机现金存放额度。•保险：降低汽车保费，同时将客户范围限定在索赔可能性最小的人群中。•银行：风险和投资组合分析，欺诈分析。•保险：基于用户历史信息的精确销售，提升客户忠诚度。•Hadoop-用户行为分析•NoSQL-分布式存储和查询•PolyBase-查询和搜索•CEP-实时过滤和聚合•SQL（SSAS）做业务分析•Hadoop-用户行为分析•NoSQL-分布式存储和查询•CEP-实时过滤和聚合•SQL（SSAS）业务分析•NoSQL-分布式存储和查询•CEP-监控数据中有意义的模式、趋势和异常。将来自多个源的不相关事件无缝聚合。•HDFS-存储大数据的注意事项获得“BigData”解决方案获得“商业智能”的数据展现公有云私有云自建按需新技术关联性大数据的生命周期•培养意识•确定大数据业务优先级•评估并采用适合大数据解决方案•研究成功案例•延伸并扩展更多数据源•提升性能和可伸缩性•学习、补充技术•构建以大数据为中心的知识管理体系•充分利用和获取新的数据•对现有集成大数据和新解决方案进行尝试和评估管理：确定业务创新需求丰富：多维度分析和关联洞察：数据与业务研究大数据建设方法论业务战略技术选择数据关联实施部署运维管理企业战略目标•业务目标•业务模式大数据治理标准•建设方向•服务对象数据服务定义•语义模型•架构设计沙盒计划•计算实验•关联验证大数据服务管理•生命周期•服务性能持续改进业务调整服务改进技术升级架构优化大数据的角色和技能数据科学家行业知识分析技能商业智能专业人员Hadoop、.Net关系型数据库业务分析BusinessAnalysts010101010101010101101010101010101001010101010101101010101010Hadoop生态系统分布式存储(HDFS)分布式计算(MapReduce)数据集成(ODBC/SQOOP/REST)基础架构的考虑：存储，安全、动态扩展、管理服务……数据分析的考虑：数据的关联、展现、交互……传感器和设备的数据流半结构化和非结构化数据BusinessApplications主数据服务外部数据源DataQualityServicesStreamInsightSQLServerIntegrationServicesHDInsightonWindowsAzureHadooponWindowsServerSQLServer多维和表格模型SQLServerAnalysisServices数据挖掘Excel(PowerPivotandPowerViewSQLServerReportingServicesWindowsAzureSQLReportingSharePointServer数据存储报告分析数据集成BlobStorageAzureSQLDatabaseBusinessApplicationsWindowsAzure公有云服务微软大数据技术架构熟悉的工具数据源软硬一体优化大数据综合解决方案获取组织分析决策分布式文件系统（HDFS）分布式存储与查询（NoSQL）HDInsightServices&Server分布式计算与分析（Hadoop）HadoopconnectorsforSQLServer复杂事件处理（StreamInsight）统一查询（PolyBase）Hiveadd-inforExcelHiveODBCDriverSQLServerAnalysisServicesIntegrationServicesPowerViewForExcelSharePointServerPowerPivotforSharePointSQLServerReportingServicesPublicAPIETLBI数据源数据档案数据挖掘智能分析报告任何数据：Polybase010101010101010101101010101010101001010101010101101010101010用熟悉的SQL语句查询关系型和非关系数据：•使用熟悉的T-SQL查询数据在Hadoop和PDW数据。•不需要学习新的查询和MapReduce的语言。非结构化数据HDFSDataNodes结构化数据PDW查询引擎普通T-SQL查询返回结果PDWExternalTableHDFSbridge沿用现有SQL技能无需IT人员介入节省时间和成本好戏还在后面洞察力INSIGHTS数据管理DATAMANAGEMENT非结构化数据100111关系型数据流式数据丰富数据DATAENRICHMENT共享和监管发现和推荐转换和清晰•自服务•分析展现•协作、移动•实时、互动•《微软大数据之预测分析》——林默•《微软并行数据仓库解决方案的最佳实践及案例分享》——乔怡、JohnHoangThankYou