oracle-大数据运营20

InsertPictureHere大数据运营大数据从未有过的快速变革寻找一个客户群体，在当前变得更加容易，消费者知晓信息-消费信息-放弃信息而转而关注新的信息的速率被加速。数据的发酵范围迅速蔓延大数据交易数据今天的IT架构:基于数据库中的数据来支持业务决策BigData:基于您所有可以获取的数据来决策VideoandImagesMachine-GeneratedDataSocialDataDocuments社会化数据的商业利用4辆车的竞拍为这次营销积累20万精准用户原本一周300辆的销售计划，在凌晨零点1分钟内售罄！淘江湖目前的传播链统计至：一层好友/粉丝关系，不过仅一层传播关系9月9日9月9日经过3小时24分205辆奔驰smart全部一抢而空，总销售额2767.5万！根据奔驰官方统计活动所在的9月份全国总销量约超过900辆，相当于奔驰中国2009年近一年的销售数字，占到smart2010年全年销售总额的1/4实例推算用户数(万）2700忙时CAPS/万4忙时集中系数0.125每天呼叫量(万条)86400原始CDR字节数/条624原始CDR字节数/天(GB)502.11核心圈CDR字节数192核心圈CDR字节数/天(GB)154.50PH1.核心圈CDR生成IO/天656.60PH2.统计GrpbyCgCd输入IO/天1491.80假设每次分区排序16GB数据量PH2.统计GrpbyCgCd输出IO/天48.28假设每用户呼出散出位10，实际可能在2-10之间PH3.合并统计的Ph2输入数据IO/6周19331.22假设针对每个不同的键值对需要访问42天的索引及数据块个一次PH3.合并统计的Ph2输出数据IO/6周144.84假设每用户呼出散出位30，实际可能在20-500之间Ph4.针对合并的数据建立Cg索引IO/6周1455.99假设每次分区排序16GB数据量，包括输出IndexPH4.针对合并的数据建立Cd索引IO/6周1455.99假设每次分区排序16GB数据量，包括输出IndexPH5.Set2核心圈初始化，加入SekID列,并按SetID排序IO1600.83假设每次分区排序16GB数据量,入+出+排序，字段长度+4,忽略不计PH5.Set3核心圈计算IO19302.25假设平均呼出散出30，主叫索引在8K内，数据在2个8K内PH5.SetK核心圈收敛计算IO19302.25假设收敛到13维，每次收敛1/2，累计计算量与Set3计算相等PH6.核心圈置信聚合计算记录数（Set4)162000Set4=2%%的呼叫组合数PH6.核心圈置信聚合计算IO（Set4)IO1925.25全集遍历，进行集合距离及置信概率计算PH7.聚合后核心圈数量32400假设收敛到5%累计IO(GB)66058.69期望计算时间(s)1200Cache系数50%预期带宽需求(GB/s)27.52若20分钟完成核心圈初步计算，需要27.52GB/s处理带宽，129coreCPU处理能力。顺应技术潮流，运营大数据6配置了NFC的智能手机+日益密集的WiFi接入将导致什么效应?Android逐渐成为第一智能终端OS将导致？社区巨头推出基于Android的移动社交平台？增强现实（AR）技术与触屏/智能手机技术的迅猛发展，立体化手机服务递送和使用途径移动支付物联网IOT社区终端OSNFC+WiFiAR技术沉淀移动互联网用户布局移动电子商务移动社区和意见领袖智能化/泛化CRM和DW布局金融，物流产业线下目标客户群分布25-45岁年收入25万以上用户文化程度较高二、三级城市中产线上在互联网世界中的分布映射于多个圈子/社区/卖场手机生产及营销链结婚及装修需求应用商店线下现实商业世界电信企业的互联网接触平台企业内部世界八零后用户混合社区的运维和利用运营商应考虑如何利用互联网作为资源电子渠道门户、电子商务平台、营销互动网站Mr.市场后向运营支撑系统-PhaseI82134CRMBILLING服务开通eChannelDSS地市系统业务平台网元平台实体营业厅合作伙伴渠道Web网厅WAP掌厅10086短信营业厅客户经理业务平台及网元平台支撑域主数据中心客户感知主数据服务线数据线实时客户感知客户全景信息客户感知服务网络使用信息电信业务消费信息混合社区信息Inside终端信息客户服务能力提升内部运营能力提升盘活数据资产能力后向运营的基础智能管道后向运营支撑系统PhaseII2134CRMBilling服务开通eChannelDSS地市系统业务平台网元平台实体营业厅合作伙伴渠道Web网厅WAP掌厅10086短信营业厅客户经理业务平台及网元平台支撑域主数据中心客户感知主数据服务线数据线实时客户感知客户全景信息客户感知服务网络使用信息混合社区信息Inside终端信息电信业务消费信息互联网和企业的开放边界泛客户数据社区闭环服务后向社区营销全网渠道营销客服能力提升增强市场感知能力智能管道运营能力线下目标客户群分布25-45岁年收入25万以上用户文化程度较高二、三级城市中产线上在互联网世界中的分布映射于多个圈子/社区/卖场手机生产及营销链结婚及装修需求应用商店线下现实商业世界电信企业的互联网接触平台企业内部世界八零后用户混合社区的运维和利用富功能的智能管道2134电子渠道门户、电子商务平台、营销互动网站Mr.市场电信业务消费信息混合社区信息时间业务价值大数据的挑战如何驯服大数据以提供业务价值？Value→HighVariety→HighVolume→HighComplexity→HighVelocityBigDataToday→DeepAnalytics→HighAgility→MassiveScalability→RealTimeTomorrowChallengesBigDataPlatform组织内部员工•一线员工•企业中层•10000+用户消费者•数字一代•线上线下•10000000000+用户企业数据消费的不同层次전략구분组织决策层•CXO•决策层•100+用户数据处理的理论基础BigTableRDBMSCouchDBACIDMODELBASEMODEL用户数精度可靠性计算吞吐量科学计算少极高低TB股市/银行大高极高GB基因排序少高高TB互联网搜索大中中PBGoogle：随着数据量的增长，简单算法的精确性逐渐提高•举例：Google翻译：•涉及（运算过）到互联网10%的内容时，精确度：16%•涉及（运算过）到互联网60%的内容时，精确度：60%整体技术堆栈AcquireAnalyzeOrganizeMapReduceSolutionsDBMS(DW)DBMS(OLTP)AdvancedAnalyticsDistributedFileSystemsTransaction(Key-Value)StoresETLNoSQLFlexibleSpecializedDeveloperCentricSQLTrustedSecureAdministeredSchema-lessUnstructuredDataVarietySchema甲骨文的技术堆栈TimeTen内存数据库In-memorycolumnarcompressionEssbaseOLAPinMemoryOBIEEFoundation智能扫描技术(SmartScan)快速缓冲技术(FlashCard)混合列压缩技术(HCC)RAC&CoherenceHDFSOracleNoSQL数据库Hadoop/OracleLoaderforHadoopOracleDataIntegratorRDistribution전략구분•Exadata•Exalogic•Exalytics•BigDataMachineOracle大数据集成方案ACQUIREOracleNoSQLDatabaseHDFSEnterpriseApplicationsORGANIZEHadoop(MapReduce)OracleLoaderforHadoopOracleDataIntegratorDECIDEAnalyticApplicationsANALYZEIn-DatabaseAnalyticsDataWarehouseOracle大数据定义：海量容量，增长快，多结构，低密度价值数据Oracle大数据目标：面向企业级分析Weblog、社交媒体、智能设备、传感器数据等Oracle大数据集成方案可助客户完成很多过去不可能完成的，或过去由于太慢而不能满足SLA要求的任务！如：（互联网应用，欺诈、行为、矢量图分析等）OracleIntegratedSoftwareSolutionAcquireAnalyzeOrganizeOracle(DW)Oracle(OLTP)弱模式化（Schema-Less)非结构化数据种类模式化(Schema)HadoopHDFSOracleNoSQLDBOracleAnalytics:DataMiningRSpatialGraphmapreduceOBIEEOracleDataIntegratorOracleLoaderforHadoopAnalyticApplicationDecide数据的逐步提炼萃取过程Exa系列：大数据运营的基础设施海量管理能力多结构高可用水平扩展按需服务并行架构企业应用互联网应用Oracle应用中间件云平台Oracle云计算数据基础设施ORACLEExaLogic（应用网格）OracleSOA云服务支撑平台集成：SOA流程管理：BPM安全性：Identity用户交互：WebJAVA开源应用中间件核心业务数据大数据海量，多结构变化快，低密度多结构非关系模型结构化关系模型CEO即时BI企业数据仓库OLAPOLTPOralceNoSQLHadoopMapReduceREnterprise海量内存BI机价值数据提练上移ODIForHadoopOracleHadoopLoader热点数据上移混合列压缩智能扫描FlashCacheRAC内存数据库内存列压缩EssbaseinMemoryOBIEEFoundationPB+级百TB+级10TB级总结Infrastructure&ManagementDatabaseMiddlewareApplications完整集成的技术技术最佳实践+