迎接大数据时代【前半部分】_@大数据you大智慧_061347

演讲主题MyBigDataTopics你的什么大数据都知道旧手机坏了想换新的是一个爱国的屌丝女朋友有了一个新手提包邻居上高中的女儿怀孕了你两年后可能要买车喜欢日本爱情动作片你可能会得高血压你最近手头不宽裕特别讨厌某个明星不可再生资源VS数据2012年3月，美国政府启动“大数据研究和发展倡议”计划。这是继“信息高速公路”后的又一重大科技战略部署。美国政府将大数据视为“未来的新石油”并将对其研究上升为国家意志。2010年1月，英国政府的数据开放网站正式出台，2010年5月卡梅伦上台之后正式提出“数据权”的概念，2011年4月主要部门宣布“我的数据”新项目，旨在落实和强化数据权。继美英之后，国际上德国、法国、日本、加拿大和新西兰等国家也开始了各自国家的大数据发展战略规划。Gartner2011年技术成熟度曲线,大数据处于高速发展期2012年5月，中国云计算国际论坛在北京召开；2012年6月，中国计算机协会成立“CCF大数据专家委员会”；2012年7月，阿里巴巴宣布设立首席数据官，推动“数据分享平台”战略；2012年7月，第二届大数据世界论坛召开，首届中国大数据论坛同年召开；大数据事件2013年1月，华为《超越信息和通信，迎接新一轮数字化变革》；2012年4月，ETIRI《大数据行业应用现状与未来应用热点》；2011年12月，中信证券《大数据（BigData）专题研究报告》；2011年12月，国金证券《“大数据”专题分析报告》；2012年6月，《中国互联网市场洞见：互联网大数据技术创新研究》；专业报告随着大数据产品的逐步退出与完善，2013年国内大数据市场将进入主要培育期；光大证券随着解决方案增多以及用户需求的明确，未来大数据市场将进入高速增长期；计世资讯大数据对国家治理模式、企业决策、组织和流程、个人生活都将产生巨大影响；国金证券在这场呼之欲来的产业革命中，我国并没有落在世界的后面。事实上，全世界都还没有准备好迎接这场革命；周涛他们如此说Volume•非结构化数据的超大规模和增长•总数据量的80~90%•比结构化数据增长快10倍到50倍•是传统数据仓库的10倍到50倍Value•大量的不相关信息•对未来趋势与模式的可预测分析•深度复杂分析（机器学习、人工智能Vs传统商务智能）Velocity•实时分析而非批量式分析•数据输入、处理与丢弃•立竿见影而非事后见效Variety•大数据的异构和多样性•很多不同形式（文本、图像、视频、机器数据）•无模式或者模式不明显•不连贯的语法或句义BigData大数据1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和•实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；•1s是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；•挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；•价值密度低，是大数据的一个典型特征；−IBM的机器翻译VSGoogle的机器翻译；−大数据时代要求我们重新审视数据精确性的优略；−大数据不仅让我们不再期待精确性，也让我们无法实现精确性；−错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在；佛教《三世因果经》主要讲：一是人的命是自己造就的；二是怎样为自己造一个好命；三是行善积德与行凶作恶干坏事的因果循环报应规律。原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。大数据的相关关系，而不强调因果关系；（舍恩伯格），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；2007年图灵奖得主JimGray在美国国家科学研究委员会发表演讲，指出科学研究已经在几千年前的凭经验、几百年前的靠理论模型、几十年前的科学仿真之后，进入了第四个阶段——数据探索！计世资讯预测，2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。由于各个行业都存在大数据应用需求，潜在市场空间非常可观。计世资讯认为，2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。计世资讯预测，2012年中国大数据市场规模将达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。大数据应用类大数据数据源类开源项目类大数据分析类大数据基础设施类跨基础设施分析类应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）•纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；•横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；•注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造优先关注行业用户应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。实时营销信息推送是电信行业大数据应用主要场景76.6%42.3%30.7%15.9%0%20%40%60%80%100%实时营销线路监控新业务挖掘业务推送电信行业大数据应用场景80.9%73.1%60.3%57.0%0%20%40%60%80%100%证券/股票投资险种开发信用卡欺诈电子支付业务金融行业大数据应用场景金融行业大数据应用场景主要集中在投资方面72.5%66.3%50.9%24.8%0%20%40%60%80%100%供应链优化产品研发仓储监控企业统一管理制造行业大数据应用场景各个环节的优化是制造行业最关注的大数据应用场景83.4%75.5%51.6%39.4%20.9%0%20%40%60%80%100%社交网络B2C业务精准营销在线音视频业务广告监测互联网行业大数据应用场景互联网行业大数据主要应用在社交和网购方面市场Market销售规划、Merchandising运营Operation供应链Supplychain基于大数据分析，市场活动变得更加智能，帮助销售进行有针对性的营销，指导制定市场策略；帮助商家进行定价调整，如根据不同客户类别设置价格区间；网上零售商基于用户的交互行为调整网页的布局设计；提高运营效率及满意度，让管理者能够更及时调整运营措施。优化劳动力投入，更加准确预测人员配置要求，避免产能过剩，降低人员成本；库存优化：根据历史数据、天气、季节等因素改进库存管理；物流优化：优化线路及车辆分布；供应商协调：利用顾客偏好与购买行为协调供应商与零售商谈判；北京朝阳大悦城2011年销售额突破10亿元。这是一个不错的首年成绩。朝阳大悦城组建了一个数据团队，以数据为驱动打造一个全新购物中心。下面讲述柱子、电梯、车流、客流监控与数据的故事。