大数据时代信息化发展趋势(修改)

“大数据时代”信息化发展趋势杨学山二o一三年五月十日2019/8/1主要内容1.大数据的由来和发展2.信息技术为大数据开辟了前进道路3.大数据是走向信息时代的奠基石4.大数据发展的关键环节5.电子政务发展中的大数据一、大数据的由来和发展大数据是一个自然形成的发展中、阶段性概念本报告所称大数据是指具有数量巨大、多类型、不同结构化程度、不均衡价值密度、不一致动态特征、不同应用处理特征等特点信息集合。本报告所称大数据系统是指一个围绕特定目的而形成的数据及其处理系统。并不是每一个大数据系统的信息集合都具有上述全部特征，一种或两种类型，数量巨大，也是大数据。在计算机处理能力不断发展、信息系统处理的信息日益增长，特别是互联网（包括移动互联网）的发展、传感技术的广泛应用，大数据概念应运而生在这里，大数据和信息、信息资源是同义词为什么叫大数据：一是数量大YB:2的80次方，ZB的1000倍ZB:2的70次方，EB的1000倍EB:2的60次方，PB的1000倍PB:2的50次方，TB的1000倍TB:2的40次方，GB的1000倍GB:2的30次方，MB的1000倍绝大部分应用在这两个数量级我们每个人都在制造和使用信息•每秒发出290万条短信•每天Twitter上发布5000万条微博•每天Google处理的数据24PB•2012年11月11日第一秒，用户向阿里网购提出1千万请求•全球新增网页571个•过去3年数据量比以往数万年还多•2020年数据产出量将比2009年的44倍还多•2006年全球生成、复制的数字化信息量大约16.1万PB，当年的信息产生量约是历史上图书信息总量的3000倍•二是类型多结构特征：结构化、半结构化、非结构化拥有特征：私有、共有、公开形态特征：语音、文本、数值、图像、视频为什么叫大数据：二是类型多三是更接近把握信息资源的本质•大数据真正开始把信息变成资源•有的文章将大数据看作石油，大数据研究与自然资源利用发现、开采、提炼存在一定的相似之处•研究大数据，首先要研究各种有用的信息在何处，就是找矿•其次是把满足特定需求的信息收集过来，就是开矿•第三是把收集的信息按应用需求进行结构化处理，就是提炼，如同石油必须经过炼化才能变成消费用的汽油、柴油或作为原料用的聚乙烯、聚丙烯•第四是将这样的信息与具体的应用结合，使之发挥作用，这就是基于大数据的应用系统，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件。大数据是一个阶段性的概念大数据是信息和信息资源开发利用这个稳定概念在今天这个特定时期的代表名词。关于大数据所有作用和意义的期待，都包含在1970年哈佛大学关于资源三角形的论述中。这个论述简而言之就是材料、能源、信息是推动社会发展的三种基本资源。美国人相信它40多年了，并为之持续不断地做了大量的工作，也是美国在IT领域，包括信息资源领域，一家独大的一个原因。材料信息能源管理二、信息技术为大数据开辟了前进道路信息技术进展是大数据产生和发展的主要动力•传感技术：大数据的主要来源•存储技术：不仅数据量大，而且要有信息存储模式•传输技术：不仅提供传输能力，还是数据的创造者•处理技术：不仅是处理能力，更是处理方法（结构化语义处理）12信息技术继续快速发展，技术体系更趋完善1、处理、传输、存储技术延续高速发展2、感知、显示、获取技术驶入快车道3、内容处理、智能系统技术不断成熟4、技术体系不断完善传输技术：走向宽带泛在普及2019/8/1传输人与人物与人物与物人与物走向G级从个位数到T级P级甚至更高超高速泛在新的体系架构更加深入的融合：三网、固移，工作网、物联网、互联网当前的关键技术：端到端G级、下一代互联网、新技术条件下的城域网和骨干网体系架构，……端到端数百兆到吉比特，4个以上数量级的汇接带宽，3D及虚拟现实等传输要求，许多场景下并发数量急剧增加处理存储技术：20年内提升3个数量级2019/8/1处理/存储集成度，从当前的32/28nm，快步前进到14/16nm及以下低功耗、嵌入式、可靠性、小型、可移动高性能，超级计算机、汇聚计算资源能力高性能，一些重要的应用，需要继续沿摩尔定律提升3个以上数量级处理能力的集成，更加复杂的存储与处理系统更加复杂和智能化的应用，需要寻找新的技术感知获取技术：一组需求驱动快速发展的技术2019/8/1感知/获取RFID生物/光磁转换声音/文字转换遥感技术类型声纳热、压、声构成、损伤、关系空间、地球、生物、生命、社会等全方位、细粒度的感知各类感知远、细、清的要求机器阅读及其他语义信息的获取感知什么显示反应技术：走向智能2019/8/1显示/反应生物/光磁转换声音/文字转换表情语言3D及多维控制技术机器人文字与感知、网络能力并行的反应、行动能力，在不同空间范围信息系统的物理行为无需人来执行虚拟现实虚实结合的现实三维空间精确行为清晰色彩轻便节能适应可靠打印机、复印机、传真机、扫描仪软件和系统集成：承载信息社会运行控制2019/8/1软件和系统集成建模技术、软件工程技术、自动编程技术、验证技术设备和技术的多样复杂、非结构化事务和信息的处理、2的50-100次方级大数据的组织与利用、跨领域且物理世界相对松散的事务处理、设备（系统）控制与事务处理的融合，复杂系统、不同类型对象的建模重用、测试、可靠性、安全性、生产率、适应新模式使设备和系统变成可靠的工作系统Saas及新的业态，构建智能的系统应对设备和系统复杂化和多样化的进程信息内容的技术：走向智能的核心2019/8/1信息组织、管理和利用文字声音的转化、声音处理、图像处理机器翻译为代表的自然语言处理应对数量变化，2的50-100次方应对应用需求的变化应对音视频信息类型的变化概念体系为基础、不同粒度、不同场景的大规模信息组织、管理和利用信息技术体系架构不断完善，信息、能源、材料技术融合，以智能技术为标志的新一代生产力体系逐渐成形2019/8/1处理/存储传输软件和系统集成信息组织、管理与利用大数据技术，从内容角度要重视三个方面的来源一是关于数据管理和处理研究，包括物理和语义两个领域数据管理。数据结构、算法和数据库相关领域取得的进展最为突出，如文件系统、数据库、数据仓库、元数据、数据模型、内存处理、云存储的研究。应当看到近十年来，关于多维数据结构和算法、机器视觉和摄录象研究和技术，对于大数据研究具有极其重要的参考意义。二是关于数据利用及适应应用需求的研究，包括用户视图、联机数据分析、数据挖掘、检索等。大数据技术，内容角度要重视三个方面的来源三是关于语义上理解信息的研究，几乎可以将人工智能研究的全部成果作为大数据研究的基础，因为从语义角度理解信息是人工智能的基础。从图灵测试到专家系统，从五代机到cyc，从模式识别到神经网络，从自然语言识别和理解到机器人，都是从不同角度研究理解信息的技术、方法理论。IBM的DeepQA，通过针对广泛收集特定应用领域的信息和知识，在适度结构化、一系列规则和算法的基础上，具备这一领域人的智能。其代表作“沃森”，已经击败了美国电视台“危险”这个具有之力竞赛性质的娱乐节目的冠军，今天，又落户纽约州的伦斯勒里工学院，与学生一起学习，英语和数学。Google的“谷歌大脑”将1.6万个处理器构成当前世界上最大的人工脑，模拟人类脑神经系统，通过算法从互联网中提取信息识别猫。三、大数据是走向信息时代的奠基石35亿年前开始生命形成生物进化千万年猴子到人的进化约300万年人的进化约8000年文字形成约2000年纸和印刷术的发明形成最近几十年计算机、信息网络、传感和记录等技术的发明35亿年生命史，展示了信息是智能进化的主要因素感知、传递、反应意识、思维、概念（更高层次的抽象）模仿（抽象）、记忆、判断、反应感知、传递、反应模仿（抽象）、记忆、判断、反应意识、思维、概念（更高层次的抽象）文字、记录感知、记录、传输、存储、处理数亿年动物的进化语言、概念体系语言、概念体系文字、记录感知、记录、传输、存储、处理形成了当今世界的智能体系和水平2019/8/1有效信息总量知识总量和质量使用者总量和质量同一交流平台人数发展环境系数设一个具有若干个紧密联系群体且有一定相互关联地域，其信息与社会发展关系函数为f(d)：令f(d)={∑Y+∑Z+∑S+∑T}xƿ其中Y=有效信息总量Z=知识总量和质量S=使用者总量和质量T=同一交流平台参与人数Ƿ=发展环境系数实际上，YZST是非独立的，最关键的因子是T2019/8/1有效信息总量知识总量和质量使用者总量和质量同一交流平台人数发展环境系数以T主线，我们可以初步推论信息交流平台和参与人数与社会发展的关系有效信息总量知识总量和质量使用者总量和质量同一交流平台人数发展环境系数1--10百--千万--十万十万--百万千万--亿-几十亿原始社会农业社会工业社会信息社会这是发展速度的示意图，不是规模原始家族经过约300万年：语言记忆思维概念等能力的形成约8000年文字形成约2000年纸和印刷术的发明形成最近几十年计算机、信息网络、传感和记录等技术的发明示意图时间尺度不成比例信息能力不仅是生命、智能进化的基础，也与产业发展正相关2019/8/1对历史纵切面的分析有两点主要结论1.历史发展进入一个新的转型期：从工业社会走向信息社会，在这个历史发展转型期，中国存在超越的可能2.这个可能在于13亿人的素质：知识、聪明、勤奋，我们会有5亿以上的人口进入经济社会发展的综合平台上，形成强大的发展动力，远远超过其他强国中国的IT梦与中国梦重合的历史必然2019/8/1信息战：显示了将所有战争要素集中在一个信息平台上的力量从人工细化分工到自动化生产线2019/8/1从大规模生产到个性化生产主要的变化也是信息感知、传输、处理、利用的能力增加灵活供应链建模与仿真智能工厂分销配送用户应对消费者需求及供应商变化的IT供应链连接产品开发与设计，再到制造的工艺工厂工人用知识为基础的技术，优化生产、降低成本简化产品移动的工厂与配送中心的实时信息流用户定制产品，产品使用全过程跟踪以及产品回收和再制造全球先进制造业发展新趋势先进制造企业概念信息资源成为现代化发展的基础资源在这样的企业中，起引领作用的是什么？四、大数据发展的关键环节：1.收集、组织、管理、利用2.认识、技术、法律、制度、标准3.主体、商业模式或运行机制4.信息的结构化5.大数据管理系统（一）收集、组织、管理、利用1.找矿2.开矿3.炼矿4.用矿找矿：发现需要的信息资源•定义需要的信息资源•确定的信息资源在哪里–是否已经以信息形式存在–是否需要采集开矿：收集和获取•用何种方法收集、获取–要用什么样的方式采集•已有的怎么获取：–购买、交换、再收集•没有的怎么采集：–委托、技术方案、自采提炼：变成适用信息•相对于信息，提炼的本质是按应用需求进行结构化处理•按需求•语义和物理的机构化•语义相对于应用的目的•物理相当于处理、存储、传输的速度和成本利用：与具体应用的结合•将结构化的信息与具体的应用结合，使之发挥作用•这就是基于大数据的应用系统，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件。企业信息示意人员信息：业务流信息1：客户信息资金信息：注册信息供应链信息：法人、管理层、职工，薪资、岗位、业绩……供应链信息：零部件、原材料、能源、供应商……物流信息：研发设计、生产、库存、管理、决策、销售、服务、统计、年报……业务流信息2：业务流信息n：承运者、工具、地点、计划……注册资本、应收、应付、营收、成本、库存、固定资产、投资、利息……机构客户：名称、法人代表、货品名称、供货时间、联系方式、信誉等级……个人客户：姓名、货品、时间、地点、联系方式注销信息记录文本信息状态信息音视频场景因果信息客户信息客户信息财富信息：与应用，如质量管理的要求一致吗？还要做什么？个人信息示意奖惩信息：工作信息1：财富信息：健康信息：出生信息学习信息1：奖励事项、惩处事项、违法记录、失信记录学习信息2：单位、岗位、职务、职称、起止时间、工资……工