数据库新技术专题课程论文

四川大学计算机学院计算机科学与技术专业罗杰（2012141461302）1数据库新技术专题结题论文题目：大数据与我们的生活姓名：罗杰学号：2012141461302手机：[phone]电子邮箱：[e-mail]指导教师：段磊、陈鹏四川大学计算机学院计算机科学与技术专业罗杰（2012141461302）2大数据与我们的生活罗杰四川大学计算机学院，计算机科学与技术专业，学号2012141461302摘要：移动互联网、社交网络和物联网的发展迎来了大数据时代，我们的生活正在被无限可能的丰富着。大数据时代正在变革着我们的社会，给我们带来全新的生活方式和思维方式，但是同时也引起了人们对信息安全和数据隐私等问题的广泛关注。大数据究竟怎么影响了我们的生活，又将怎么继续影响？通过对大数据的产生、发展和应用进行分析，窥探大数据未来的应用前景。关键词：大数据；信息安全；数据隐私；物联网；生活方式0引言随着移动互联网、社交网络和物联网的快速发展，整个人类社会的数据规模正在以前所未有的速度增长，全球所有信息数据中几乎90%产生于过去两年。大数据时代正在方方面面影响着我们的社会，变革着我们的生活，不管你对新的生活方式充满期待还是恐惧，不管你如何看待新时代下的新的思维方式，这一切都在或快或慢地改变着，而你现在最好的选择就是做好充分的准备去迎接这些未知的改变。1什么是大数据大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大的数据量。大数据本身是一个比较抽象的概念，首先它代表了数量规模庞大的数据集合，但这不足以将它和大家通常所说的海量数据等概念区分开来，更没能体现它的核心所在，对于这个问题，目前没有统一的定义，正如云计算、物联网刚提出来的时候。不同的定义一般从大数据的基本特征出发进行阐述，其中比较具有代表性的是4V定义，即规模性(volume)、多样性(variety)、高速性(velocity)和价值性(value)，但是对于第四个V，也有说是真实性(veracity)。但不管如何定义，都是以数据为中心。2大数据和传统的数据库有什么区别从数据库到大数据，看上去两者都是存放和处理大量的数据，对于普通用户来说，也许根本看不出来二者之间的区别，但是这个并不是一个简单的技术的改进和升级，通过对比二者不难发现它们之间的区别。具体的例子可以用一个“池塘捕鱼”和“大海捕鱼”的例子进行类比[1]，传统数据库好比是池塘，而大数据则是大海。二者的差别概括起来主要体现在以下几个方面：1.数据规模，很容易发现大数据和传统数据库的规模差别完全不在同一个数量级，池塘里捕鱼，鱼的数量有限，而大海而数量巨大。2.数据类型，传统数据库类型比较单一，而大数据的数据源非常丰富，也就对应产生各种类型的数据，正如池塘里鱼的种类只有少数几种，而大海里的鱼的种类则包罗万象。3.模式和数据的关系，传统数据库先定义好模式，再往里存放数据，而大数据时代要根据数据来确定模式，数据和模式相互作用，处于不断变化的过程当中，正如池塘里投放鱼要考虑池塘本身的环境，而大海里的鱼则是和所处环境长期互相选择。四川大学计算机学院计算机科学与技术专业罗杰（2012141461302）34.处理对象，传统数据库只把数据当成处理的对象，而大数据时代则把数据当成基础资源，并从中挖掘出其他有价值的隐含信息资源，就如池塘的鱼仅供捕捞，而在大海捕鱼，可以通过捕捉到的鱼类来推测水域变化，其他可能存在的鱼类等等信息。5.处理工具，传统数据库只用一种或者几种算法便可获取所需信息，而大数据时代更强调针对具体问题采用具体算法，在鱼塘里捕鱼可能仅仅只需要一张或几张网，而在大海捕鱼则要根据不同的捕鱼需求放置不同的渔网。3大数据怎样改变了我们的生活大数据几乎无处不在，并且在持续不断地改变着我们的生活。对于一般用户而言，也许根本感受不到它的作用，但它在无形中却为我们提供的一系列更为便利和优质的服务。传统的医疗服务一个很被动的服务产业，当参与者有了疾病或者感到不适才会去就诊，在就诊的过程中也会遭遇到许多突发情况，甚至可能因为没有及时得到诊治造成一系列的后遗症甚至导致死亡；看病难，看病贵的问题长期以来并没有得到很好的解决。随着种类齐全、技术成熟的诸如运动手环、智能眼镜等智能硬件的应用，通过物联网的平台就能够随时随地将每个用户的身体指标收集起来，再借助大数据技术进行存储、管理和快速分析，及时将个人健康情况通过可视化的方法反馈给用户，并根据科学的医疗方法为每个用户提出合理化建议和作出预警或定制强针对性的的治疗方案，医疗行业正向着预防为主、科学治疗的理想状态发展。这些数据从单一地看仅仅是面向用户的个体数据，但当汇聚在一起的时候，通过大数据技术的处理，将会产生巨大社会和经济效益，疾病监控中心对传染病的监控只需要集中分析这些数据的特征，就能非常准确地预测疾病的爆发和进行地理位置的判断，相比传统的费力费时的人工测量和数据集中统计方式，这显然来的更快更准更具有时效性。在ViktorMayber的《大数据时代》一书中曾对比过Google通过分析搜索记录和采用传统手段得到的关于甲型H1N1流感传播位置结果，说明了上述观点，但是仅仅通过分析搜索记录来进行的预测远不及随时随地检测收集来的数据来的准确和全面。图一一些常见的智能设备(Google眼镜、Bong2运动手环、智能手表)当你在看着屏幕的时候，屏幕也在盯着你看。当你在购物网站上查看商品信息时，购物网站同时也在收集着你的信息，通过你选择的商品类型来推断你的性别、年龄等基本个人信息，通过你选择的价格区间来估计你的消费水平等等，进而向你推送类似的产品和服务，推测你可能的需要，智能为你进行生成性价比的参考，给出合理化的建议，这种广告无疑更加具有针对性，更符合消费者的需求。当《来自星星的你》和《爱情公寓4》在爱奇艺热播的时候，爱奇艺则就可以通过大数据分析观看者喜欢暂停和重放的片段来推测观众的喜好，将这些信息反馈给导演编制，就能正确为后期制作提供参考，比如应该怎样发展剧情，观众喜欢主角穿什么样的衣服，讨厌什么样的台词和动作等等，准确把握观众的心理，收视率自然就上去了，影响和宣传自然有了，这些数据的还能为作用于其他行业，比如喜欢的观众也可能喜欢主角的同款服饰，又促进了电子商务的发展。四川大学计算机学院计算机科学与技术专业罗杰（2012141461302）4图二大数据与影视娱乐图三《来自星星的你》的部分大数据(图片来自互联网)大数据的深刻地改变了我们的思维方式和生活方式，给我们创造了更为便利的生活条件和环境，使我们完全处于一个充满数据和信息的世界，互联网和物联网的飞速发展，已经将人与人、人与物关联地越来越紧密，形成一个相互作用、不可分割的整体。4大数据将怎样继续改变我们的生活大数据在未来将广泛用于预测。从古代夜观星夜天象、龟壳占卜到如今的天气预报、地震预报，从福尔摩斯的推理到经济学家的语言，几乎任何时期各行各业的人都在进行预测，关键在于准确性。通过长期统计和科学分析，预测结果将更加具有参考性，这就是大数据的优势所在，以往任何一个时期都没有现在规模如此巨大的数据和信息，这些信息资源将是进一步数据挖掘的基础。有了对气象情况的预测，将更加准确判断天气变化，有效防止地质灾害，提早进行预防和准备，避免不必要的损失；有了对经济指标、股市行情的预测，更能为投资者提供更加及时有效的投资信息，实现利益最大化，大力提升社会经济效益，有了对消费者购物需求的预测，商家便能最大化降低成本，针对性地为有需要的客户提供更优质的服务，卖家将更清楚服务的群体，买家也可以省去大量不必要的查找和筛选，实现买卖双赢。大数据的可能的应用远不止这些，它的潜在价值是巨大的，在物联网、移动互联网的巨大推动下，必将带来更加巨大的经济和社会效益，使得服务更加人性化，生产生活更加科学化。5大数据有存在什么问题大数据有大价值，这是无可否认的，但同时也带来了许多重要而又敏感的问题。首先是个人隐私受到严重威胁，在大数据时代，数据是基础资源，是分析和挖掘的对象。企业可以从这些数据中得到更多有价值的东西，从而提供更好的服务，提高专业水平和核心竞争力，但用户在整个过程中都是被动的，这些隐私数据在收集、分析过程中根本无法保证不会被泄露，而且一般的中小型企业相对于专门的技术公司，其系统安全性能比较弱，更容易受到攻击，造成数据泄露。其次，信息推送也有可能会造成垃圾信息堆积，为用户带来困扰，甚至四川大学计算机学院计算机科学与技术专业罗杰（2012141461302）5产生误导，目前这些技术不是很成熟，而且人们的需求在不断地变化，因此，想要做到真正的“供销平衡”恐怕也非易事。大数据本身技术发展也存在许多的问题，对于企业发展来说，利和弊的取舍也是一个比较艰难的抉择，这里就不一一列举了。大数据有大价值，但是大数据并不等于大价值，它并不仅仅是像我们表面看上去那样黄金满地，其实处处充满了挑战。结语大数据时代正在深刻变革着我们的生活方式和思维方式。对于普通用户来说，也许几乎无法感受到大数据的存在，体会不到大数据时代已经到来，这就像人们通过PC、PDA等上网，却几乎感受不到网络的存在一样。但是，身处在信息时代的每个人却都无法否认大数据给我们带来的好处。大数据时代改变了我们解决问题的方式，数据本身就是一笔无形的财富。但是我们也要辩证地看待这个变化，大数据技术发展本身还有很多亟待解决的问题，因此在享受大数据带来的科学成果的同时也要重视其中潜在的安全隐患。大数据时代是一个信息爆炸的时代，这些信息作为基础资源，通过大数据相关技术进行加工处理后能得到远远超过本身价值的信息，大数据时代从以前技术驱动应用转变成需求驱动技术，二者相互作用，共同为社会发展提供动力。参考文献：[1]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,01:146-169.