大数据专业实习报告

大数据认知实习报告专业数据科学与大数据技术班级学号姓名完成日期2018-11-30实习内容与要求内容：1、参观大数据应用协同创新中心和现教中心；2、参加大数据讲座；3、参观大数据相关的企业；4、学习大数据平台并在该平台上进行实操训练。要求：1、学生独立撰写实习报告2、认真总结本次实习的所有内容。3、字数不少于2000字。指导教师：_______________年月日实习评语成绩：指导教师：_______________年月日1在洛理的第13周，我们终于迎来了大数据的实习周。我的内心满怀喜悦，终于能对大数据有个更直观的了解，也能更系统全面地认识大数据并了解它的发展前景与行业需求。在周一，我们参观了学校的大数据实验室以及机房。在潘老师的讲解下，通过几个曙光大数据系统了解了大数据的具体作用，怎样与产业结合以及怎样运作。首先农业大数据，尤其是智能大棚，通过各种传感器采集大棚内的温度以及湿度等，再将采集到的数据进行可视化处理，使其更直观地呈现出来，以次来检测大棚内的温度和湿度是否达标，从而对大棚进行智能培养。其次为智能汽车监控系统，它只要是通过大量的存储数据来确定汽车的行车轨迹。这其中也用到了数据可视化处理技术来形成更直观的轨迹路线，从而实现对一辆汽车的监控。最后为反洗钱系统，它体现了大数据技术中数据挖掘和分析技术，系统先将你的历史交易信息抽取出来，然后对它进行分析，以此来检测你是否有高危交易信息。通过这三个实例了解了大数据在各行各业中的应用并认识到大数据的核心技术是数据可视化处理和数据的挖倔和分析。在中科曙光的19000大数据生态系统中分为三个模块，数据集，数据转换和数据上传，运行这三个模块需要大量的技术支持，主要有数据导入语预处理，分布式数据库原理与应用，数据分析于内存计算，数据可视化技术，数据挖掘与应用，Hadoop大数据技术等，这也是我们大学四年要掌握的技术与能力。这也让我认识到数据的魅力，数据的价值。而对于怎样去高效地学习这些技术并提高学生的实践能力，在“数据中国，百校工程”项目中具体列出了1个计划，2个实体，3个职能和1个超级平台。1个计划是指数据中国—产教融合促进计划，即与百所高校联合办学培养大数据人才。不得不说，与企业联合办学益处多多，通过企业的工程是我们了解了大数据行业的最新技术和发展方向。2个实体为大数据学院，大数据应用创新中心，3个职能为人才培养，2科研创新，应用服务，1个超级平台为大数据应用协同创新网络，此超级平台提供了600TB数据规模存储，共100个计算节点，提供3000核心的并行能力，搭载GPU具备9984核流处理能力，看到这几组数据真的感受到数据之大，之多。在这个万物互联的时代，人们从信息的被动接受者变成了主动创造者，网络，电视，智能终端，社交软件，办公信息…….，各种各样的数据形成了海量数据，比如电子邮件：全球2.9百万封/秒=1个人1分钟读1篇不断读5.5年。然而我们能看到的只是冰山一角，还有大量的未视化数据。同时还了解到目前的大数据还存在着一些技术难题，储存构架：易scale-up(纵向扩张)难scale-out(横向扩张)，处理时间：time-to-value受限（数据量大，处理耗时），处理成本：cost-efficiency受限（数据价值密度低，非结构化数据分析技术缺乏等）。除了这些技术难题，大数据也有他自己的4V特征：大量，多样，价值，高速。说到底大数据技术就是对数据进行存储，计算，管理，分析。其次在对大数据人才需求分析中发现，美国未来6年可能面临缺乏具有深度分析数据能力的人才达14-19万，并缺乏大数据分析师和高级管理人才150万，我国同样也存在大数据人才匮乏现象，同时工资水平也在不断增长，大数据行业人才需求的增长促使各大高校开设大数据专业与研究院。在了解了大数据到底是干什么，怎样与行业结合，主要技术以及工作原理，就业前景分析之后，我们又参观了学校的网络信息处理中心，在机房了解了各种设备以及它的供电系统，还有软件检测系统。在所有的硬件设备中交换器最为重要。它是连接用户与系统的枢纽，在我们的校园网中，通过它能保证信息的安全，校园外的人登录校园内的网站时会有相应的权限设置，使其不能对信息做出窃取，校园内的人登录时有进行实名认证，这些都是通过我们强大的服务器实现的，当然还有我们的虚拟专用网络VPN，通过它建立了一个临时的，安全的连接帮助我们进行远程连接与远程办公，除了VPN，还有各种各样的H3C交换机，在3机房我们见到了7508,5540,8812，F5000等型号，它们的作用大同小异，其主要功能是物理编址，检验是否出错，以及控制帧序列，甚至有的还有防火墙的作用，说到底其实就是用来提高网速的。在网络交换中心还有学校的天清Web应用安全网关和机房的监测系统，包括机密空调检测系统，UPS检测系统，漏水监测系统等，以此来保证机房的设备长久运作。在周三，我们去了大数据研究院。了解了一些大数据核心人物，有3D人脸识别技术的领军人物，物联网与大数据分析专家等各类专家。通过老师的讲解我更深的了解了大数据在社会中的应用，以及国家对大数据技术和人才的支持。首先在3D技术实验室了解到该项技术是基于多阶微分几何量统计特性并与机器学习相结合，分为三个关键点，3D人脸关键点检测，关键点局部几何形状刻画，关键点匹配。通过这三项技术能够有效处理3D人脸表情，姿态以及遮挡等极具挑战的问题。与原来的2D人脸识别技术相比，3D具有更高的安全性，并且识别技术更精准，精准度可以达到95.3%并且该技术在人脸双胞胎辨认国际竞赛综合排名第二。当然他的背后主要是数据的采集以及面部法向量估计等。主要应用于机场，海关，监狱，银行等场景。另一个就是DaaS平台核心业务，基于创新的运行时软件体系结构重建技术，快速生成系统数据和功能接口，并遵守用户指定标准格式以API形式提供服务，颠倒了传统数据读写及系统整合方式，为多源数据实时汇集，异构系统无缝融合，全量资源活化开放提供了强大的平台支持。主要过程为学习，生成，不熟，巡行，管理。进行数据融合，创造数据价值。其构架为三个平台，分别是生成平台为开发者提供生成服务，运行平台用于为API服务提供运行支撑环境；管理平台用于对API服务进行自动化部署，生命周期管理，状态监控监测，并可以对用户行为进行审计监控。还有以大数据算法为基础的医疗影像技术，通过新CT设备将扫描结果生成数据传输到分布式影像中心，并在此进行大数据分析和计算形成医学影4像。除此之外，还有工业大数据，市政大数据，大数据学院。总的来说，在公司实习学到很多，其中提到最多的是Linux系统，Java和python语言，深度学习和机器学习。认识到了学习的重点，尤其是最后有关职业规划的讲座，关于未来行业发展前景，职业规划重点提出了职业规划6部曲，具体为1：清楚自己是什么样的人。2：定目标，即学习目标，职业怒表，收入目标。3：正确认识自己，清楚自己擅长什么。4：你的职业优势是什么，竞争力是什么。5：自己适合做什么。6：做好充分的准备。在实习的最后一天，我们在实验室进行了上机练习，主要了解和学习了python编程并利用python编程将数据可视化。在安装python时所需要的IDE和库。自我认为此编程的确好用，方便操作。为期一周的实习结束了，这满满的一周我学到很多，不仅仅对大数据有了更深的认识，而且学会了去了解市场前景，行业需求。通过这一周的参观和学习让我认识到技术是在不断发展更新的，要想成为一个合格的职业人，就要不断学习，多思多想多总结。在今后的学习生活中，我一定会不断学习，不断思考，多练来提高自己的综合竞争力。5