浅谈大数据学习中工程数学的应用

《工程数学》课程论文学院：软件学院专业：管理科学与工程学号：姓名：浅谈大数据学习中工程数学的应用在信息技术迅猛发展的当今社会，随着各行业各领域数据量的爆炸式增长，大数据的热度与日俱增，其应用在相关领域也扮演着越来越重要的作用。人们在互联网活动的信息会形成数据，通过对数据的收集、整理、挖掘、分析和深度应用，我们可以创新技术、思维、产品、营销和风险管理。在精准营销、信用评估、资产定价、风险管理和指数编制方面，大数据都发挥着非常重要的作用。大数据不仅仅是指数据，也是技术，更是应用。要解决好应用的问题，首先要有灵活而又扎实的理论基础。从数据的前期处理，到中期的研究分析，包括后期结论的形成，大数据应用的每一步都离不开工程数学的理论支撑。在使大数据更好地应用到各行业各领域的相关研究中，工程数学发挥着至关重要的作用。本人研究生学习阶段，跟随导师学习的便是大数据方向，在学习的过程中，经常遇到许多工程数学相关问题，发现工程数学在大数据研究的过程中的应用是随处可见，本文将主要从工程数学对专业学习的重要性、与大数据有关的主要工程数学知识、大数据中工程数学的应用三方面讲述。一、工程数学对专业学习的重要性我们知道,人类的活动离不开思维,钱学森教授曾指出:“教育工作的最终机智在于人脑的思维过程。”思维活动的研究,是教学研究的基础,数学与思维的关系十分密切,数学思维的发展规律,对工程数学的实践活动具有根本性的指导意义,工程数学对于专业学习的重要性不言而喻。1.工程数学是专业课建设和发展的阶梯和桥梁从专业课程建设体系来探讨,工程数学是专业课建设和发展的阶梯和桥梁。从大一到研究生阶段的学习过程中，我们不难看出工程数学总是优于专业课,一般排在大一、大二或者研一开课。而专业课一般排在大三、大四或研二研三。为什么,不妨举例说明:机械原理课程中工业机械人的姿态矩阵及位置矩阵优化离不开线性代数课程的学习;机械制造技术基础中的产品加工质量正态分布离不开概率统计课程的学习;控制工程中的控制系统的传递函数离不开积分变化课程的学习。由上述例子发现专业课建设和发展离不开工程数学课程的学习。换句话也就是工程数学素质的培养。工程数学素质培养的精髓就是:数学逻辑思维能力的培养。数学逻辑思维能力,也就是运用数学的思想和方法,目的明确地对外来的和内在的信息进行提取与转化、加工与传输的思维活动能力。在整个过程中,要求合乎逻辑,不悖常理,并能达到最终目的,同时还要将其正确陈述,让人信服。逻辑思维能力是数学能力的核心,数学是一个各部分紧密联系的逻辑系统,在数学领域中,只有被严密证明了的结论才被承认为正确。数学证明离不开演绎推理,演绎推理能力是逻辑思维能力的重要组成部分。可见工科专业课建设和发展离不开数学逻辑思维能力培养。可见,工科院校工程数学素质培养的重要性。2.工程数学作为一门基础学科,一门思维学科,是培养学生的创新意识和实践能力的主渠道之一。从大学生思维培养来探讨工程数学素质培养的重要性。工程数学作为一门基础学科,一门思维学科,是培养学生的创新意识和实践能力的主渠道之一。要激发学生的主体意识,让学生积极、主动地参与大学学习及生活的全过程,进行独立思考,提高独立解决问题的能力。要培养学生大胆创新、敢于求异、勇于探索的精神,形成良好的思维品质,为社会输送高质量的创新人才。大学生思维培养从大一开始,接触到第一门数学思维培养便是高等数学。每年每度的大学生数学建模大赛传来信息不难发现:工程数学素质培养的重要性。数学建模是一种数学的思维方法体现,是“对现实的现象通过心智活动构造出能抓住其重要且有用的特征的表示,常常是形象化的或符号的表示。”从科学,工程,经济,管理等角度看数学建模就是用数学的语言和方法,通过抽象,简化建立能近似刻画并“解决”实际问题的一种强有力的工程数学工具。建模是一种十分复杂的创造性劳动,数学建模也是检验大学生工程数学逻辑思维能力培养好坏的竞技平台。可见,工程数学素质培养的重要性。二、与大数据有关的主要工程数学知识工程数学是好几门数学的总称。我们本科研究生学习的“积分变换”，“复变函数”“线性代数”“概率论”“场论”等数学，这些都属工程数学。工程数学是为了让工科学生用更加方便的理论工具来处理工程常见问题，在这个数学体系中，与大数据技术有密切关系的数学基础知识主要有以下几类。1.概率论与数理统计这部分与大数据技术开发的关系非常密切，条件概率、独立性等基本概念、随机变量及其分布、多维随机变量及其分布、方差分析及回归分析、随机过程（特别是Markov）、参数估计、Bayes理论等在大数据建模、挖掘中就很重要。大数据具有天然的高维特征，在高维空间中进行数据模型的设计分析就需要一定的多维随机变量及其分布方面的基础。Bayes定理更是分类器构建的基础之一。除了这些这些基础知识外，条件随机场CRF、隐Markov模型、n-gram等在大数据分析中可用于对词汇、文本的分析，可以用于构建预测分类模型。当然以概率论为基础的信息论在大数据分析中也有一定作用，比如信息增益、互信息等用于特征分析的方法都是信息论里面的概念。2.线性代数这部分的数学知识与大数据技术开发的关系也很密切，矩阵、转置、秩分块矩阵、向量、正交矩阵、向量空间、特征值与特征向量等在大数据建模、分析中也是常用的技术手段。在互联网大数据中，许多应用场景的分析对象都可以抽象成为矩阵表示，大量Web页面及其关系、微博用户及其关系、文本集中文本与词汇的关系等等都可以用矩阵表示。比如对于Web页面及其关系用矩阵表示时，矩阵元素就代表了页面a与另一个页面b的关系，这种关系可以是指向关系，1表示a和b之间有超链接，0表示a,b之间没有超链接。著名的PageRank算法就是基于这种矩阵进行页面重要性的量化，并证明其收敛性。以矩阵为基础的各种运算，如矩阵分解则是分析对象特征提取的途径，因为矩阵代表了某种变换或映射，因此分解后得到的矩阵就代表了分析对象在新空间中的一些新特征。所以，奇异值分解SVD、PCA、NMF、MF等在大数据分析中的应用是很广泛的。3.最优化方法模型学习训练是很多分析挖掘模型用于求解参数的途径，基本问题是：给定一个函数f:A→R，寻找一个元素a0∈A，使得对于所有A中的a，f(a0)≤f(a)（最小化）；或者f(a0)≥f(a)（最大化）。优化方法取决于函数的形式，从目前看，最优化方法通常是基于微分、导数的方法，例如梯度下降、爬山法、最小二乘法、共轭分布法等。4、离散数学离散数学的重要性就不言而喻了，它是所有计算机科学分支的基础，自然也是大数据技术的重要基础，这里就不展开了。三、大数据中工程数学的应用当今时代，数据已经成为一种资源。怎样处理海量数据，从中挖掘信息，发现规律，探索潜在价值，已经成为科学研究和实践应用中十分关键的一个课题。大数据的研究和探索，离不开数学的理论基础。大数据的相应处理方法和分析方法，都需要有数学这个的理论后盾。数据的大规模收集和存储，正式研究分析前的数据处理，以及通过数据进行信息挖掘、规律分析、评判打分、预测分析等等，都需要工程数学为其提供思路和方法。1.数据处理中工程数学的应用在研究实际问题时，我们对最初的数据集要进行处理，又因为大数据具有时效性的特点，数据处理必须在期望的时间内完成，所以必须兼顾效果与效率。如果最初的数据含有噪声、不完整或者不一致，在进行研究分析前一定要先有预处理，对数据进行清洗、集成和选择，从而提高数据研究和分析的效率和准确性。有时候我们会面临着数据量或者指标集太大的问题，需要从中选择一些重要数据和关键指标。在数据处理中，统计学中的很多方法是经典而又常用的，如描述性统计分析、相关分析、回归分析等。其中回归分析往往是在相关分析的基础上，测定两个或者多个具有相关关系的变量之间数量变化的一般关系，再通过相应的数学模型，可以通过一个已知量推断另一个未知量。回归分析的主要任务就是根据样本数据估计参数，建立回归模型，对参数和模型进行检验和判断，并进行预测等。除了经典、常用的方法之外，还有很多新的数学理论可以应用到数据处理中。例如测度论中，将两个或者有限个单调测度通过运算进行结合，能构造出新的单调测度，我们可以将这一研究应用到数据的降维处理中，与以往的挑选主因子的方法相比，更能保证数据的完整性和有效性，保留更多的信息。2.数据挖掘中工程数学的应用大数据时代，面对海量信息，要从看似复杂、无规律的数据中得到有效信息、获取潜在价值，数据挖掘无疑是最好的研究方向和技术选择。在整个研究过程中，数据的产生和收集是基础，而数据挖掘则是关键，其特点可以概括为：应用性、工程性、集合性、交叉性。在数据挖掘的总体分析方法和具体实施过程中，数学都扮演着重要的角色。神经网络、关联分析、聚类分析、决策树方法是数据挖掘中常用的方法。我们以模糊聚类分析为例，简单介绍一下其思路和方法。聚类分析遵循“最小化类间相似性，最大化类内相似性”的原则，按照一定的标准，把相关性比较大的对象划分为一类，同时分类要尽量使属于不同类的对象之间差异最大化，由此可以把数据集划分成多个组。在模糊聚类分析中，我们首先进行数据标准化，然后进行标定，即对应模糊关系，建立模糊相似矩阵，再进行直接聚类或者基于模糊等价矩阵进行聚类，也可以采用最大树法或者编网法，得到聚类结果。其中最佳阈值的确定，可以由经验丰富的专家来确定，也可以通过统计学的方法确定最佳值。作为模糊数学中应用最多、最活跃的一个分支，模糊聚类分析在实际生活应用和各学科领域的相关研究中都起到了非常重要的作用，其应用研究也相对成熟，是一个解决聚类问题的很好的方法。四、结语当今时代，数据已经成为一种资源。怎样处理海量数据，从中挖掘信息，发现规律，探索潜在价值，已经成为科学研究和实践应用中十分关键的一个课题。通过以上关于大数据中工程数学应用的相关讨论，可以看出，大数据的研究和探索，离不开工程数学的理论基础。大数据的相应处理方法和分析方法，都需要有工程数学这个的理论后盾。数据的大规模收集和存储，正式研究分析前的数据处理，以及通过数据进行信息挖掘、规律分析、评判打分、预测分析等等，都需要数学为其提供思路和方法，所以，要想更好地发展大数据技术和相关研究，必须重视工程数学理论的研究与发展，使之更好地与实践相结合，并注重与时俱进，根据实际应用的情况来改进和创新理论，通过实践需求来推动理论的进步和完善。