Matlab使用说明

1©2016TheMathWorks,Inc.MATLAB校园行上海科技大学2©2016TheMathWorks,Inc.MATLAB数据分析实践卓金武MathWorks3讲师简介卓金武高级工程师，大学计划经理技术领域：数据分析、优化、数据挖掘、量化投资等MATLAB科学计算方向获奖情况：2次获全国大学生数学建模竞赛一等奖(2003,2004)，1次获全国研究生数学建模竞赛一等奖(2007)；著作：《MATLAB在数学建模中的应用》（第1,2版）《量化投资——MATLAB数据挖掘技术与实践》《大数据挖掘：系统方法与实例分析》4MathWorks®5MathWorks是领先的为工程师和科学家提供数学计算软件的供应商。公司于1984年创立，总部位于美国马萨诸塞州内迪克，在全球15个国家有3500名员工6Headquarters:Natick,MassachusettsUSAOtherUSLocations:California,Michigan,Texas,WashingtonDCEurope:France,Germany,Italy,Spain,theNetherlands,Sweden,Switzerland,UKAsia-Pacific:Australia,China,India,Japan,KoreaWorldwidetrainingandconsultingDistributorsin25countriesEarth’stopographyonanequidistantcylindricalprojection,createdwithMATLAB®andMappingToolbox™.MathWorks®7SIMULINK仿真以及基于模型设计MATLAB科学计算语言数学，统计，优化应用程序数据库和报告快速原型与HIL仿真验证、确认和测试仿真图示和报告基于事件的建模物理建模代码生成并行计算控制系统信号处理和通讯图像和视频处理测试测量金融计算生物计算应用MATLAB家族基于MATLAB和Simulink的近百种工具箱和扩展模块正应用于当下的各行各业8内容提要MATLAB高效编程技巧MATLAB数据分析流程MATLAB常用数据分析方法数据分析实践9MATLAB量化投资入门实例-股票的评价•方法:–将股票的数据导入MATLAB–交互式地探索数据并确定评估股票的方法–用脚本自动实现对一只股票价值和风险的评估•目标:如何来评价股票的价值和风险10MATLAB客户端界面11MATLAB科学计算流程ReportingandDocumentationOutputsforDesignDeploymentShareExplore&DiscoverDataAnalysis&ModelingAlgorithmDevelopmentApplicationDevelopmentFilesSoftwareHardwareAccessCode&ApplicationsAutomate12MATLAB导入数据的方法1右键导入数据13Array:包含多个值的变量(任意长度，任意维度)Matrix:数值型2-Darray(m-by-n)Vector:1-Darray(1-by-norm-by-1)Scalar:单个值MATLAB中的数据结构14MATLAB中的数据类型15数据探索数据建模股票评价的实现-交互式16获取帮助：doc/help脚本结构：分节注释借助菜单：导入数据绘图面板运行/分节运行发布功能入门后如何提高：以项目为载体，不断拓展外沿，积累经验、提高技能MATLAB入门的要求：能用脚本实现某个项目或问题的解决方案MATLAB入门要点总结17程序开发方式functionscriptcommandlinevaluevariablestructure精炼并提升代码可维护的可重用/更广泛强壮的18各股票的综合评价值及最佳股票19内容提要MATLAB高效编程技巧MATLAB数据分析流程MATLAB常用数据分析方法数据分析实践20数据分析“Dataanalyticsisaprocessofinspecting,cleaning,transforming,andmodelingdatawiththegoalofdiscoveringusefulinformation,suggestingconclusions,andsupportingdecision-making.”---Wikipedia21数据分析应用22MATLABletsengineersdoDataSciencethemselves2MATLAB使得数据分析变得简单23MATLAB数据分析典型工作流程ReportingandDocumentationOutputsforDesignDeploymentShareExplore&DiscoverDataAnalysis&ModelingAlgorithmDevelopmentApplicationDevelopmentFilesSoftwareHardwareAccessCode&ApplicationsAutomate24MATLAB支持多种数据源文件访问•Text•Spreadsheet•XML•CDF/HDF•Image•Audio•Video•Geospatial/Maps•Webcontent硬件访问•Dataacquisition•Imagecapture•GPU•Labinstruments通信协议•CAN(ControllerAreaNetwork)•DDS(DataDistributionService)•OPC(OLEforProcessControl)•XCP(eXplicitControlProtocol)•TCP/IP•I²Cetc.数据库访问•ODBC•JDBC•HDFS(Hadoop)25数据分析步骤1234567891011120510152025303540数据统计分析可视化数据处理与建模缺失值去噪回归假设检验分布率神经网络)sin(6542321xxxy机器学习/深度学习/数据挖掘27内容提要MATLAB高效编程技巧MATLAB数据分析流程MATLAB常用数据分析方法数据分析实践28数据可视化BasicHistogramCustomNumberofBinsByGroupWithaNormalDistributionFit3DHistogramScatterPlotPieChartloadfisheririsBoxPlot29假设检验13014015016017018019020021000.010.020.030.040.050.06Height[cm]MenWomenttestttest2vartestvartest2vartestnztestttestttest2ztest[h,p,ci,stats]=ttest2(hmen,hwomen,0.05,'right')ttestttest2normaldistributionstestingmeansunknownvariancecomparingtwosamplesttest230回归方法199019952000200520103.544.555.566.57YearConsumption[106barrels/day]DataModel)sin(6542321xxxy31MATLAB机器学习32聚类（Clustering）目的:对未标记数据根据选定的特征进行分组；33回归（Regression）目标:确定多个变量之间的依赖关系。34分类（Classification）目标:利用有标签的数据训练一个分类模型。35ClassificationLearnerClassificationLearnerapp是MATLAB推出的一个新的应用程序（APP）。它囊括了MATLAB的有监督机器学习算法，并以图形化的方式实现特征选取、检查验证、模型训练以及结果评估。2015a推出，并加入到StatisticsandMachineLearningToolboxR2015b加入如下功能:–Discriminantanalysis–DimensionreductionviaPCA–Parallelcoordinatesplot–CategoricalpredictorsR2016b增加并行计算功能36预测:将训练模型集成到应用中MODELPREDICTION模型生成模型训练CLASSIFICATIONREGRESSION数据预处理SUMMARYSTATISTICSPCAFILTERSCLUSTERANALYSIS数据导入数据预处理SUMMARYSTATISTICSPCAFILTERSCLUSTERANALYSISNEWDATA分类分析工作流程训练:迭代训练，直到获得满意结果37内容提要MATLAB高效编程技巧MATLAB数据分析流程MATLAB常用数据分析方法数据分析实践MATLAB2017a新功能38数据：数据取自100个同种型号发动机多个传感器的数据工程背景:执行计划式维护依然有故障发生已收集了故障记录以及这些故障发生前的传感器的数据能预测出故障还有多久就会发生吗DataprovidedbyNASAPCoE案例：涡轮发动机的预测性维护39?HistoricalLiveEngine1Engine2Engine100InitialUse/PriorMaintenanceTime(Flights)Engine200RecordingStartsFailureMaintenance????数据是如何记录的40.exe.lib.dllMATLABCompilerSDKMATLABCompilerMATLABRuntimeMATLABCoder部署模型到产品中41效果演示42增加可用时间和安全性更可靠降低维护成本更经济优化供应链管理更出名预测式维护的意义43目标:训练股票聚类和分类模型数据:股票交易数据方法:–提取有效特征–训练模型–用测试数据进行测试数据点数据点层次聚类结果相关程度图5001000150020002500300035004000450050010001500200025003000350040004500距离矩阵:spearman00.20.40.60.811.21.41.61.8基于交易数据的量化择股442111101517242521828786132230119231214162732692045290.50.60.70.80.91数据点距离CPCC:0.5406股票的聚类结果——层次聚类股票的分类模型——决策树技术关键与结果45StepsChallengeSolution获取、探索、分析数据数据的多样性扩展数据支持signal,images,financial,Textual,geospatial,andseveralothersformats预处理数据缺乏专业工具高质量数据预处理函数库Industry-standardalgorithmsforFinance,Statistics,Signal,Imageprocessing训练模型周期长可交互的APP操作流程Focusonmachinelearning,notprograming评估模型多种问题：过度拟合速度-精度-复杂度集成的最佳实践ModelvalidationtoolsbuiltintoappRichdocumentationwithstepbystepguidance反复灵活的架构更适合定制化的流程CompletemachinelearningplatformMATLAB在机器学习方面的优势和劣势46神经网络：深度学习：深度学