制造物联海量实时数据处理方法研究

制造物联海量实时数据处理方法研究重庆大学博士学位论文学生姓名：杨正益指导教师：王时龙教授专业：机械电子工程学科门类：工学重庆大学机械工程学院二O一二年十月StudyonApproachestoProcessingMassiveReal-timeDataintheInternetofManufacturingElementsAThesisSubmittedtoChongqingUniversityinPartialFulfillmentoftheRequirementfortheDoctor’sDegreeofEngineeringByYangZhengyiSupervisedbyProf.WangShilongSpecialty：MechatronicsEngineeringCollegeofMechanicalEngineeringofChongqingUniversity,Chongqing,ChinaOctober2012中文摘要I摘要制造技术与迅猛发展的互联网、云计算、物联网等新一代信息技术相融合，不断形成制造业信息化新的核心技术，推动着制造业的进步和发展，也为我国制造业的跨越式发展提供了难得的历史机遇。应用物联网技术提升传统制造业，形成推动制造业信息化发展的制造物联技术，是先进制造技术、信息技术和智能技术的集成和深度融合，体现了制造技术从机械化、自动化、数字化走向智能化的发展趋势。大力推进制造物联技术与生产过程的融合，促进制造过程的智能化提升和改造，催生高端制造先进的生产模式，形成我国制造业的“智慧制造”，是当前制造行业研究的一个重点领域。在制造物联关键技术中，研究制造过程产生的海量数据的实时感知、实时传输与分发、实时处理与融合等，对制造过程的实时决策及实时控制，确保企业生产安全有序进行、及时决策、提高效率、减少损失非常重要，也为我国制造业改变当前过于依赖国外实时数据处理产品打下基础。本文对现有信息技术、制造业信息化及物联网等相关领域研究进展进行分析，研究制造物联海量实时感知数据的建模及处理方法，针对制造系统的特性、制造物联关键技术及制造环节实时监控需求等方面的特点，深入分析所涉及到的若干关键问题，研究新的或改进的方法，并将这些方法应用到具体的制造环境中。论文主要研究工作及成果如下：①提出了制造物联实时数据的定义，对实时数据进行基础理论建模。对实时数据的采集过程进行了研究，分析探讨了实时数据获取和存储的关键技术，提出了制造物联实时数据的获取模型。分析了实时数据传输和分发中的挑战，提出了海量实时数据连续查询模型，并通过优化访问方法，给出了自适应分布式制造物联实时数据的访问模型，以解决突发数据和非匀速实时数据的传输访问问题。②基于内存的实时数据库的存储机制研究。分析了内存数据库的特点、相关概念及技术，针对内存数据库的数据组织、查询技术与优化、并发控制和恢复机制等方面进行研究，采用基于CSB+树的索引方法，以快速定位索引实时数据；提出了一种新型的基于虚拟单元可智能增长的内存池技术，满足内存数据库系统对空间利用率和系统健壮性要求；基于智能算法，提出了海量连续实时数据的查询技术与优化算法；为解决实时事务在并发执行过程中所发生的各种冲突，采用了并行实时事务标记排序法，并利用定义优先级算法对排序算法进行优化，解决排序算法中的优先级颠倒的问题。论文提出了一种基于元数据层次化结构的实时系统数据模型，以便更快捷地访问实时数据对象。该模型对制造物联实时感知数据进行层次划分，通过元数据映射，完成实时数据的有效组织，有效实现实时数据重庆大学博士学位论文II检索，提高效率。基于元数据的层次结构，制定了实时感知数据与超过时限的历史数据之间互相迁移的策略，并对该策略进行性能评估。各种仿真及测试运行结果表明，基于内存的实时数据库分层存储机制能有效进行数据组织，满足制造物联中海量实时数据的存储需求。③设计并实现一种新的实时数据访问协议，以提高制造物联实时数据系统的相关性能。设计了基于双缓冲区和推进发送数据的数据存储和发送模型。双缓冲区模型中的两个缓冲区交替接收感知数据，将实时数据并发进行处理，有效利用内存接收处理海量数据。数据的连续推进发送模式，同双缓冲区结合，可以在不同网络阻塞环境下保证数据的完整性。建立性能模型验证实时数据分发模型的性能，并实现了实时数据检测与处理系统的原型系统。仿真实验结果证明模型在保证数据完整性方面有着非常出色的表现。基于双缓冲区和推进发送数据的模型解决了数据在采集和发送过程中出现的数据丢失问题，有效地保证了数据传输处理的完整性。为了优化制造物联海量实时数据分发效率，研究并提出了一种基于智能多代理模型和优先级排序算法的实时数据分发策略，性能分析证明该方法能进一步提高海量实时数据分发效率。④分析了制造物联海量实时数据融合的功能模型和通用处理结构，提出了在资源受限网络环境下对实时感知数据进行融合的方法，研究了基于u检验法的剔除冗余无效数据的融合系统，并将融合算法应用在分布式检测环境下，对融合模型进行优化。基于形态-小波滤波融合方法，对旋转机械的振动信号检测过程中产生的脉冲噪声和白噪声进行去噪研究，实验证明该方法有很好的去噪效果，在实际振动信号处理中取得了满意的效果。⑤提出了制造物联海量实时数据处理方法在石化行业运营管理及安全监控系统中的应用方案。对实时感知的海量数据，以分层的实时数据模型进行组织和管理，并以双缓冲区数据持续推送模型对实时数据传输分发，对本地感知数据实时融合处理，形成石化企业加气站生产运营实时监管物联平台，实现了对监管平台的性能优化和改进。综上，本文分析并研究了当前制造物联海量实时数据处理中面临的若干关键问题，设计并改进了一系列模型和算法。理论分析、实验及应用结果表明：相关处理方法是实时、正确的，能对制造物联海量实时数据进行有效处理，为我国制造业过于依赖国外实时数据库及实时数据传输与处理系统产品提供一种新选择。关键词：制造物联，海量实时数据，数据建模，数据分发，数据处理英文摘要IIIABSTRACTThemixtureofmanufacturingtechnologyandtherapiddevelopmentofnewgenerationofinformationtechniques,includinginternet,cloudcomputing,andinternetofthings,iscontinuouslyformingnewcoretechnologiesofthemanufacturinginformatization,promotingtheprogressanddevelopmentofmanufacturing,whichalsooffersgreatopportunitytothegreat-leap-forwarddevelopmentofmanufacturinginourcountry.Usingtheinternetofthingstopromotetraditionalmanufacturingindustry,andtoformmanufacturingcontentgrouptechnologywhichpromotesthemanufacturinginformatization,istheintegrationanddeeperinfusionofadvancedmanufacturingtechnology,informationtechnologyandintellectualtechnology,anditalsoreflectsthetrendfrommechanization,automation,digitizationtointellectualizationofthemanufacturingindustry.Itiscurrentlythekeyareaofindustrialresearchtocarryforwardtheintegrationoftechnologyintheinternetofmanufacturingelementsandmanufacturingprocedure,topromoteandreformtheautomationduringmanufacturingprocedure,andtocreatehigh-levelproductionmode,finallyreachingthe―IntelligentManufacturing‖inChina’smanufacturingindustry.Amongthosekeytechnologiesintheinternetofmanufacturingelements,real-timemonitoring,transmissionanddistribution,processingandmixingtowardmassivedataproducedduringmanufactur-ingprocedure,andsoon,areessentialtothereal-timedecisionandcontrol,andensuresallthemanufacturingprocedurebemadeorderly,immediately,efficiently,andwithminimumlosses.Thispaperanalysestherelatedfieldssuchasexistinginformationtechnology,manufacturinginformatizationandinternetofthingsandsoon,studiesreal-timesensingdatamodelingandprocessingmethodinmanufacturingelementssystem.Aimingatmanufacturingsystem’sfeatures,keytechnologiesintheinternetofmanufacturingelementsandreal-timemonitoringrequirementsduringproducingprocedure,thispaperdoesathoroughresearchonsomeinvolvedproblem,proposesneworoptimizedmethods,andappliesthemtospecificproductionenvironments.Herearethemainresearchworkandachievementsofthispaper:①Proposesthedefinitionofreal-timedataintheinternetofmanufacturingelements,buildsbasictheoreticalmodeltoreal-timedata.Thispaperstudiesthereal-timedatacollectingprocess,proposesthecollectingmodel,andanalysesthekey重庆大学博士学位论文IVtechnologiesinreal-timedataacquisitionandstorage.Thispaperanalysesthechallengesduringreal-timedatatransitionanddistribution,proposescontinuousmassivereal-timedatasearchingmodule,andcomesupwiththeaccessmodelthroughoptimizeddataaccessmethod,inordertodealwithburstdataandnon-uniformreal-timedata’stransitionaccessproblem.③Proposesanewreal-time