基于改进卷积神经网络的单幅图像超分辨率重建方法

龙源期刊网基于改进卷积神经网络的单幅图像超分辨率重建方法作者：刘月峰杨涵晰蔡爽张晨荣来源：《计算机应用》2019年第05期龙源期刊网龙源期刊网龙源期刊网摘要：针对健身者在健身过程中因缺乏监督指导而导致姿势不正确甚至危及健康的问题，提出了一种深蹲姿势实时检测的新方法。通过Kinect摄像头提取人体关节三维信息，对健身中最常见的深蹲行为进行抽象与建模，解决了计算机视觉技术对于细微动作变化难以检测的问题。首先，通过Kinect摄像头捕获深度图像，实时获取人体关节点的三维坐标;然后，将深蹲姿势抽象为躯干角度、髋部角度、膝部角度和踝部角度，并进行数字化建模，逐帧记录下角度变化;最后，在深蹲完成后，采用阈值比较的方法，计算一定时间段内非标准帧比率。如计龙源期刊网算比率大于所给定阈值，则判定此次深蹲为不标准;如低于阈值则为标准深蹲姿势。通过对六种不同类型的深蹲姿势进行实验，结果表明，该方法可检测出不同类型的非标准深蹲姿势，并且在六种不同类型的深蹲姿势中平均识别率在90%以上，能够对健身者起到提醒指导的作用。关键词：深蹲检测;姿势检测;Kinect;深度图像;骨架信息中图分类号：TP391.4文献标志码：AAbstract：Concerningtheproblemthatthepostureisnotcorrectandevenendangersthehealthofbodybuildercausedbythelackofsupervisionandguidanceintheprocessofbodybuilding，anewmethodofrealtimedetectionofdeepsquatposturewasproposed.ThemostcommondeepsquatbehaviorinbodybuildingwasabstractedandmodeledbythreedimensionalinformationofhumanjointsextractedthroughKinectcamera，solvingtheproblemthatcomputervisiontechnologyisdifficulttodetectsmallmovements.Firstly，Kinectcamerawasusedtocapturethedepthimagestoobtainthreedimensionalcoordinatesofhumanbodyjointsinrealtime.Then，thedeepsquatposturewasabstractedastorsoangle，hipangle，kneeangleandankleangle，andthedigitalmodelingwascarriedouttorecordtheanglechangesframebyframe.Finally，aftercompletingthedeepsquat，athresholdcomparisonmethodwasusedtocalculatethenonstandardframeratioinacertainperiodoftime.Ifthecalculatedratiowasgreaterthanthegiventhreshold，thedeepsquatwasjudgedasnonstandard，otherwisejudgedasstandard.Theexperimentresultsofsixdifferenttypesofdeepsquatshowthattheproposedmethodcandetectdifferenttypesofnonstandarddeepsquat，andtheaveragerecognitionrateismorethan90%ofthesixdifferenttypesofdeepsquat，whichcanplayaroleinremindingandguidingbodybuilders.英文關键词Keywords：deepsquatdetection;posturedetection;Kinect;depthimage;skeletoninformation0引言深蹲被称为力量训练之王，是增加腿部和臀部力量的基本练习动作。保持标准的深蹲姿势可以训练到臀部、大腿，并有利于下半身的骨骼、韧带和肌腱的锻炼。但是，长期使用不标准的深蹲姿势不仅浪费健身者的时间，而且还会增加韧带、半月板和膝盖受伤的风险。标准的深蹲姿势对于很多运动员都是较难掌握的[1]。人们通常通过自己的主观意识来判断深蹲姿势是否标准，此方法带有很强的个人色彩，难以客观准确地对深蹲姿势进行判断;同时，使用昂贵的费用聘请私人教练也使得健身成本增加，且大部分健身者都没有经济条件聘请私人教练，使得很多人对健身望而却步，因此对深蹲姿势进行自动检测具有重要的实际意义，能够使得这项最基本的练习动作被更多人掌握，同时又可减少锻炼者因长期使用错误姿势而导致的严重后果。龙源期刊网深蹲属于一种行为动作，而关于行为动作领域的研究近些年来越来越多。有关领域目前的研究方法通常是基于可穿戴传感器和计算机视觉技术[2]。这些研究方法大多用来完成手势识别[3-6]、坐姿检测[7]、摔倒检测[8]、行为分类[9-12]等任务，且都能够取得较好的效果。上述两类方法也有着不容忽视的缺点：首先，可穿戴传感器会给使用者造成不适;此外，由于受到挤压碰撞等外部因素，可穿戴设备会逐渐损坏，导致无法收集信息。而基于计算机视觉的方法大多需要经过训练，训练过程是极度耗时的，并且此类方法严重依赖于训练数据集，而且深蹲是一种顺时动作，且动作变化快，一般的计算机视觉技术对于这种细微动作的变化较难检测，因此很少有研究对运动姿势（如深蹲）是否标准，行为是否准确提出疑问。Kinect深度传感器能够自动捕获人体的深度图像，并实时跟踪人体骨架，检测到细微的动作变化：一方面，Kinect获取的深度图像不同于彩色图像，可以提供更多的空间信息，同时又能保护个人隐私，因此，通过分析深度图像来识别和检测姿势的方法一直以来都备受关注;另一方面，人体的骨骼特征也为行为识别、姿势检测等任务提供了重要的行为特征。Kinect因上述功能和其具有的精确性与实用性等特点，已经使其成为一种多功能组件，进而可以集成到日常生活的各种应用中[13-17]。本文利用Kinect深度传感器提出了一种基于骨架信息来检测非标准深蹲姿势的方法。首先，针对深蹲姿势，提出了使用躯干角度、髋部角度、膝部角度和踝部角度作为深蹲期间的4个代表性特征;然后，把深蹲过程分为4个阶段，并使用关键帧检测技术，对每一阶段的角度特征逐帧的计算和记录;最后，采用阈值比较的方法，对深蹲姿势进行检测判断。该方法无需佩戴任何的可穿戴传感器，不会给锻炼者带来不便，且不需要使用训练数据集，能够做到实时准确的检测。1深蹲姿势检测方法1.1特征定义在对所提方法进行建模之前，首先需要建立可用于区分标准深蹲姿势和非标准深蹲姿势的界限。本文中Winwood等[18]的研究结果被用来建模深蹲姿势。表1的数据显示了当健康个体深蹲时关节点应保持的角度范围（其中SD（StandardDeviation）为标准差）。3结语本文提出了一种基于计算机视觉技术的非标准深蹲姿势的判断方法。首先，使用Kinect深度摄像头捕获深度图像并提取人体骨架关节点的三维坐标信息;然后，利用余弦定理计算深蹲姿势抽象化后的躯干角度、髋部角度、膝部角度和踝部角度四个代表性特征，并记录其变化值;最后，深蹲运动结束后计算非标准帧的比率，并与实验得出的阈值进行对比以判断姿势是否标准。实验结果表明，该方法可快速有效地检测出不同类型的非标准深蹲姿势，并具有计算量低、鲁棒性高和时效性好等特点。龙源期刊网参考文献（References）[1]CHIULZ.Sittingbackinthesquat[J].StrengthandConditioningJournal，2009，31（6）：25-27.[2]YAOLY，MINGWD，CuiH.AnewKinectapproachtojudgeunhealthysittingposturebasedonneckangleandtorsoangle[C]//Proceedingsofthe2017InternationalConferenceonImageandGraphics，LNCS10666.Berlin：SpringerVerlag，2017：340-350.[3]FANGB，SUNFC，LIUHP，etal.3DhumangesturecapturingandrecognitionbytheIMMUbaseddataglove[J].Neurocomputing，2017，277：198-207.[4]FERRONEA，JIANGX，MAIOLOL，etal.Afabricbasedwearablebandforhandgesturerecognitionbasedonfilamentstrainsensors：Apreliminaryinvestigation[C]//Proceedingsofthe2016IEEEHealthcareInnovationPointofCareTechnologiesConference.Piscataway，NJ：IEEE，2016：113-116.[5]WUD，SHAOL.Deepdynamicneuralnetworksforgesturesegmentationandrecognition[C]//Proceedingsofthe2014EuropeanConferenceonComputerVision.Berlin：Springer，2014：552-571.[6]LIY，WANGXG，LIUWY，etal.DeepattentionnetworkforjointhandgesturelocalizationandrecognitionusingstaticRGBDimages[J].InformationSciences，2018，441：66-78.[7]曾星，孫备，罗武胜，等.基于深度传感器的坐姿检测系统[J].计算机科学，2018，45（7）：237-242.（ZENGX，SUNB，LUOWS，etal.Sittingposturedetectionsystembasedondepthsensor[J].ComputerScience，2018，45（7）：237-242.）[8]YAOLY，MINGWD，LUKQ.Anewapproachtofalldetectionbasedonthehumantorsomotionmodel[J].AppliedSciences，2017，7（10）：993.[9]BACCOUCHEM，MAMALETF，WOLFC，etal.Sequentialdeeplearningforhumanactionrecognition[C]//Proceedingsofthe2011InternationalWorkshoponHumanBehaviorUnterstanding，LNCS7065.Berlin：SpringerVerlag，2011：29-39.[10]NGJY，HAUSKNECHTM，VIJAYANARASIMHANS，etal.Beyondsho