基于随机抽样一致性算法的运动平面上点的视觉测量及其应用

基于随机抽样一致性算法的运动平面上点的视觉测量及其应用RANSACbasedvisualmeasurementofpointongroundplaneandapplicationinsport王岚1，沈乐君1，柯遵渝1WangLan1,ShenLe-jun1,KeZun-yu1摘要：使用计算机视觉技术，对球场中运动员和关键点的位置进行测量，是基于视频的技战术分析系统的核心技术，也是运动解析的重要原理，更是体育科学研究的重要工具。本文介绍了其理论基础与实现方法，探讨了测量误差和RANSAC容错算法，介绍了使用三维模型进行标定和结果演示。大量实验证明，本文提出的方法和传统方法相比，提高了纠错能力和适应性，在体育科研中有广泛的应用价值。关键词：视觉测量;RANSAC;单应性矩阵;图像坐标;球场坐标;球落点;网球;运动员跟踪;Abstract:computervisionbasedvisualmeasurementofpointsongroundplaneviavideoordigitalimageareintroducedbypaper.Whatwepresentedisfundamentalforsportsoftwareandcrucialforthetacticanalysis.Thepaperintroducesthebasictheories;discusstheerrorofmeasurementanduseRANSACalgorithmframeworktoimprovealgorithmaccuracy.The3Dmodelcanvisibleandveryusefulwhenwedocalibrationandpresentationofanalysis.Theresultsofexperimentsshowedthatthemethodinthepaperismorerobust,flexiblethantraditionalmethodandcanbewidelyusedinmanyfieldsofsportscience.Keywords:visualmeasurement;RANSAC;homographymatrix;imagecoordinates;stadiumcoordinates;serveplacement;tennis;athletetracking;作者简介：1、王岚（1961-），女，成都人，工程师，本科，研究方向为运动训练学，Tel[phone],E-mail:[e-mail];2、沈乐君（1976-），男，重庆人，讲师，博士研究生，研究方向为计算机视觉在运动训练中的应用，Tel[phone]、柯遵渝（1953-），男，四川成都人，教授，硕士，研究方向为体育测量与评价;Tel[phone],[e-mail];作者单位：1、成都体育学院，成都，610041作者单位（英文）1、ChengduSportUniversity,SichuanChengdu,61004121引言分析视频图像，获得运动员的技战术数据，不但具有客观、无干扰的特点，而且能够在比赛条件下进行的，是目前最为有效的科研手段之一[1][2]。通过图像分析获得目标的定量信息，如运动员在球场上的位置[3]，一直都是计算机视觉研究的主要任务，也是体育科学研究的迫切要求。数字化设备采集的图像，都以像素为基本单位，只有将之变换为公制单位，基于图像的定量分析才具有客观性和实用性。视觉测量，就是应用图像处理方法，计算图像中目标的大小、位置、速度等客观信息。本文涉及的几个概念。如果将运动场地抽象成一个二维平面，且场地上运动员的尺寸忽略不计，也抽象成平面上一个点，本文称这个平面为“运动平面”。具体而言，由摄像机拍摄比赛成为数字图像，叫做“图像平面”（单位：pixel）。待测量的点在图像平面上的位置称为“图像坐标”，它在运动平面上的对应位置叫做“球场坐标”（单位：m）。如图1所示，A，B和C三个红色圆点，本是球场上同一个位置D，但是，由于摄像机拍摄角度不同，远近不同，在三幅图像中有不同的图像坐标值。本文首先介绍了运动平面和图像平面的点的投影几何关系，然后探讨了数字模型和图像像素进行拟合的原理，然后介绍了图像坐标转换到球场坐标的具体公式。图1球场坐标和图像坐标如何评价和避免测量误差[4]，直接决定本研究是否有应用价值。本文探讨了由摄像机导致的光学误差，人为选点误差和测量方法本身的误差。实验证实，通过增加标定点数量，可以提高可靠性和测量精度。同时，应用RANSAC算法框架，从多个点筛选出质量“好”的点，可避免数据异常点导致的测量偏差，提高精度。随机抽样一致性算法RANSAC（RandomSampleConsensus）是应用广泛的模型拟合算法，对于错误率超过50％的数据仍然能够处理[5]。这些由于人为误差、系统误差、光电干扰造成的数据外点，若直接进行模型拟合将导致灾难性结果。使用RANSAC，可以有效的筛除外点，提高计算的鲁棒性。它在很多领域得到应用，如双目视觉中基础矩阵估计[6]、特征点匹配[7]、机器人运动估计、飞行器飞行时移动目标检测等。典型应用之一：球的落点分析。在隔网对抗类项群中，双方运动员的相互牵制是通过球的速度、旋转、力量、落点和弧线等要素来实现的。人们对球的速度、3旋转等较为重视，但球的“落点”在比赛中，常常能够起到四两拨千斤的作用[8]，体现出运动员的技术水平、战术习惯、临场变化能力。本文提出的技术，能够对球在运动平面上的落点进行测量，其结果便于科研人员进行分析统计，后半部分有具体示例。典型应用之二：运动员的跑动研究。在足球等项目中，由于场地比较宽阔，可以将球场上的运动员抽象成“运动平面”上的“点”。有研究使用SMIScout™，获得足球运动员比赛的运动距离、运动速度等参数，从而对运动员比赛活动能力进行定量分析[9]。若进一步结合运动员实时跟踪技术[3]，可以在比赛条件下，自动、实时的获得运动员的位置信息。本文给出了实验结果。其他的应用。由于水平和时间有限，本文只给出了初步的实验结果。显然，只要满足“运动平面”的假设和点在平面上的假设，本研究的应用领域十分广泛。2视觉测量原理建立图像平面上的点和运动平面上的点之间的变换关系。根据投影几何理论[10]，将图像平面π上的点用齐次坐标表示p=(x,y,1)T，将运动平面∏上的点用齐次坐标表示为q=(x’,y’,1)T。这两点是同一条光线，分别在两个平面上的投影点，如下图。图2，投影几何空间中的点与两个平面投影变换是最一般的图像变换，它可以描述针孔摄像机成像平面上点p和世界坐标中点q之间的几何关系[10]。p和q之间的变换用3×3的矩阵H表示，即q=Hp。H是投影变换矩阵，又叫单应性矩阵（Homography），它可以描述一系列放大缩小，旋转、平移操作和透视效果，是计算机图形学中生成三维画面的关键。变换用公式（1）表示。⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛11''333231232221131211yxhhhhhhhhhyx(1)视觉测量分为2个阶段：标定和变换。建立图像平面π和运动平面∏之间点与点的对应关系：pi←→qi（i=1,2,3…n），求得变换矩阵H中各个未知参数，叫做标定。就是由标定得到的H和公式（1），计算图像平面上待测量的像素点p对应的球场坐标q，即变换阶段。以下是标定过程求H的公式推导。若已知对应点p和q，由公式（1）可得：333231232221333231131211','hyhxhhyhxhyhyhxhhyhxhx++++=++++=(2)4若已知n对点，整理（2）得方程组：⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡'n''nn'nn'nnn''''n'nn'nnn''''xxxxxxhhhhhhhhyyxyyxyyxyyxyyxyyxyxxxyxyxxxyxyxxxyx21213231232221131211222222111111222222111111100010001000000100010001(3)已知h33＝1，故H的自由度为8=(9-1)。只要n大于等于4，就可以解线性方程（3）求出变换矩阵H。显然，标定在视觉测量中起着关键作用，下一节主要讨论标定过程出现的误差。3测量误差首先确立评价测量误差的指标。如图3，以图像中的A为基准点（x=176,y=181），使用H将之变换到运动平面，离理想点（x=5.485,y=5.485）的距离D为评价指标。距离D越小，模型拟合越好，反之误差越大。图3测量误差光学器件的量化误差。本文实验所用的所有图像，均采集于CCTV-5的AV信号，其分辨率较低，由此导致误差也较大。如图3中，接近摄像机的球场边线BD的误差约为0.034m/pixel，远端边线EF误差为0.062m/pixel。这种由于数字化器件量化导致的测量误差无法克服，采用更高解析度的DV设备有利于提高精度。选点误差。有两个途径对图像平面进行标定。其一，使用者用鼠标选择图像中的坐标点，如图3中的黄色点。其二，计算机自动选取特征点，然后进行特征点匹配。无论是手工标定还是自动标定，都容易出现选点误差。尤其是离摄像机较远的标定点，出现偏离后，对变换矩阵的计算影响更大，故标定时宜多选接近摄像机的点。5系统误差。将运动员抽象成运动平面上的点，球员的身高被忽略不计，会导致测量出现误差。可以通过对运动员的位置进行矫正来克服。算法误差。采用4点法计算H过程中，若出现3点共线，将导致H计算结果退化（病态），结果不可靠。如图3，近端边线有3个黄色标定点B、C、D共线，公式（3）求出的H矩阵退化。若使用病态的H进行测量，将导致误差指标畸高D＝5.74532m。所以，标定过程中，要尽量避免3点共线的情况出现，或者增加标定点数。4提高精度和避免误差通过提高标定点数量，提高测量精度。虽然标定过程只需要4个点即可，可统计学告诉我们，样本数越多[4]，变换矩阵的计算结果就应该越精确。当点数n超过4时，使用最小二乘法求解公式(3)，可得均方意义下的最优解。以下简称直接法。如图4，左图采用4点标定，右图采用5点标定。5点标定计算H的误差明显小于4点，只有0.004m。分析原因，一是新增点在近端，引入的光学误差本身就小，二是多点标定后，方程个数大于未知量个数，解的平方误差最小。4点标定，误差D=0.0302395m5点标定，误差D=0.0038644m图4多个标定点的误差刚才讨论标定点超过4个的理想情况，但是选点误差的最差情况也可能发生，如用户错选模型点。一个有严重误差的点，会使计算结果远远偏离理想值。以直线拟合为例，如图5所示，用7个点来拟合一条直线，6个点有效，第7点有严重误差（称为外点outliers），若使用最小二乘法直接求解，这1个点足以导致结果严重出错（虚线表示），远远偏离理想值（实线表示）。所以，为了避免最差情况，不能直接法计算变换矩阵H。6图5RANSAC的鲁棒性[5]为筛除模型拟合中的外点，本文引入RANSAC算法[6][11]，其算法框架如下：第1步：由置信概率P计算最小抽样数k第2步：从数据中均匀随机的采样n个点，对这n个点进行拟合第3步：对n个点以外的点，比较到直线的距离小于t，表示这个点很靠近，是好点。第4步：若由d个或更多的点靠近直线，那么是一个好的拟合，计算拟合误差E。第5步：回到第2步，迭代k次。第6步：使用拟合误差E作为准则，挑选出最好的拟合作为解。RANSAC法和直接法对比实验。通过同一场景的不同标定点，分析RANSAC算法和直接法的误差和出错率。由于算法本身带有随机性，为了真实反映算法的特性，都是1000次计算的误差平均值Davg。1000次实验中，超过误差阈值的结果，被认为计算H出错，求得出错率E。实验参数：