实时和强大的方法手势识别

基于交叉相关系数的实时而鲁棒的手势识别系统简介：手势识别在虚拟现实，手语识别和电脑游戏上有广泛的应用。手势的直接接口为我们提供了一条与虚拟环境进行通信的新途径。本文呈现一个新颖的和实时的方式对手势识别系统。在建议的方法中，首先，手势是由图像分割从主图像提取与形态运算，然后被发送到特征提取阶段。在特征提取阶段的交叉相关系数进行手势识别。在结果部分，该提出的方法应用在美国手语（ASL）数据库和准确率得到98.34％。关键词：手势识别，图像处理，虚拟现实，互相关。1.介绍手势识别广泛应用在手语识别，电脑游戏，虚拟现实。手势是非语言的一种形式通信，其中可见身体动作可用于用于通信。它可分为静态和动态。识别和预测的过程手势被称为手势识别，标象识别是其应用之一。标象语言可能涉及方向和手，胳膊或身体，手的形状的移动，和面部表情来表达思想和单词，可用于聋哑人的通信。它也可以提供的良好的人机接口，所以在本文中，我们是提出一个手势识别系统，该系统可以识别ASL且具有良好准确性。图1显示了ASL符号。在一些几十年过去了手势识别变得越来越重要。有许多手势识别技术开发跟踪和识别各种手势。每一个他们都有自己的优点和缺点。以前的是有线技术，在用户需要用连接自己与计算机系统的接口。在有线技术的用户不能自由移动在房间，因为它们用电线同电脑连接，受电线长度限制。仪表手套也被称为电子手套或数据手套是有线技术的例子。这些由一些传感器的仪器手套，提供与手的位置信息，手指位置方向等。通过使用传感器。这些数据手套提供良好的结果，但他们都非常昂贵的多种常见应用的利用。美国肢体语言ASL数据手套，然后由光学标记取代。这些光学标记投射红外光，相应的部分会显示在屏幕上。这些系统有良好的效果但需要非常复杂的配置。后来一些先进的技术已经被引入像图像根据技术要求图像处理像纹理特征，颜色等光学方法标记物是非常昂贵的，并有非常复杂的配置。基于图像处理的方法，在不同的光照条件下和颜色纹理修改下变弱，这导致观察结果的变化。用于利用手的图像处理方法手势识别系统，我们建议当前方法。这些方法是基于外形特点和一些高度影响约束像手和噪音。我们的手的方法手势识别是由三个步骤，一，图像分割;II。形态滤波;III。基于交互特征提取和匹配。在第二节数据库描述，在第3提出的方法被提出并在第4和5实际的结果和结论都分别。2.数据库说明我们对手势识别方法是基于静态模式。我们的第一个问题是收集优质数据因为我们的分类将根据它分类字符。我们创造了我们自己的数据库每个字符ASL，它可以包括504图像即21图像的每个（24）的手势。在创建一个数据库中的图像捕获应该有统一的深色背景可以是黑色与白色橡胶手套的手，在对比度。我们曾经为了做这减少噪声和不需要的数据，这样我们就可以轻松做到分割过程。用户有穿黑色在他的手臂，直到手腕布从肩部使黑色的布可以很容易地与背景相匹配。覆盖臂和背景应该是相似颜色。字母J和Z被丢弃，因为我们可以这样描述他们只动态，我们的方法是静态的手势而已。图2示出了数据库的样本。3.提出的方法我们对手势识别的方法是由三步:一，图像分割;二，形态过滤;三，互相关基于特征提取和匹配。首先我们要做的预处理数据识别系统。预处理应做最初的图像之前，我们提取的特征从数据手势。这是必须要做的，以去除噪声，有害错误和使数据有效的话，它可用于进一步的图像处理。我们使用两个步骤数据1.图像分割预处2.形态学滤波。3.1.图像分割它是我们在其中转换的RGB图像或灰度的处理灰度图像转换成二进制（黑白）图像。这是要做，因为我们可以得到只有两个维度，即黑和白只有在我们的形象语言中。黑色的背景白色代表着我们的手，Qtsu算法来转换图像转换成二进制[10]。一个好的分割过程是其中的背景不表示任何部分的手，和手不应该有任何部分背景。为了获得最好的结果，我们必须选择最佳的阈值和分割可根据该值进行。选择分割技术主要依赖于类型图像上，我们需要做的处理和Qtsu算法进行了检测，并与工作效率我们的手势数据。它是分割的无监督和非参数方法，它可以选择自动阈值和做分割[9]。假设有两类像素与Ω0作为背景像素Ω1手工像素。Ω0示出了具有像素强度电平[1,2.......K]和Ω1示出了具有像素强度电平[K+1......L]，从这些类我们得到阈值K*这是的K值之间K+1，现在手像素分配值“1”和背景像素被分配值“0”，我们得到期望的二进制图像。3.2.形态学滤波我们应用Qtsu算法得到的分割图像是不完美的，需要进一步处理，去除不想要的数据和错误。仍然有一些背景的部分包含1和一些手部的部分而表示0。在为了消除噪音，我们要申请形态这些分段图像过滤技术。这是需要去除这些错误，因为他们可以创建表彰手势的问题，降低了系统效率[12]。因此，形态学过滤在划分图像是必要的，以得到一个平滑的，闭合的手势。扩张，侵蚀，开放和闭合是形态学过滤的基本工作。样本预处理的结果示于图3和实验是在MATLAB进行。后预处理我们得到平稳和更好的手势这可以得到更好的效率图像预处理（一）后手势3结果：主图像（二）：图像图像分割（c）之后：形态学操作之后3.3.相互关联系数现在，我们要提取特征的手势识别。对于特征提取和匹配，我们采用相关系数。在信号处理中，相关是两个波形相似度的度量一时间延迟的函数的施加到其中之一。在这部分我们使用此功能手势匹配。该交叉相关系数被定义为等式:2(,)2(,)(,)(,)(,)IxsytTstTIxsytststxyst其中'(,)(,)(,)IxsytIxsytIxy'(,)(,)TstTstT{1,2,3,}{1,2,3,}{1,2,3,}{1,2,3,}stxy……,p……,q……,m-q+1……,n-q+11'(,)(,)stIxyIxsytpq1'(,)stIIstpq相互关联系数Ƴ值从-1范围到+1对应完全不匹配，完全分别匹配。模板匹配模板，Ť滑过I和ߛ计算每个坐标（x，Y）。经过计算，这点表现出最大Ƴ被称为匹配点。下面的步骤是用于手势匹配：步骤1：将大小为m*n的甲手势模板取。步骤2：手的归一化的2-D的自相关手势模板发现。步骤3：手的归一化的2-D交叉相关与各模板手势模板被计算。步骤4：自相关的平均平方误差（MSE）和不同样品的互相关被发现了。最小MSE是发现并存储。步骤5：相应最小MSE表示最终姿态。4.实际结果我们提示的方法已经完成英特尔酷睿i3-2330M处理器，2.20GHz的用Matlab下2GBRAM环境。图4手势识别系统在这项研究中，我们已经应用了我们的ASL数据库上面提到的技术手语其中包括504图像即21每个字符的图像，我们能够从26个手语字符中识别出24个，因为剩下的两个手势是动态的而这个方法只应用于静态手势。表1显示每个手势的准确率。在我们的实验中（98.80％的准确率），我们观测到在识别阶段有一些令人迷惑的手势迹象。主要是混淆A，S和E，M。这件事，因为A，S和E，M在对方一些样品中相像。图5显示在各组标志识别阶段的成功和混淆率。5.结论在本文中，我们提出了一个新颖的和实时的手势识别系统。在方法中，手势从主提取图像通过图像分割和形态学操作，然后到特征提取阶段。通过特征提取阶段的交叉相关系数进行识别。高识别率显示我们在手势提出的方法的可行性。在未来，我们计划识别在视频序列的动态手势来进行虚拟现实。