香蕉拼字游戏瓷砖的提取和识别信为快速字建议 毕设翻译

香蕉拼字游戏瓷砖的提取和识别信为快速字建议史蒂芬梁，施特菲帕金斯和科琳罗兹生物工程系斯坦福大学斯坦福大学，CA摘要：香蕉拼字游戏是一个有竞争力的自由形式纵横建设游戏，取决于一个球员的能力从可用信函砖池识别单词。本文描述了一个Android应用程序，可以帮助玩家在构词。该应用程序利用了信瓷砖作为图像输入和输出的可能的词的列表。这被执行使用一系列图像处理步骤用于瓦片提取和信认。关键词：香蕉拼字游戏;瓷砖提取;字母识别;局部自适应阈值;Hough变换;Hu矩;安卓引言香蕉拼字游戏是一种流行的拼字建设游戏，玩家使用字母砖来建立自己的自由形式填字游戏。玩家继续绘制新的瓷砖，将其纳入自己的填字游戏，直到所有的瓷砖公用资源池都没有了。第一个球员完成与所有他或她的瓷砖纵横赢的游戏;因此，球员谁能够迅速识别可能的话纳入自己的填字游戏有优势。此本文介绍了一个Android应用程序，利用图像处理，以提供可能的字的列表，可以建从玩家的藏砖。该应用程序使用手机摄像头拍摄的玩家的瓷砖，提取图片基于区域属性的瓷砖，转动它们，然后这些信模板在比较了它们的胡时刻数据库中找到一个最佳匹配。从字母串提取切片随后被发送到在线字谜解算器和该可能的话产生的列表被返回到在玩家手机屏幕。玩家有包括附加的选项字母在查询字符串，因为新单词需要并入一个已存在的填字。图。1.示例查询图像用作输入到Android应用程序。II。图像处理算法A.图像采集和预处理恩面对彩色图像用手机摄像头和发送到MATLAB。一个例子的图像图。1.图像转换为灰度图像二值化再利用局部自适应阈值窗的方法[1]。每图像被划分成大约100×100的窗口，并在像素强度中的变化被计算每个窗口。如果在一个窗口内的方差比给定的低阈值时，在该窗口中的所有像素被设定为背景（0，黑色）。否则，进行大津的方法[1]。该产生的图像包含了许多连接的地区形成的信瓦片轮廓，如图所示。2A。一些瓷砖表面的部分被设置为由于低背景方差像素强度。B.瓷砖提取图。图2示出瓦片提取的过程。凸包连接区域的区域被组合以产生一个瓦掩模（图2B）。凸包是最小的凸多边形包含在一个区域的每一个像素。片区域是使用面积，偏心率和欧拉的选择标准隔离号[1]。隔离片区域的边框是用于从原始灰度图像中提取的瓦片（图2C）。霍夫变换是在边缘图进行到判断瓷砖的方向[2,3]。瓷砖然后旋转和裁剪所以图像的边缘排队与边缘的瓦片（图2D）。图。2.中间图像的图像处理算法。的）结果局部自适应阈值。B）瓷砖面具从区域构造凸船体区。C）提取瓷砖包围盒。D）的过程，以旋转和作物瓷砖从灰度图像中提取。C.Hu矩计算每个灰阶提取的文件是使用全球二值化大津算法。此外，在字母{A，B，D，O，P，Q孔，R}充满了白色像素（理由作出这一决定在附录B中概述）。前四个Hu矩分别为然后计算对于每个提取的瓦片，如图方程（5）-（8）。该时刻是不变的缩放，旋转，及翻译[4,5]。等式（1）来计算的原始图像的时刻图像I（X，Y）。i和j在x和y方向指定时刻的订单。等式（2）中用于计算质心（，ӯ）。方程式（3）和（4）被用来计算标准化中心矩ηij。被要求在这些值为了计算Hu矩。D.模板数据库26个不同的信瓦片被用来生成一个数据库模板信;该照片拍摄用数码相机与在相同的条件和参数，以确保一致性横跨图像。分别计算前四个Hu矩对于每个模板，并包含在数据库中。E.信认对于任何给定查询图像，字母瓦片提取并分别计算每一瓦片Hu矩。L1的距离为每个提取瓦胡时刻之间计算数据库模板对[6]。最小距离标志着最佳匹配，并对应于最佳匹配的信记录在一个字符串数组。最后一个字符串包括最佳字母匹配每个提取瓦。图。3.截图Android应用程序接口，用一个例子查询图像中，提取出字母，附加输入的字母串，并可能的话生成的列表。为MATLAB实现图像的代码处理算法，以及一个视频演示，被提供补充资料。虽然局部自适应阈值和胡时刻在最后的算法被实现，多种替代方法进行了探讨。这些其它方法是附录C.详细III。Android应用程序接口实现在Android上的图像处理算法使系统的实际的实时使用一个游戏的过程中香蕉拼字游戏。的代码的应用，以及一个视频演示中，在补充资料。A.图像采集Android应用程序允许用户拍照使用手机摄像头他或她的瓷砖。B.服务器通信图像被发送作为查询图像的服务器，该服务器处理使用先前描述的算法的图像。服务器返回两条信息：所述处理图像并与萃取字母[7]所述串的文本文件。一电话接口的截屏图。3.处理后的图像显示在右侧的应用程序布局。该字符串显示的图像上，它允许用户以验证是否信件是正确认可。C.字建议允许用户输入附加的字母的左该应用程序的一侧。在游戏中，也就是说必须是周围的纵横字谜现有的文字构造;这一功能确保用户可以添加字母（S），他（或她）想建立掉。在按下“查找单词”按钮时，应用程序发送查询串与任何其他字母一个字谜解决的网站。该网站的结果被解析成在可滚动的文本框左下方的应用程序视图。与这些结果，该玩家可以很快决定增加向董事会与字他或她的瓷砖。还有人的发展的一些挑战Android应用程序;详情可以在附录D中找到图。4.混淆矩阵显示出与测试信错误分类图像。列“O”对应于一个错误，当没有提取的瓦片由于光照不均。该算法能够正确识别每个字母的大部分时间，虽然小的相似性在Hu矩偶尔会导致E，H的误判，和Y红色框指示信件被错误归类，黄色框指示瓷砖不检测，绿框表示100％的准确认识字母。IV。结果25测试图像拍摄的每个字母的瓷砖。图像处理算法的每个图像上执行的。信识别准确率（正确匹配划分数25）的每个字母来决定。虽然大多数信件被认为具有100％的准确度，几则没有。这些在图1中的混淆矩阵被突出显示。4。该算法能够正确识别字母最的时间。有几个不匹配的字母E，H，和Y因胡时刻之间意想不到的相似之处提取的瓷砖和不正确的数据库信。重要的是要注意的是I，R，U，W和Y各自有一个失败检测由于光照不均。此外，一种非瓦区在每四个不同的图像被检测到，也因照度不均匀。五，讨论前四个Hu矩，如计算公式（5）-（8），从归一中心矩计算。中央矩包含有关信息白色像素沿X轴和的y方向的分布二值图像拼接。这些分布是近似值1-D概率分布函数（PDF文件）中的每个的坐标方向。变化的pdf影响中央矩值，因此胡力矩值。如果L1提取的瓷砖和不正确的模板之间的距离瓦是比提取瓦片之间的距离L1更小和正确的模板瓦，则错误分类可以发生。这就解释了一些结果在图。4。图。5.从测试图像中提取出的Y瓷砖其中Y被误判为L.A）提取的灰度瓷砖字母Y.原始图像是使用局部自适应阈值二值化。所述砖的一些部分分别分配在一个窗口内低方差由于背景。B）小未填充砖背景部分被视为字母Y，由于部分至8像素邻域的连接。C）包括额外的区域改变胡锦涛时刻，抛出过信的分类。提取出的Y瓦片是因此误判为L.例如，在一个测试图像中的字母E是误判为Z.这似乎也合情合理，这可能偶尔因之间的相似形态发生信件：它们都具有在顶部长的水平线条和底部，这可能会导致类似的中央和胡锦涛的时刻。第一胡一刻是两个归中央的总和时刻η20和η02，代表信的方差在x和y方向。因此，本胡时刻受变化1-D信的PDF文件。在这个例子中，胡锦涛首先此刻0.4516的提取瓦，0.4156为Ë模板，0.4409为Z轴模板。第一胡在Z模板的时刻是在更接近于值到的提取的瓷砖。这有助于解释的误判，因为所提取的瓦片和模板Z的距离L1是比所提取的瓦片和模板E的小型另一个更为复杂的例子是一个实例，其中Y被错误分类为L，它是在图详细说明。5.没有清晰的形状相似，导致类似胡时刻，但特定的测试图像的进一步检查是照明。瓷砖在局部自适应阈值提取导致瓷砖的少数地区被分配到因为低窗口方差（图5A）的背景。最这些都是后来填，因为最大的白该区域的部分被选择为字母。不幸的是，在这种情况下，侧部中的一个由连接到所述信8像素的附近。因此，它被包含在提取瓷砖和计算胡时刻，当使用（图5B）。这改变了1-D概率分布信中，因而其中央和胡锦涛的时刻。对于所提取的瓷砖，第一胡一刻是0.5878。第一胡时刻在Y模板是0.4430，而第一胡时刻用于L模板是0.5226。第胡锦涛时刻为L是在更接近值，以所提取的瓦片的第一胡时刻，并解释在这种情况下，误分类（图5C）。VI。未来发展目前Android应用程序强劲后执行平铺图像满足以下条件：对比。然而，理想的是使算法更健壮透视变形，不均匀的照明和低图像对比。局部自适应阈值显著提高下照度不均匀的表现相比其他的方法（如在附录C中所述），但可能潜在通过使用较小的窗口和/或自适应的方差被细化阈值。鲁棒性透视畸变可通过估计单应之间提取实施和模板瓷砖。这种映射可以通过计算比较相应的FAST关键点提取瓷砖和模板[8,9]。SIFT关键点会无法正常工作，因为我们在开发过程中发现，由于瓦片不具有足够的纹理，以产生大量的关键点[8,10]。正如在的补充视频演示Android应用程序，该应用程序目前有麻烦控制摄像机的焦点。其结果是，该查询图像是模糊和字母误判。既实现了自动聚焦方法或依赖于用户的聚焦方法将确保准确字母识别由图像处理算法。此外，的速度应用程序可以通过执行图像改进处理的电话上，而不是在服务器上。虽然目前，申请返回在4秒造成的处理时间是通过电话的能力以接触限定服务器。在手机上实现图象处理需要用Java编写/C++的功能和使用OpenCV的函数（而不是MATLAB函数）来计算胡时刻。该应用程序的速度，也可以改善通过缓存在手机上以前的结果。字谜网站查询步骤可以跳过，如果前一组字母之前一直质疑。致谢笔者想感谢陈恢忠为他建议在设计图像处理算法，大卫陈为他设计和实施了Android的帮助应用程序和贝恩德·吉罗德教授教学EE368当然，冬季13-14。参考[1]B.吉罗德，“图像分割”[讲义]。一月，2014年。[2]B.吉罗德，“边缘检测”[讲义]。日，2014年。[3]聚氯乙烯霍夫“的方法和装置，用于识别复杂的图案，”美国专利3069654，12月1日8日，1962年。[4]M.胡，“视觉的图案由矩的认可，”IRE跨。天道酬勤。理论，第一卷。8，没有。2，第179-187，1962年2月。[5]M。AlHourani。（2011年5月6日）。胡锦涛七时刻不变（Matlab的对于invmoments.m代码）[博客文章。可用：[6]“EE368作业7：3的问题，”未发表。[7]D.陈，“移动图像处理”[讲义]。一月，2014年。[8]B.吉罗德，“基于特征的图像匹配”[讲义]。二月2014年。[9]B.吉罗德，“关键点检测”[讲义]。日，2014年。[10]B.吉罗德，“尺度空间图像处理”[讲义]。二月2014年。附录A：捐款A.史蒂芬梁史蒂芬实施前处理和信该算法的MATLAB表彰阶段。他还实现应用程序的解决字谜组件Android系统。B.施特菲帕金斯斯特芬实施的瓷砖提取阶段算法在MATLAB和创建的模板的数据库，并测试图像。她还有一个特点的准确度算法。C.科琳罗兹科琳开发的Android应用程序的原型。她的设计，可以捕捉与一个图象的一个接口手机摄像头，查询，她成立了本地服务器和显示器结果。附录B：理由填洞大书特书胡锦涛时刻为基础的信认的一个初步尝试（与未填充的字母空穴）不是很准确，如图混淆矩阵图。B1。字母G常常误判为字母Q和字母D被误判为G或问：这发生时之间的L1的距离提取G和Q模板比L1小两个GS-不一致的胡结果之间的距离时刻由于字型跨瓷砖的差异。图。B1。混淆矩阵显示出与测试信错误分类使用填充信孔的图像。列“O”对应的错误当瓦不提取，由于光照不均。该算法具有当装满信件超过错误分类在计算中使用Hu矩（图4）。红色框指示信件被错误分类，黄框指示未检出瓷砖和绿色表示信是用100％的准确认识如在讨论中所概述，此误分类可以是在归一