国成功大学资讯工程学系硕士文应用主成份分析及影像叠加之台湾手语

國立成功大學資訊工程學系碩士論文應用主成份分析及影像疊加之臺灣手語合成系統TaiwaneseSignVideoSynthesisBasedonEigenHandandImageOverlapping研究生：陳偉升指導教授：吳宗憲中華民國九十三年六月IIIIII中文摘要應用主成份分析及影像疊加之臺灣手語合成系統陳偉升*吳宗憲**國立成功大學資訊工程學系碩士班聾人與聽人存在著語言溝通的差異，倘若能發展多媒體化之電腦輔助教學軟體，以手語型態及真人影像呈現，對於聽人與聾人而言，將會是最親切、自然的學習模式。因此，本研究之目的為發展自動化手語句影帶串接生成系統，期以最自然、順暢的方式，將手語影帶串接合成為動作連續之手語句，實現以真人影像的自然比劃動作，來達成對聽人與聾人的手語教學目標。本研究之架構，主要包含：1).手語影帶前處理：針對已拍攝之手語影帶進行顏色亮度、色度與遠近大小的正規化處理，並標記手形位置資訊、去雜訊取出乾淨之手形影像，進而建置手形與軌跡轉移資訊之手語真人影像資料庫；2.)最佳影帶路徑選取：提出具同時估算串接生成路徑之移動方向差異及手部位置的串接生成演算法，以呈現連續且平順之手語動作；3.)手形影像分析：針對手形影像進行分析，以提供手形轉移資訊；4.)影帶合成處理：針對已拍攝之影帶資料庫裡，挑選出最適合的串接影像區塊（身體、手形、臉部），進而，利用影像疊加技術來串接生成連續動作；5.)手語影帶後處理：針對串接合成之影帶區段，進行平滑化處理，以增加整個合成手語動作之連續性6.)系統整合與個案實測評估。實驗中，在串接軌跡的比較部分，對原始拍攝手語句挑選出實驗對照影帶，利用本研究提出之串接機制來估算出串接合成軌跡，進行原始軌跡與估算軌跡比對，經比對可發現生成區段的軌跡走勢相當符合；在串接效果的比較部分，選取十名正常人與五名聾生進行個案效果實測，分IV別來評量影像前處理動作與串接生成之效果，以本文所提之串接方法之總體表現為最佳。本文提出一套手語影像生成之手語教學輔助系統，透過相關之實驗探討，顯現本研發系統之實用性與前瞻性。*作者**指導教授VAbstractTaiwaneseSignVideoSynthesisBasedonEigenHandandImageOverlappingWei-ShengChen*Chung-HsienWu**DepartmentofComputerScienceandInformationEngineering,NationalChengKungUniversity,Tainan,Taiwan,R.O.C.Individualswithhearing/speechimpairmentgenerallyhaveproblemsincommunicationskilllearning.Thehearing-impairedpeoplecanlearnSignlanguagewithseveralkindsofassistance,suchasbooks,photographs,andvideotapes.Butnoneofthemcanprovideaflexibleandrealisticaccessofsignlanguage.Accordingly,computerizedassistivelearningsystemisproposedforsignlanguagelearning.Inthisthesis,avideosynthesissystemforTaiwaneseSignLanguage(TSL)isproposed.Withthesystem,thehearing-impairedpeoplecanlearnsignlanguagebyamorefamiliarandnaturalwaythanthetraditionalapproaches.Ourstudyfocuseson1)Constructingastandardsignlanguagevideodatabasebycalibratingtheluminance,distances,sizesandshadowsoforiginalsignvideos,2)Proposingavideoconcatenationmechanismtoselectappropriatesignvideosfromsignvideodatabase.Themechanismconsistsofseveralcomponents,suchastrajectoryestimation,cutpointselection,andtrajectoryscoringbysimultaneouslyconsideringthedistanceanddirectionsofconcatenationtrajectories,3)analyzinghandshapeimagestoprovidetheinformationforhandimageconcatenation,4)Proposingavideoclipconcatenationmechanismusinghandimageanalysisandimagecomponentoverlapping,5)Smoothingandrefiningtheconcatenatedvideo,and6)Integratingtheaboveapproachesintoanimage-basedsignlanguagelearningsystem.Inordertoevaluatetheproposedapproaches,weselecttheoriginalandsynthesizedsignvideosforevaluation.Inthetrajectorysimilaritytest,thesynthesistrajectoryisverysimilartotheoriginaltrajectory.InMOStest,tenhearing-normalandfivehearing-impairedpeoplewereaskedtoevaluateoursystem.Theevaluationresultsdemonstratethestabilityandrealityofoursystem.*TheAuthor**TheAdvisorVI誌謝本論文研究得以完成，首先由衷的感謝指導教授吳宗憲老師在這兩年來悉心的教導與孜孜不倦的教誨，在實驗室良好的研究環境中，習得許多寶貴的專業知識及追求學問的方法，獲益良多，在此對老師至上最深的謝意。在碩士生涯的學習與研究期間，特別要感謝莊則敬學長，在學習的過程中給予細心的教導與寶貴的意見，其為人樂觀處事與積極作研究的態度，都深深的影響到學生；再者感謝邱毓賢學長，在研究過程給予寶貴的意見；感謝葉瑞峰學長，在平日給予許多人生寶貴的意見，且帶給實驗室歡樂的研究氣氛；感謝我的同學建霖、俊甫、茂柱、家弘，兩年來一起同甘苦與相互勉勵，讓我的研究生活多采多姿；感謝學弟們，輔助標記本論文所使用之手語影帶資料。最後，感謝我的家人與女友，這兩年來對我的支持與鼓勵，讓我能在學業上能穩定的成長；還有多位關心我的朋友，謝謝你們。VII目錄中文摘要英文摘要誌謝目錄表目錄圖目錄第一章序論..........................................................................................................................1第一節研究背景與動機..................................................................................................1第二節文獻回顧與探討..................................................................................................4第三節研究目的..............................................................................................................8第四節研究方法簡介......................................................................................................9第五節章節概要............................................................................................................10第二章系統架構................................................................................................................11第三章研究方法................................................................................................................13第一節手語構成要素之簡介........................................................................................13第二節手語手形碼標記................................................................................................143.2.1手語動作空間定義............................................................................................153.2.2手語動作/方向標記..........................................................................................15第三節影像資料庫前處理............................................................................................163.3.1影帶顏色校正....................................................................................................173.3.2影帶陰影消除....................................................................................................193.3.3影帶遠近/位置校正..........................................................................................223.3.4手形影像雜訊過濾............................................................................................233.3.5手形影像資料庫建立........................