机器人剧场之技术研发与实现

台灣科技大學機器人劇場之技術研發與實現機器人劇場之技術研發與實現台灣科技大學智慧型機器人研究中心林其禹教授•長程目的-創造世界級娛樂機器人•研究標的–設計製造出四部人型智慧型機器人(雙足、雙輪各兩部)在舞台上進行舞蹈、模仿秀、即時歌唱、戲劇、及執行運動性表演台灣科技大學機器人劇場之技術研發與實現雙足及雙輪人型機器人之技術研發和製作具表情機器頭顱和多功能手臂之設計與製作使用於人型機器人教導之動作轉錄機制開發聲樂家機器人之視覺認譜和歌聲合成技術行動機器人之立體視覺追蹤與物體辨識子題一子題二子題三子題四子題五機器人劇場之技術研發與實現慧智工人機械人硬體機械人動作教導與控制子題一施慶隆(台科大電機系教授)(1)郭重顯(長庚大學機械系副教授)(2)李維楨(台科大機械系助理教授)子題二林其禹教授(台科大機械系教授)子題三范欽雄教授(台科大資工系副教授)子題四鍾國亮教授(台科大資工系教授)古鴻炎教授(台科大資工系副教授)子題五鄧惟中教授(台科大資工系助理教授)人員編組台灣科技大學機器人劇場之技術研發與實現子題一A輪型機器人輪型機器人平衡控制方塊圖motordriver1motordriver2pwm1/dir1pwm2/dir2rategyrotiltsensorencoder1encoder2adc1adc2Int1Int2two-wheeledmobilerobotuart1PC輪型機器人控制系統硬體方塊圖目標:設計製作兩輪機器人並發展能夠自動維持平衡以及控制其前進後退與轉彎之控制器有限元素分析骨架變型結果圖台灣科技大學機器人劇場之技術研發與實現輪型機器人輪型機器人平衡實體圖輪型機器人電腦輔助設計3D圖輪型機器人運動影片台灣科技大學機器人劇場之技術研發與實現子題一B雙足人型機器人之技術研發和製作成果AssemblyPhotoGaitPatternGeneratorGaitTrainingSystemGaitPatternDataDecoderGaitLinearizationGaitSynchronizationProgrammableSystem-on-ChipPIDPositionControllerPWMGeneratorFull-BridgeAmplifiersPositionDecoderTITMS320F2812DSPPWM/EncodersSerialCommunicationEmbeddedPCSerialCommunicationIntegratedGaitControlArchitectureGaitTrainingProgramGaitPatternGenerator{MotorControllerX4GaitSynchronizerAxis#L3Axis#L2Axis#L1{Axis#L6Axis#L5Axis#L4Axis#R3Axis#R2Axis#R1{{Axis#R6Axis#R5Axis#R4台灣科技大學機器人劇場之技術研發與實現動態影片展示•雙足之步行測試影片–考慮步行重心穩定性–前進、右轉、左轉、右平移、左平移•整合子計畫五之懸空測試影片–不考慮重心穩定性–步態檔案由子計畫五提供台灣科技大學機器人劇場之技術研發與實現子題二機器頭顱臉皮皮膚及機構之製造整體外觀結構零件結構與3D圖檔台灣科技大學機器人劇場之技術研發與實現產生表情呆滯驚訝微笑憤怒影片子題二機器頭顱臉皮皮膚及機構之製造台灣科技大學機器人劇場之技術研發與實現子題三A人臉辨識人臉偵測人臉追蹤人臉特徵擷取連續影像訓練樣本使用AdaBoost訓練強分類器辨識結果台灣科技大學機器人劇場之技術研發與實現子題三B手勢辨識手部偵測手部追蹤FaceFeatureExtraction分類器連續影像向左轉向右轉後退停止前進注意擷取手部相對位置手勢範例辨識結果台灣科技大學機器人劇場之技術研發與實現子題三C障礙物偵測及三度空間定位相機校正轉灰階尋找配對區塊定位結果區塊信賴度是否大於門檻值捨棄是否障礙物偵測左右連續影像三度空間定位台灣科技大學機器人劇場之技術研發與實現RestorationOriginalImageModifiedImageModifiedImageBinaryImagePartitionImageBoundaryPartitionObjectsRecognition子題四樂譜辨識Binarization台灣科技大學機器人劇場之技術研發與實現台灣科技大學機器人劇場之技術研發與實現台灣科技大學機器人劇場之技術研發與實現RestorationBinarizationPartitionRecognitionNumberedMusicalNotationRecognition針對轉換後的灰階影像，進行扳正演算法，利用Morphological法定位樂譜影像中最大的封閉連通域，再使用HoughTransform偵測影像中樂譜的四個邊界直線，最後使用雙線性內插法重繪新的扳正樂譜影像。如此就可以得到復原後的扭曲樂譜影像。合併Otsu與LocalThreshold法來將影像二值化，如此可清楚地將簡譜數字符號與背景分離，避免機器人拍攝的影像受到光害與雜訊的影響。利用水平與鉛直投影法切割二值化樂譜影像中的樂譜符號與羅馬拼音影像，再使用切割後的影像區塊之長度與寬度，以及區塊中像素的密度判斷為樂譜符號區或羅馬拼音區，最後使用樂理規則針對擷取出的影像區塊做統計誤差校正，並將樂譜符號區塊與羅馬拼音區塊資訊回傳給辨識過程。針對樂譜符號與羅馬拼音樣本影像建立對應的編碼資料庫，依據編碼特徵值，搭配影像細化的技術，在字型大小固定的情況下，我們提供高達95%的辨識率。台灣科技大學機器人劇場之技術研發與實現子題五動作教導•目的–將人體的動作紀錄成動作格式，而以機器人為人體動作重現的平台。透過這種方式，將具有表演特色的人類動作片段教導給機器人，而藉由人型機器人來表演人類的動作。現有成果–機器人架構規格與機器人運動規格之定義。–從人體動作編輯器與動作擷取手套所獲得之人體動作資料，以自訂規格來紀錄其動作資料。–以軟體建構出可動之機器人模型，由此可動模型呈現人類動作於機器人表演上之效果•機器人架構規格–內容:以XML形式記錄機器人架構於動作上之實體限制。主要所記錄資料為關節自由度,關節角度轉動限制等機器人架構資料。–應用:利用此規格與人體骨架紀錄做關節動作上的對應，而使機器人架構能與人體骨架在動作上能正確對應。•機器人運動規格–內容:以自訂動作格式紀錄從人體動作編輯器與動作擷取手套獲得之動作參數。主要記錄資料為關節名稱,動作開始時間,轉動角度,動作持續時間等運動資料。–應用:此規格可整合多個動作資料來源成為單一動作資料格式，並以此規格作為機器人運動模擬器之動作參數輸入。台灣科技大學機器人劇場之技術研發與實現人體動作重現流程動作模擬環境•建構完成之人型機器人動作模擬模型•動作轉換程式砰笆絪胯も场笆耝砰癌琜诀竟琜篶砏癌琜癸莱矪瞶锣Θ璹笆Α诀竟笲笆家览祘Α(Webots)篶ぇ诀竟家暗笆篈家览瞷诀竟龟瞷摸笆ぇ龟暗瑈祘絋ミ闽竊笆癸莱闽玒俱笆ㄓ方展示影片內容:展示從動作編輯開始到程式轉換出自訂動作格式，而最終以機器人模擬器模擬其動作之過程。