111_092-022AP-TW
發佈日期 :
2009-04-30
| I250476 | |||||||||||||||||||||||||||||
| 手語影像串接生成之方法(全文下載) | |||||||||||||||||||||||||||||
| 2006/03/01 | |||||||||||||||||||||||||||||
| I250476 | |||||||||||||||||||||||||||||
| 2003/08/11 | |||||||||||||||||||||||||||||
| 092121944 | |||||||||||||||||||||||||||||
| G09B-021/00;G06F-019/00 | |||||||||||||||||||||||||||||
| 33-07 | |||||||||||||||||||||||||||||
| 歐奉璋 | |||||||||||||||||||||||||||||
| 本發明係一種手語影像串接生成之方法，主要包括一手語動作轉移平衡影像資料庫系統及一手語詞彙影像串接模組所組成；其係透過手語文句的輸入，經斷詞產生手 語詞播放序列，進而運用影像最佳化串接生成技術，即時以真人影像模式的自然比畫動作來呈現手語之動作；如是，可使本發明直接提供聾啞人與一般聽人學習手 語，而取代現階段以固定影帶為主的會考方式，提供更具個別化、高適應性及經濟效益性的教育訓練方法。 | |||||||||||||||||||||||||||||
| 1.一種手語影像串接生成之方法,其係包括: 一手語動作轉移平衡影像資料庫系統,該手語動 作轉移平衡影像資料庫系統係透過一手語句擴充程序單元及一擴充句計分單元來自動產生兼具語法、語意合理性、詞彙常用性之擴充句資料庫,並配合一手語詞彙啓 始、終止位置資訊單元以及經由手語平衡句之選取演算法自動產生一拍攝用之手語轉移平衡語料庫,依此建立一套手語詞彙影像資料庫; 一手語詞彙影像串接模組,其連續影像係串接上述手語動作轉移平衡影像資料庫系統,並透過估算兩兩手語詞彙間之動作軌跡的位置、方向轉移差異,產生串接銜接點之候選串接網格,進一步運用一串接路徑選取演算法來取得最佳之串接銜接點與整體串接路徑。 2.依申請專利範圍第1項所述之手語影像串接生成之方法,其中,該手語句擴充程序單元,係根據手語句之詞性特徵來進行詞彙替代與衍生,並運用一考量詞頻、統計式語意資訊之量化公式進行語句計分與篩選。 3.依申請專利範圍第2項所述之手語影像串接生成之方法,其中,該量化公式為 ,而ESi為第i個手語擴充句的分數; Fwj為wj,的詞頻; w_counti為第i個手語句的詞彙數; p(wj+1∣wj)為wj後面接wj+1的機率。 4.依申請專利範圍第1項所述之手語影像串接生成之方法,其中,該手語轉移平衡語料庫的建立,係依據手語擴充句語料庫及手語詞彙位置相互轉移資訊,再運用一語句轉移資訊計分公式及一手語平衡句之選取演算法來自動產生。 5. 依申請專利範圍第4項所述之手語影像串接生成之方法,其中,該語句轉移資訊計分公式係為:Signk→Ij,即手語詞彙Signk轉移至其下一手語詞彙之 起始位置Ij的轉移部分,而對於每個手語詞彙可依據其轉移部分建立轉移矩陣STk[1�625]:SignTk ,該矩陣記錄手語詞彙Signk在所有擴充句中所涵蓋的轉移資訊,轉移矩陣內出現次數較少的轉移表示在擴充句中此類的轉移較少出現。 6.依申請專 利範圍第4項所述之手語影像串接生成之方法,其中,該手語平衡句之選取演算法ISi=ESi‧TSi其中, ESi為式1計算而得的分數; TSi由下式計算而得: ,而其中NTCi表示該句所含有之尚未被選取的轉移部分次數; TCi則為此句所含之全部轉移次數。 7.依申請專利範圍第1項所述之手語影像串接生成之方法,其中,該手語詞彙影像串接模組於兩手語影像串接銜接點的估算,係運用一位置差異估算公式、一轉移方向差異估算公式及一結合位置與轉移方向差異估算公式來取得兩手語間候選之串接銜接點。 8.依申請專利範圍第7項所述之手語影像串接生成之方法,其中,該位置差異估算公式係由手部位置的距離來決定最小串接成本,取其距離最接近的地方來當作銜接點,距離計算方式如下所示: 其中,該st1:[ft1,…fn1]表示前面手語的後段部分; st2:[f1,…, f12]表示下一手語的前段部分。 9.依申請專利範圍第7項所述之手語影像串接生成之方法,其中,該轉移方向差異估算公式如下式所示: 10.依申請專利範圍第7項所述之手語影像串接生成之方法,其中,該結合位置與轉移方向差異估算公式如下所示: 其中,權重値�,用以調整此兩因素的影響,由實驗取得。 11.依申請專利範圍第1項所述之手語影像串接生成之方法,其中,該連續影像的串接,係候選串接網格,進一步運用一最佳化串接路徑選取演算法來產生手語影像生成序列。 12.依申請專利範圍第11項所述之手語影像串接生成之方法,其中,該最佳化串接路徑選取演算法之成本計算方式如下: ,其中, DLi 為左手手部位置差異; DL� 為左手移動方向差異; cost(1, k)為計算兩候選手語(1, k)之間的最佳串接點與其成本。 13.依申請專利範圍第1項所述之手語影像串接生成之方法,其中,該手語詞彙影像串接模組之影像串接銜接點係可搭配一影像淡化生成單元,藉以使每一串接區段輔以淡化之淡出與淡入的顯示,淡化的呈現將屬於前手語的部分作逐漸淡出,而屬於下一手語的部分則是作逐漸淡入的動作。 圖式簡單說明: 第1圖,係本發明之流程示意圖。 第2圖,係本發明之手語影像合成系統示意圖。 第3圖,係台灣手語之基本手形碼示意圖。 第4圖,係台灣手語之基本位置碼示意圖。 第5圖,係手語詞彙『龍』之手語示意圖。 第6圖,係本發明之手語空間(Signing Space)示意圖。 第7圖,係本發明之手語動作空間標記示意圖。 第8圖,係本發明之轉移變化示意圖。 第9圖,係本發明之手語手勢位置標定介面示意圖。 第10圖,係本發明之平衡語料庫建立流程示意圖。 第11圖,係本發明之擴充手語句流程示意圖。 第12圖,係本發明之手語對照語料之擴充詞彙與句型選取範例示意圖。 第13圖,係本發明之手語平衡句之選取演算法示意圖。 第14圖,係本發明之手語影像切割介面示意圖。 第15圖,係本發明之手語影像之連續串接示意圖。 第16圖,係本發明之手部軌跡追蹤的範例示意圖。 第17圖,係本發明之串接銜接點選取之概念示意圖。 第18圖,係本發明之考慮手部位置差異之串接示意圖。 第19圖,係本發明之考慮軌跡方向差異之串接示意圖。 第20圖,係本發明之同時考慮手部位置和移動方向差異之串接示意圖。 第21圖,係本發明之最佳化串接路徑選擇演算法示意圖。 第22圖,係本發明之影像淡化生成概念示意圖。 第23圖,係本發明之串接區間淡化重疊示意圖。 第24圖,係本發明之影像淡化生成範例示意圖。 第25圖,係本發明之個別化學習功能設定示意圖。 第26圖,係本發明之位置標定座標平面示意圖。 第27圖,係本發明之單一右手手語詞彙之起始位置分佈圖。 第28圖,係本發明之單一右手手語詞彙之終止位置分佈圖。 第29圖,係本發明之雙手手語詞彙之啓始標定位置分佈圖。 第30圖,係本發明之雙手手語詞彙之終止標定位置分佈圖。 第31圖,係本發明之詞彙重複數分佈示意圖。 第32圖,係本發明之轉移重複數分佈示意圖。 第33圖,係本發明之影像流暢度評估結果示意圖。 |
|||||||||||||||||||||||||||||
| 專利權異動 |
|
||||||||||||||||||||||||||||
| 申請案件狀態 |
|
瀏覽數:
分享