247_088-198CP-TW
發佈日期 :
2009-04-29
| 發明專利說明書 | |
| ※申請案號： 089126184 | |
| ※申請日期： 20001208 ※ＩＰＣ分類： Int.Cl.(7) G06F 3/023 |
|
| 一、發明名稱： (中文/英文) | |
搭配手語鍵盤、文句生成及視聽覺回饋輸出之溝通輔助系統(全文下載)
|
|
| 二、申請人： 共 1 人
|
|
| 1 . 姓名或名稱：(中文/英文) 行政院國家科學委員會 / NATIONAL SCIENCE COUNCIL 代 表 人：(中文/英文) / 住居所或營業所地址：(中文/英文) 台北巿和平東路二段一○六號十八樓 / 國 籍：(中文/英文) 中華民國 / TW
|
|
| 三、發明人： 共 3 人
|
|
| 1 . 姓名：(中文/英文) 吳宗憲 / WU, TZUNG-SHIAN 國 籍：(中文/英文) 中華民國 / TW 2 . 姓名：(中文/英文) 郭啟祥 / GUO, CHI-SHIANG 國 籍：(中文/英文) 中華民國 / TW 3 . 姓名：(中文/英文) 邱毓賢 / CHIOU, YU-SHIAN 國 籍：(中文/英文) 中華民國 / TW
|
|
|
四、聲明事項 |
|
| □主張專利法第二十二條第二項 □ 第一款或 □ 第二款規定之事實，其事實發生日期為：年 月 日
□申請前已向下列國家(地區)申請專利: 【格式請依:受理國家(地區)、申請日、申請案號、 順序註記】
|
|
| □ 有主張專利法第二十七條第一項國際優先權：
□無主張專利法第二十七條第一項國際優先權： |
|
| □ 主張專利法第二十九條第一項國內優先權：
【格式請依:申請日、申請案號、順序註記】
|
|
□ 主張專利法第三十條生物材料： □ 須寄存生物材料者： 國內生物材料【格式請依:寄存機構、日期、號碼、順序註記】 國外生物材料【格式請依:寄存國家、機構、日期、號碼、順序註記】 |
|
| □ 不須寄存生物材料者: 所屬技術領域中具有通常知識者易於獲得時，不須寄存。 |
|
| 五、中文發明摘要： | |
| 一種搭配手語鍵盤、文句生成及視聽覺回饋輸出之溝通輔助系統，乃考量聽語障礙者與聽人溝通模式之差異而設計。其中，溝通輔助系統包括：手語鍵盤模組、文句生成模組及視聽覺回饋輸出模組。手語鍵盤模組，係利用手語鍵盤作為操作輸入媒介，並配合詞彙分類、詞性篩選、句型預測及注音縮寫查詢等機制來輔助關鍵詞彙輸入。而文句生成模組，係透過句型樣版樹及語格文法結構來產生合乎語法及語意之完整中文文句。視聽覺回饋輸出模組，係藉由語音合成輸出文句，並透過靜/動態顯示模式呈現中文文法式的手語序列。 | |
| 六、英文發明摘要： | |
| 七、指定代表圖： | |
| （一）本案指定代表圖為： | |
| （二）本代表圖之元件符號簡單說明：
|
|
| 八、本案若有化學式時，請揭示最能顯示發明特徵的化學式： | |
| 九、發明說明： | |
| 本發明是有關於一種電腦溝通輔助系統，且特別是有關於一種智慧型手語轉語音之溝通輔助系統聽語障礙指聲音或語言功能性的損傷，因而造成難以與一般人正常溝通，或溝通時發生明顯的障礙，且由於溝通障礙者在溝通問題上呈現很大的個別差異，有時又難以鑑別，在賣際生活中，難以使用聽語功能表達基本生理需求；在求學階段中，也造成許多的學習障礙。因此，在其社會化的過程中，必然遭遇到許多就學、就業、就醫及就養等層面極大的阻礙，而不易融入社會的主流。 歐美先進國家在1970年代開始研發可提供語言學習及溝通替代殘障輔助復健科技與輔具，主要發展與改良簡易型溝通板、電腦操作輸入介面及輔助性周邊裝置。1980年代，由於電腦、語音訊號處理及殘障輔助科技的發展，全力整合工程、復健、醫療及教育訓練來改善聽語障礙者日常生活的功能性。1990年代，則著重應用先前輔助科技與輔具提供之經驗於教育訓練與臨床運用。 在台灣，現階段資訊相關技術已相當成熟，卻未能妥善應用於特殊教育與殘障溝通輔具的研發，主要原因乃是西方的語言/語音特性與台灣本土日常生活所慣用的中文全然不同，使得歐美國家所發展的先進語音科技無法直接移轉為國人所使用。大多數聽語障礙者最為常用的溝通方式以手語為主，聽人與使用手語的聽語障礙者之間，溝通的困難主要是因為聽人不懂手語語言，所以不瞭解聽語障礙者所表達的內容，且大部分聽語障礙者聽不到一般自然的口語，而無法進行有效的溝通。 台灣手語(Taiwanewe Sign Language, TSL)分為符合中文文法結構的中文式手語(GrammatiCal Sign Language，GSL)以及自然手語(Natural Sign Language, NSL)。符合中文文法結構的手語，稱之為中文文法式手語，將中文用一種視覺化的方式加以表達，主要應用於口語溝通、中文教學、會議及手語歌；自然手語則以其特殊的文法結構獨樹一幟，主要為聾人之間的手語溝通方式，自然手語並沒有一定的規範，有時甚至只是兩人之間的默契與約定。雖然，聽語障礙者之間的日常生活溝通方式以自然手語為主，但自然結構手語並沒有一定的文法規範，有時甚至只是兩人之間的默契與約定，且隨著時間性、地區性而有顯著的差異。目前在台灣地區，手語教學模式主要分為以台北啟聰學校及以台南啟聰學校為主，而台中啟聰學校則以台南啟聰學校為主。現行之手語教材主要有教育部編定之手語畫冊，現代經典公司出版之手語大師，以及由聾人協會制訂之手能生橋。1970年代，教育部基於手語地域性差異的問題之考量，曾經召集相關學者專家進行手語統一整合的工作，因此，各教材雖各有其著墨及改進之處，但手勢以及教育理念卻大致相通。日前教育部正大力推廣中文文法式手語，本研發因應教學訓練之賣際所需，選擇以中文文法式手語為溝通輔具研發方向，而手語符號以教育部編定之手語畫冊為主，並輔以手語大師、手能生橋等書。 自然手語之所以沒有一定的規範，其主要的影響因子為文法結構，包括詞序、同時性以及單位詞等等的差異性所造成，逐項分析如下：●詞序：手語的用法習慣、表示集、詞序並沒有一定的規律，往往隨著環境、地區性、年齡、教育程度而異。 般常見的結構分為三種：1.SVO（主體─動詞─客體）2.SOV（主體 客體─動詞）3.OSV（客體─主體─動詞）以『我去公園』為例，若以SVO的方式，則必須先比出主體 『我』，接著比出動詞─『去』，然後才比出客體─『公園』。由於詞序使用習慣的不同，需經由中文文法結構化的處理來重組詞序。 ●同時性：所謂的『同時性』是指主客體必須配合動詞同時存在於一串手勢符號中，否則這段手語的意圖將無法串聯。舉例來說，要表達『我吃橘子』此項意圖時，必須先比出客體─『橘子』，接著比出主體『我』，然後『我』的手勢轉成『吃』的手勢後，向代表『橘子』的手勢吃過去，『吃過去』的動作便是主客體之間的聯結動作。如果採用手語圖串的方式描述同時性，勢必產生順序上的問題，因此除了透過中文文法的處理，乃需配合動靜態顯示策略的運用來呈現空間及順序性的概念。 ●單位詞：中文的單位詞具多樣性變化，手語則受限於1.)僅能表達簡單的單位詞，例如：手語能表達一『個』人、一『雙』鞋等等單位詞；2，)語言慣用法不同：例如，牛為什麼用『頭』，而不用『隻』當作單位詞。因此，手語習慣將單位詞省略，而直接以『筆一』來代表『一枝筆』。因此，需針對手語轉譯之單位詞、數量詞、形容詞等問題，以及人、事、時、地、物等概念類別進行分析，彙整出其規律性，以提供進一步的補詞處理來生成完整語句。 目前歐美國家相關溝通輔助科技的研究，主要朝向1.)針對嚴重肢體功能性障礙族群發展高操作效率之虛擬鍵盤(Virtual Keyboard)(Joe ReiChle, 1991; R.C.Simpson and H.H.Koester, 1999; J.G.Webster, et.al., 1985; R.B.David and Pat Mirendan, 1992)，透過前詞預測後詞(Word Prediction)(H.H.KoeSterands.P.LeVine, 1994; S.Hunnicut, 1990)、英文詞彙簡稱(Abbreviation Expansion) (G.C.Vanderheiden,1984)、語意編碼(Semantic Coding, e.g.ConsumerProduct-Minspeaksystem)(S.K.Chang, 1992; B.Baker,1982)，主要目的乃輔助大量詞彙庫中選取特定詞彙，然而其設計之根本以詞彙語意為基礎，使用者必須記憶大量的詞彙及其對應符號，造成認知上的負擔；2.)由北美復健工程協會(RESNA)所提出之Sentence Compansion(Compress/expansion)的觀念(P.Demasco, et. al,1989; P. Demasco and K.F.McCoy, 1992)，使用者輸入少量詞彙資訊(uninflected content wwrds)，乃根據英文文法結構與特性的分析，擴展出符合語法／語意的簡短語句(We11-formed sentence)。但是由於西方語言、語音、手語（如美國手語American Sign Language/ASL）的特性與複雜的中文及台灣手語全然不同，所研發的輔助性工具無法直接移轉為國人使用，因此，發展符合本土化溝通輔助系統實乃刻不容緩。 有鑒於此，本發明提出一種可讓使用者輸入少量詞彙資訊，及適合國人使用之溝通輔助系統，此溝通輔助系統包括1）．手語符號鍵盤，採用分頁及分列檢索的模式，結合由上而下、由左而右的檢視策略，且可根據詞頻的動態配置來使用手語符號鍵盤上的手語符號；2）‧手語/詞彙預測機制，透過詞頻預測、詞性篩選、句型預測等策略，並結合中文音韻特性及Augmented Transition Network的技術建立注音縮寫輸入查詢，提供快速手語符號檢索；3）.關鍵詞彙預測完整文句核心，依據Sentence Compansion及Bottom-Up Parsing with Top-Down Filtering的觀念，以中研院自動斷詞程式及知網(HOW-Net)為基礎，句型樣版及概念從屬之語格文法為構句基本架構，透過語法剖析、語意分析以及虛詞補綴（介詞、副詞、語助詞、連接詞）等自然語言理解理論/技術的處理，建立此手語符號/詞彙預測完整文句之轉譯系統，並輸出符合中文文法的手語符號序列及合成的中文語音，以達成溝通表達的目標。 因此，本發明完全是根據本土化的中文語言∕語音、台灣手語特性與文化背景來研發，以中文文法式手語為主要研發架構，並且透過自然語言處理方法之轉譯，讓使用自然手語的聾友也能操作。同時解決了台灣手語轉譯之詞序、同時性、單位詞及虛詞補綴等中文文句生成的問題。基於推廣聽語障礙著在生活、就學、就業、就醫等層面無溝通障礙的理想，本發明以提供中文文法式手語溝通表達輔助系統為主要訴求，且透過本發明之台灣手語及中文文法結構的轉譯處理，也能讓使用自然手語的同胞，使用此套系統達成溝通與學習的目的。 為讀本發明之上述和其他目的、特徵、和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下： 圖式簡單說明 第1圖．．．繪示的是本發明之一系統架構圖； 第2圖．．．繪示的是本發明之一示意圖； 第3圖．．．繪示的是本發明之一示意圖； 第4圖．．．繪示的是本發明之一示意圖； 第5圖．．．繪圖的是本發明之一示意圖； 第6圖．．．繪示的是本發明之一示意圖； 第7圖．．．繪示的是本發明之一示意圖； 第8圖．．．繪示的是本發明之一示意圖； 第9圖．．．繪示的是本發明之一示意圖； 第10圖．．．繪示的是本發明之一示意圖； 第11圖．．．繪示的是本發明之一示意圖； 第12圖．．．繪示的是本發明之一示意圖； 第13圖．．．繪示的是本發明之一示意圖； 第14圖．．．繪示的是本發明之一示意圖； 第15圖．．．繪示的是本發明之一示意圖； 第16圖．．．繪示的是本發明之一示意圖； 第17圖．．．繪示的是一示意圖； 第18圖．．．繪示的是本發明之一示意圖； 第19圖．．．繪示的是本發明之一示意圖； 第20圖．．．繪示的是本發明之一示意圖； 第21圖．．．繪示的是本發明之一示意圖； 第22圖．．．繪示的是本發明之一示意圖； 第23圖．．．繪示的是本發明之一示意圖； 第24圖．．．繪示的是本發明之一示意圖； 第25圖．．．繪示的是本發明之一示意圖； 第26圖．．．繪示的是本發明之一示意圖； 第27圖．．．繪示的是本發明之一示意圖； 第28圖．．．繪示的是本發明各之一示意圖； 第29圖．．．繪示的是本發明之一示意圖；以及 第30圖．．．繪示的是本發明個案適用之之一示意圖。 主要元件符號說明 100．．．手語鍵盤模組 102．．．注音縮寫查詢模組 104,516．．．預測模組 106．．．文句生成模組 108,1024,1214．．．語意分析模組 110．．．句型樣版 112．．．自動斷詞程式 114．．．視聽覺回饋輸出模組 116．．．靜／動態顯示模式 118．．．文件轉手語模組 410,514．．．詞彙資料庫 1022,1220．．．節點匹配策略 1218．．．片語合併規則 1216,2218．．．句型樣版樹 2214．．．詞頻資料庫 2216．．．詞彙淘汰策略 較佳實施例 請參照第1圖，其繪示的是依照本發明一較佳實施例的一種溝通輔助系統，係有關於可將手語的語言轉成語音之溝通輔助系統。此溝通輔助系統包括：手語鍵盤模組100、文句生成模組106及視聽覺回饋輸出模組114。 其中，手語鍵盤模組100，係透過動態配置之手語符號及手語符號對應詞彙所使用之手語鍵盤作為操作輸入媒介，並配合詞性篩選機制及句型預測模組104來輔助關鍵詞彙之輸入。 文句生成模組106，係包括句型樣版110之建構與匹配，其中，以關鍵詞彙為構句基本要素，並以片語為節點匹配單位，配合片語之語意屬性及詞性作語格匹配，並藉由時間片語嵌入規則、地方片語嵌入規則及虛詞補綴處理，生成合乎語法及語意之完整文句。 視聽覺回饋輸出模組114，係透過參數可調式之靜／態顯示模式116，呈現中文文法式之手語序列。 以下係本實施例針對上述之溝通輔助系統中所使用之元件作詳細之說明：手語鍵盤為使用者與輔具溝通的橋樑，基於運用視覺化語言的呈現模式以及聽語障族群賣際溝通的訴求，本發明以聽語障礙者所熟悉的手語作為輔具溝通媒介，透過智慧型動態配置之手語符號鍵盤的設計，讓使用者點選安置於手語鍵盤上的手語符號，作為關鍵詞彙輸入，同時配合詞彙分類、詞頻預測、詞性篩選以及注音縮寫查詢等方式輔助使用者於大量手語資料庫中選取所需之手語關鍵詞彙。 為何需要有如第2圖所示之手語鍵盤呢？因為就PC-based的溝通輔具而論，標準鍵盤對於聽人或部分聽語障礙者而言，是個有效率的輸入方式，但對大多數的聽語障礙者，卻因其先天性的肢體障礙及語言能力不足等問題，造成操作輸入的困擾。本發明以聽語障礙者所熟悉的手語為基礎，設計一套智慧型之手語鍵盤，讓使用者透過點選動態安置於手語鍵盤上的手語圖像，作為關鍵詞彙輸入。手語鍵盤之設計採用分頁的方式並配合由左而右、由上而下的檢視策略，動態配置手語圖案於鍵盤之上，以供使用者操作輸入關鍵詞彙。 針對詞彙分類的方式，本發明可透過屬性分類的方式來作詞彙分類，其精神在於讓使用者聯想詞彙所對應的屬性類別，再從對應的屬性類別之中挑選所需的詞彙，現行之手語教材多以屬性為分類依據，以教育部手語畫冊為例，其根擄手語屬性分為：人物、動物、植物、地名、時令、…等類別，本發明之手語詞彙分類乃根據現行手語教材分類方式作為輔具預設分類之參考；本發明亦可利用另一種方式做詞彙分類，即詞性分類，其精神與屬性分類相似，透過聯想詞彙所對應的詞性類別，再從對應的詞性類別之中挑選所需的詞彙。詞性分類較偏向語言學方面的分類方式，其細緻程度可依使用者認知程度而調整，例如：可以單純的以動詞、名詞、形容詞為分類標準，亦可採用類似中研院之階層式詞性分類方式。 因詞彙分類涉及個人對於類別的認知能力以及使用習慣的問題，因此，本發明透過詞彙類別管理的方式，讓使用者自行修訂適合自己的詞彙分類。在第3圖中繪示的是手語詞彙管理介面，最左邊頁框為手語詞彙類別，左邊第二頁框為該類別對應的手語詞彙，右邊第二頁框為圖檔存放目錄，最右邊的頁框為安置於該目錄下的圖檔，圖中所示為『家庭＆學校』詞彙類別及其對應的手語詞彙，使用者可直接修改手語詞彙內容，並經由圖檔的選取更新該詞彙對應的手語圖案。 在本發明中利用高頻詞彙優先原則，來加快使用者詞彙選取的速度。此高頻詞彙優先原則乃利用統計上的預測方式，將最常出現的手語詞彙置前，讓使用者以最少的檢視次數選取詞彙。本發明經由統計對話語料中手語詞彙出現的頻率後，依照其出現頻率高低，加入高頻詞彙序列，接著將高頻詞彙序列所對應的手語圖案按照手語鍵盤的設計方式依序安置於手語鍵盤上，以加快使用者詞彙選取的速度。 另外，本發明提到的詞性篩選機制，其基本假設為『詞性相同之詞彙不重複出現於同一語句之中』。本發明經由賣際觀察對話語料得知：使用者構句期間，使用同一詞性的機率不高，因此，當構句重新開始之後，凡與使用過的詞彙具相同詞性之高頻詞彙，將不再置於高頻詞彙序列。例如：原先高頻詞彙序列為『我、你、他、去、到、有、．．．』，當使用者點選『我』之後，因為『你、他』和『我』具相同詞性，根據詞性篩選策略：將『你、他』從預測詞彙之中剔除後，得到下一組高頻詞彙序列為一『去、到、有、．．．』。 在第4圖中所繪示的是詞性篩選機制的示意圖。在步驟S400中，會將所有的詞性設為未使用，接著，在步驟S4O2中，將使用過的詞性作詞性篩選動作，在步驟s404中，凡與使用過的詞彙具相同詞性之高頻詞彙，將不再置於高頻詞彙序列中，會產生一個新的高頻詞彙序列。之後，在步驟s406中，再從新的高頻詞彙序列中，作詞彙的挑選動作，在此同時會將詞彙使用頻率更新並記錄至詞彙資料庫410中作為下一次的篩選憑證。若在步驟s408中判斷此構句已結束，則結束此詞性篩選流程，否則回到步驟S402中，繼續針對在步驟s406中所挑選的詞彙作詞性篩選，直至此構句完成為止。 請參考第5圖所示，係本發明在手語鍵盤模組中所使用之句型預測模組之一示意圖。此句型預測模組，即圖1之句型預測模組104，係以使用者在作構句時所使用之文法結構，作為句型預測的基本依據，但以教學的觀點來看，若單純以使用者的文法結構來做句型預測，可能會造成其文法觀念的偏差，因為使用者會誤以為其所使用的文法是正確的，因此，基於中文文法修正的考量，本發明之句型預測模組係透過自然語言處理單元102所產生之完整語句，修正使用者構句的文法結構，將符合中文文法的句型記錄於句型預測樹中，透過Variable N - grams動態預測句型的方式，提供使用者一個快速及正確的中文文法構句方式。 在步驟s500中，句型預測機制乃利用Variable N-grams句型預測模組516預測下一個最有可能的詞性，同時結合高頻詞彙策略之詞彙資料庫514中之內容，將符合詞性的高頻詞彙置前，作詞彙的擷取。接著，如同第4圖之步驟S404產生新的高頻詞彙序列、步驟s406中作下一個詞彙選取，及步驟s408中，判斷構句是否結束，若此構句末結束則回到步驟s500中，繼續作預測及篩選，若此構句已結束，則在步驟s508中，會生成此文句，接著，在步驟s510中，會判斷此文句之文法是否正確，若正確，則結束此句型預測機制，否則會在步驟s512中，會對此文句作一個文法的更正，在將更正過的文法儲存於句型資料庫中，作為下次句型預測模組516預測的依據。 其中，本發明所採用的Variable N-grams詞性模組乃以詞性(POS)為基本單位（依中研院詞性分類定義），每一個內部節點皆代表一個詞性樣本，第n個節點出現的機率可用下列式子來描述：  利用Maximun Likelihood Estimation（MLE），機率函數可改寫為：  其中，C(POS l …POS n )代表POS l …POS n 詞性串列出現的次數。舉例來說，系統依擄使用者之前的構句一『我去台北開會』、『我去高雄玩』、『我喜歡花』、『我喜歡吃冰淇淋』，建立了一個Variable N-grams詞性模組（如第6圖所示），當使用者想構出『我去公園玩』之語句時，透過Variable N-grams句型預測模組，其構句程序如下：1.root之子節點為Nh，其機率P MLE (.l Nh)＝1，將Nh詞性的高頻詞彙『我、你、他、誰、她、自己』置於高頻詞彙序列。 2.點選『我』，轉移至Nh節點，清除高頻詞彙序列。 3.Nh之子節點為VCL及VK，因Nh到VCL的機率P MLE (.l Nh VCL)大於等於Nh到VK的機率P MLE (.l Nh VK)，因此先將VCL詞性的高頻詞彙『去、來、到』依序加入高頻詞彙序列，再將VK詞性的高頻詞彙『喜歡、忘記、希望、．．．』依序加入高頻詞彙序列。 4.點選『去』，轉移至VCL節點，清除高頻詞彙序列。 5.VCL之子節點為Nc，其機率P MLE (.l Nh VCL Ns)＝1，NC詞性的高頻詞彙『台北、學校、公園、麥當勞、．．．』依序加入高頻詞彙序列。 6.點選『公園』，轉移至Nc節點，清除高頻詞彙序列。 7.NC之子節點為VA及VC，因Nc到VA的機率P MLE .l NhVCL NC VA)大於等於NC到 VC的機率P MLE .l Nh VCL Nc VC)，因此先將VA詞性的高頻詞彙『露營、開會、求職、．．．』依序加入高頻詞彙序列，再將VC詞性的高頻詞彙『玩、表演、學習、．．．』依序加入高頻詞彙序列。 8.點選『玩』，轉移至VC節點，清除高頻詞彙序列。 9.構句完成。 請合併參考第7、8、9圖，繪示的是本發明所使用之注音縮寫查詢模組運作方式，此處之注音縮寫查詢模組，即圖1之注音縮寫查詢模組102，係一種類似英文縮寫的方式，透過完整注音輸入或連續啟始音輸入，幫助具注音認知能力的使用者從龐大的手語資料庫中擷取所需的詞字彙。本發明根擄中文注音結合之特性，運用AugmentedTransition Network(ATN)設計架構，擷取注音縮寫所對應的字或/和詞。 中文注音分為三類：聲母(Consonant)、前韻母(FirstVowel)及後韻母(second Vowel)，其對應元素如第7圖所示，注音縮寫模組乃根據中文文句與音韻特性而建立，其建構規則如下： 1.連續兩個同類音相接，為詞。 2.First Vowel接Consonant，為詞。 3.Second Vowel接Consonant或First Vowel，為詞。 4.無聲調（1聲），可能為詞。 5.包含2~5聲調，必為字。 本發明運用ATN的架構來設計注音縮寫模組，透過狀態移轉的過程，決定注音縮寫該轉換到字或／和詞後，再透過注音比對對應字，直接比對單字詞注音，如：『ㄨㄛ  』經由比對單字詞的注音後，傳回對應的字『我(ㄨㄛ  )』；接著比對對應詞，比對n字詞的啟始音，如：『ㄍㄒ』經由比對二字詞的啟始音後，傳回對應的詞『恭喜(ㄍㄨㄥㄒ一ˇ)、高雄(ㄍㄠ ㄒㄩㄥ  )、國小(ㄍㄨㄛ  ㄒ一ㄠˇ)』等。 第8圖為注音縮寫模組之ATN架構圖，其中，狀態0為起使狀態；狀態3傳回注音縮寫對應的詞；狀態7傳回注音對應的字；其餘為中間狀態；而狀態之轉移乃根據注音規則而定。以『ㄐ一』為例說明ATN轉換過程及及詞彙查詢結果（如第9圖所示）。 1.State0開始。 2.『ㄐ』為consonant，因此轉換到statel。 3.『一』為first vowel，因此轉換到state4。 4.根據規則4.（無聲調），轉換到state7或state5。 5.state7，注音與字比對後，傳回字『雞』。 6.state5，再轉換到state3。 7.state3，注音與詞比對後，傳回詞『加油、經驗、嘉義、醬油』。 接下來在文句生成模組中，本發明針對台灣手語轉譯所遭遇之文法結構問題，擬出以關鍵詞彙之句型樣版匹配方式來預測完整語句。 其設計理念乃依據Sentence Compansion(compressedinput/well-formedexpansion)及Botomm-Upparsing andTop-Down filtering的觀念；本發明以中研院自動斷詞程式及知網(HowNet)為基礎，以句型樣版及概念從屬之語格文法為構句基本架構，透過語法剖析、語意分析以及Variable N-grams補詞等自然語言處理技術，在自然語言處理單元102中，將使用者經由手語鍵盤模組100所輸入之關鍵詞彙轉為自然完整的語句。 此處所提之中研院自動斷詞系統與知網概念，乃是文句生成模組106利用類似人工智慧的技術來處理人類語言，欲達到此一訴求，電腦必須能夠分析語句的語法結構以及語意關連性。中研院詞庫小組所研發的自動斷詞系統，詳盡地描述語句的語法結構，本發明以之為語法剖析的指標。而由董振東先生所主導的知網(HowNet)，則詳細地描述概念定義以及屬性之間的關係，因此，本發明以之為語意分析的依據。 中研院自動斷詞程式，乃結合其斷詞系統與語法剖析器，針對語句做斷詞及詞性標記的工作。自動斷詞程式採用的詞類標記大致分為46類，歸納中研院的詞類：C開頭的代表連接詞、V代表動詞、N代表名詞、A代表非謂形容詞、D代表副詞、P代表介詞、I代表感嘆詞、T代表語助詞，本發明所定義的關鍵詞為動詞（V開頭的詞性）及名詞（N開頭的詞性），其餘詞類則定義為虛詞(FunctionalWord)。 中研院自動斷詞已可達到96%以上的準確度，但因本發明的詞彙單位為手語詞彙，基於斷詞標準一致性的考量，本發明採用長詞優先的斷詞原則，作為人工修正斷詞及詞性標記的依擄。以『你是聽人嗎』為例：中研院自動斷詞程式將『聽人』斷開為『聽』及『人』，但因為『聽人』為手語詞彙，依照長詞優先原則，人工將其修正為『聽人(Na)』。 知網(HowNet)是設計智能軟件的雙語常識知識庫，為創建人董振東先生研究逾十載的重要成果。知網詳盡地描述概念定義以及屬性之間的關係，知網的特徵分為兩層：主要特徵及次要特徵，前者為物件最重要特性，後者則描述物件之屬性。舉例來說：『弟弟』在知網裡的定義為【DEF=human1人，family1家，male1男】，其中『human人』為弟弟的主要特徵，其餘則為次要特徵。在本發明中，利用物件在知網裡的主要特徵，引用語格文法之概念從屬的觀念，不僅描述動詞與其他語格(keyword slot)的關係，且也用以尋找屬性相似的語格，避免單純以詞性為考量所造成的缺失，以語格文法處理原則來舉例說明：假設系統存在 弟弟(Na)→喜歡(VK)→吃(VC)→蘋果(Na)→terminal的句型樣版，因本發明以句型樣版為構句基礎，當使用者輸入了『蘋果弟弟喜歡吃』等關鍵詞串時，若單純以詞性為考量依據，因『弟弟(Na)』與『蘋果(Na)』詞性相同的緣故，系統將構出『弟弟喜歡吃蘋果』及『蘋果喜歡吃弟弟』等語句，很明顯地，後者為不合理之語句；若加入屬性考量，『蘋果』與第一個Na節點因屬性不同而無法做節點匹配，因此將不會構出『蘋果喜歡吃弟弟』的語句。 另外，如果使用者輸入了『我蘋果喜歡吃』等關鍵詞串，因為『我』的詞性為Nh，而『弟弟』的詞性為Na，如果單純以詞性來做句型配對，將會因為『我』和『弟弟』的詞性不同而無法做節點匹配；若以屬性為節點匹配依據，因為『我』和『弟弟』皆可當作行為者(agent)，因其屬性相似，將可順利做節點匹配，並構出『我喜歡吃蘋果』之語句。 本發明針對台灣手語轉譯時必須面臨的文法結構問題，提出句型樣版的概念，其主要特點為透過句型樣版的匹配，使用者輸入關鍵詞彙後，經由片語合併、節點匹配及路徑篩選等過程，挑選出合乎語法及語意的句型樣版之後，再透過時間、地方片語嵌入及Variable N-grams補詞等處理，生成合乎語法及語意的自然完整語句。 如圖10，句型樣版樹以實際收集彙整之對話語料庫為基礎，在步驟s1002中，將對話語料輸入步驟S1004中之自動斷詞系統，利用中研院自動斷詞程式122取得語句之斷詞結果、詞性(POS)及語法資訊，在步驟S1006中，用人工修正斷詞結果及詞性標記，在步驟s1008中，得到詞彙、詞性及句型，知網(HowNet)的語意分析模組1024取得詞彙之概念從屬屬性後，在步驟s1010中，搭配歸納的句型延伸規則，在步驟s1012中，配合節點匹配策略1022，搜尋此延伸的句型是否存在，若不存在，則在步驟 S 1O16中，將句型樣版樹延伸，再在步驟s1018中，判斷是否句型延伸已結束，若存在，則直接跳至步驟s1018，判斷是否句型延伸已結束，若未結束，則回到步驟s1010中，繼續搭配歸納的句型延伸規則，若已結束，則至步驟s1020中，判斷是否仍有對話語料未處理，若有，則回到步驟s1002中，繼續將對話語料輸入，否則，則結束此句型樣版流程。此句型樣版樹結合語句、語法及語意資訊的句型樣版，以提供日後句型比對以及補詞之依據。 本研究採用之語料庫包含1000句左右的常用日常生活對話，句子平均長度4.9個字。語料由台南師範學院特教系以及台南啟聰學校特教老師提供，語料內容包含上課教材以及學生日常生活對話。 其中，由於對話句型相當廣泛，語料庫要含括所有的對話句型並非易事。因此，本發明經由觀察對話使用習慣以及評估語法延伸之合理性後，歸納句型延伸規則，以下為部分句型延伸規則及句型延伸範例： 1.Nh+Nd→Nd（省省Nh）2.Nh+Nd→Nh（省略Nd）3.T→null（疑問句→直述句） 以『你(Nh)明天(Nd)有空(VH)嗎(T)』為例，遞迴延伸句型如下： 你(Nh)明天(Nd)有空(VH)嗎(T)→你(Nh)明天(Nd)有空(VH) 【rule3】→明天(Nd)有空(VH)嗎(T) 【rulel】→明天(Nd)有空(VH) 【rule3】→你(Nh)有空(VH)嗎(T) 【rule2】→你(Nh)有空(VH) 【rule3】 透過句型延伸的方式，不僅可以彌補對話句型不足之缺失，更可縮減對話語料資料庫的儲存空間。 句型樣版樹之節點資料結構包括：啟始節點、內部節點及外部節點。 其中，啟始節點(root)，為句型啟始位置，所有句型樣版皆由此開始延伸，有多組子節點。 內部節點(internal node)，包含(1)屬性，同屬性的詞彙可同時存在於同一節點；(2)詞性，同詞性的詞彙可同時存在於同一節點；(3)參考次數，記錄節點對應的參考次數；(4)詞彙組，節點內可同時存在多組詞彙；(5)詞彙參考次數，節點內所有詞彙皆有其對應的參考次數；(6)父節點，只有唯一的父節點；(7)子節點，可有多組子節點。 外部節點(external node、terminal node)，為句型結束位置，包含(1)參考次數，記錄句型樣版出現次數；(2)節點個數，句型的節點個數；(3)名詞個數，句型的名詞總數；(4)動詞個數，句型的動詞總數；(5)唯一的父節點。 句型樣版樹建構流程之建構規則如下： 1.節點匹配嘗試 (1)若屬性符合，則匹配之。 (2)否則，若詞性符合，匹配之。 (3)節點匹配者，節點參考次數加1，並檢查詞彙： 【1】若詞彙已存在於節點之中，則詞彙參考次數加1。 【2】否則，將新詞彙加入節點之中。 2.廣度優先搜尋句型是否存在 (1)若句型存在，句型樣版出現次數加1。 (2)若句型不存在，則繼續延伸路徑直到句型生成為止。 (3)句型生成後，產生外部節點，句型樣版出現次數設為1。 請參考第11圖作句型樣版樹狀結構例子之說明：→弟弟(Na) 喜歡(VK) 吃(VC) 蘋果(Na)→我(Nh)要(Dfa)去(VCL)公園(Nc)玩(VC)→我(Nh) 要(Dfa) 去(VCL)台北(NC)其中『我(Nh)』和『弟弟(Na)』因為屬性相同，所以歸入同一節點，其餘則因詞性相同，歸入同一節點。 本發明採用的句型樣版樹有以下優點： 1.結構化儲存對話語料。 2.動態更新／延伸對話句型。 3.加快句型搜尋速度。 4.目前本發明所建立之句型樣版樹包含553條句型路徑，平均路徑長度3.5個節點。 接著請參考第12圖，說明語句生成模組的處理過程：本發明提出之語句生成模組，乃以句型樣版樹為依據，針對使用者所輸入之一連串關鍵詞彙，根據片語合併規則1218，即剖析規則，在步驟s1200中，做片語合併及單位詞嵌入之處理，在步驟s1202的關鍵片語序列中，找出關鍵詞彙所對應的片語，作為節點匹配之基本單位，然後在步驟s1204中，依據句型樣版樹1216，作句型樣版的條件檢查。 接著，在步驟s1206中，依據知網(How-Net)所提供之語意分析模組1214及節點匹配策略1220將關鍵詞彙所組成的片語，填入句型樣版的節點之中作比對，在步驟s1208中，產生多組候選樣版，接著，在步驟s1210中，依照節點屬性匹配程度以及句型樣版參考次數之統計資料，篩選出合適的句型樣版，在步驟s1212中，參照句型樣版，透過時間、地方片語之嵌入以及Variable N-gram補虛詞等處理，生成合乎語法及語意的自然完整語句。 在本發明中使用之節點匹配單位，係由於使用者輸入的關鍵詞串可能包含片語，基於降低語法複雜度及縮減搜尋空間之考量，本發明透過片語合併及單位詞嵌入規則，先找出關鍵詞串對應的片語，以之作為節點匹配之基本單位。 而所謂的片語合併，乃分別針對人、時、地、物等片語類別處理之，人、物等類別在語言學裡稱為argument，時、地等類別稱為adjunct；簡言之，時間及地方片語並非構句必要物件，因此，本發明在作節點匹配時可暫時忽略時間或地方片語，等到語句生成時，再利用片語嵌入的方式，將未作節點匹配的時間及地方片語併入句型樣版之中；片語合併時，將同時繼承被修飾者的屬性及詞性，如第13圖所示，為部分片語合併的範例。 請接著合併參考第14圖及第15圖，為本發明採用單位詞之對應表及將單位詞嵌入名詞片語之範例。其實在台灣手語中並沒有單位詞的存在，因此，聾人在表達『一隻羊』、『一張紙』時，會依照自然手語的用法將單位詞省略，而直接以『羊一』、『紙一』的方式表示之。為了使生成之語句更加自然通順，並搭配語法規則，將單位詞嵌入名詞片語之中。 而所謂的句型樣版匹配，是因為台灣手語文法結構的問題，使使用者所輸入的關鍵詞彙並無固定的順序性，因此，本發明以句型樣版樹為依據，以關鍵詞彙合併後的片語組為節點匹配單位，配合節點匹配策略將關鍵片語組填入句型樣版之中；接著參照節點屬性匹配程度以及句型樣版參考次數之統計資料，篩選出合適的句型樣版，以提供自然語句生成之依據。 此處所提的節點匹配策略，乃是透過屬性或詞性比對，將所有未匹配的關鍵片語與句型樣版的節點作一匹配嘗試。本發明以中研院簡化的46類詞類作為節點之詞性標記，其動詞詞類分為12類(VA~VL)，其詳盡的動詞分類固然有助於降低語法的不明確性，卻也造成系統句型侷限以及句型匹配不易之缺失。舉例來說，假設系統存在：我(Nh)→喜歡(VK)→你(Nh)→terminal的句型樣版，當使用者輸入了『我愛你』等關鍵詞串時，若單純以詞性為匹配依據，因『愛(VL)』與『喜歡(VK)』詞性不同，系統將無法順利構出『我愛你』的語句；若放寬動詞詞性限制，則因『愛(VL)』與『喜歡(VK)』皆屬於狀態及物類動詞，系統將可成功匹配句型並順利構出『我愛你』。 因此，本發明將節點匹配條件適度放寬處理步驟如下： 1.若屬性相符，則匹配之。 2.否則，(1)若名詞詞性相符，匹配之。 (2)若動詞詞性相似，匹配之。 而句型樣版匹配，乃是針對一串關鍵詞彙合併後的片語組，以句型樣版樹為依據，配合節點匹配策略以及句型樣版比對程序，將關鍵片語組填入合適的句型樣版之中，以作為自然語句生成之依據。基於補詞之需求及縮減搜尋空間之考量，本發明先將句型樣版條件限制如下： 1.樣版動詞個數＝關鍵片語動詞個數2.樣版名詞個數  關鍵片語名詞個數3.0  樣版虛詞個數  2其中，關鍵片語個數係指使用者輸入之關鍵詞彙合併後的片語個數。依據以上限制，從句型樣版樹中挑選出條件符合的句型樣版之後，開始作句型樣版比對，其比對程序如下： 1.樣版匹配開始，將所有關鍵片語設為末匹配。 2.由root節點開始，配合節點匹配策略，檢查所有未匹配的關鍵片語中，是否有符合其子節點匹配條件的片語。 3.若有符合之片語，則將片語填入其子節點之中，回到步驟2繼續下一節點之匹配。 4.若無符合之片語，則檢查其子節點是否為關鍵節點（詞性為V或N的節點），如果不是關鍵節點，則跳過此子節點，回到步驟2繼續下一節點之匹配；否則，中斷此句型樣版之比對。 5.完成比對之條件如下：(1)有關鍵片語（時間、地方片語除外），皆有匹配之節點。 (2)最後節點的子節點為外部節點(terminalnode)。 舉例說明句型樣版匹配流程如下，1.）關鍵詞串輸入，『我甜蘋果喜歡吃』；2.）片語分析合併，『我(Nh)甜的蘋果(Na)喜歡(VK)吃(VC)』；3.)句型樣版成功比對，如第16圖所示，其中，『我』因屬性相符而成功匹配；其餘則因詞性相符而成功匹配；Dfa節點為虛詞節點，因此，可忽略之。 而在句型樣版計分處理與篩選方面，由於節點匹配策略將動詞動詞詞性限制放寬後，雖可增加句型成功匹配的機率。但放寬動詞詞性限制，亦同時增加句型錯誤匹配的可能性。因此，本發明提出初步的統計計分機制，透過節點屬性相似度及句型樣版參考次數之統計資料，作為候選句型樣版排名及篩選的評估，本發明以Top1的句型分數為基礎，根擄經驗取Top1分數的0.5倍，作為句型樣版篩選的門檻值，將分數低於門檻值的句型樣版刪除。句型樣版分數計算如下：  其中，句型樣版A＝a 1 a 2 ….ana i ：第i個節點之詞性n：句型樣版A之節點個數f：句型樣版A的出現機率（即句型樣版終端節點之參考次數） Sp(a i )：詞性(POS)相似度，係根據1.）中研院動詞結構（如第17圖所示，其參數值乃參照詞性階層式屬性分類的限制程度而定），動詞詞性相似度依關鍵詞與節點屬性關聯程度而異，達到α 1 層級為0.25分，α 2 層級為0.5分，α 3 層級為0.75分；2.）結合虛詞(functionalword)省略策略，將無關鍵詞匹配的虛詞節點訂為0.9分；3.）與關鍵詞屬性相符或詞性相同的節點訂為1.0分，如第18圖所示，其中pos(a)代表句型樣版的節點，pos(b)代表與該節點匹配之關鍵詞，依據節點匹配策略：首先，在步驟s1800中，檢查關鍵詞與節點a之屬性或詞性是否相符，若相符，則得到步驟s1812之機率值1.0。若不相符則繼續在步驟s1802中，檢查節點a是否為虛詞，若為虛詞，則得到步驟s1814的機率值0.9，否則，必須在步驟s1804中，進行關鍵詞與節點a之動詞相似度比對，若相似度低，則得到步驟s1816的機率值0，若相似度高，則可將機率值加0.25。然後繼續在步驟s1806中，判斷a、b之間之類別(Class)是否相符，若不相符，則得到步驟s1818的機率值0.25，但若相符，則必須再加機率值0.25。接著，在步驟s1808中，判斷出a、b之狀態(state)不相符，則得到步驟s1820的機率值0.5，若相符，則得到步驟s1810之機率值0.75。 以第19圖為例，『愛(VL)』匹配到VK節點，根據中研院動詞樹狀結構圖，因VL與Vk皆屬於狀態及物類動詞，Sp(VK node)＝0.75；Dfa節   匹配片語，因其為虛詞節點，Sp(Dfa node)＝0.9；『我』因屬性符合，Sp(agentnode)＝1、0；『媽媽』因詞性完全符合，Sp(Na node)＝1.0。 在自然語句生成方面，係以篩選出的候選句型樣版為依據，利用片語嵌入規則，將之前未做節點匹配的時間及地方片語嵌入句型樣本，生成合乎語法及語意的語句，並透過Variable N-Gram語言模型補詞的技術，讓生成之語句更加自然完整。 由於時間與地方片語並非構句必要物件，因此，系統在作節點匹配時可忽略時間或地方片語，等到句型樣版確定後，再利用片語嵌入的方式，將未處理的時間與地方片語併入句型樣版之中。本發明經由實際觀察對話語料以及口語使用習慣後，歸納出時間及地方片語之嵌入規則： ■時間片語i.置於行為者(agent)之前或之後。ii.否則，置於句首。 ■地方片語i.置於動作類動詞之前。ii.否則，置於句尾。 舉例來說，請參考第20圖，使用者輸入『昨天我去溜冰公園』等關鍵詞串，其中，『昨天』及『公園』並未在節點匹配過程中成功匹配，但因『昨天』屬於時間片語、『公園』屬於地方片語，根據片語嵌入規則，時間片語『昨天』應置於行為者(agent)『我』之前或之後，而地方片語『公園』則應置於動作類動詞『溜冰』之前。 接著請參考第21圖，係本發明針對補虛詞(Functional word addition)之處理方式 。 係依據『關鍵詞彙預測完整語句』之設計理念，除了生成合乎語法及語意之語句的基本訴求外，虛詞的點綴更是提升語句自然度的重要因素，因此，本發明利用句型樣板之VariableN-grams資訊，針對虛詞節點做適當之補綴，讓生成之語句更加自然完整，同時亦可達到免除虛詞輸入，加快構句速度之目的。 在圖21中，使用者輸入之關鍵詞串『你喜歡吃蘋果』所對應的句型樣版，賞線節點為關鍵詞所在位置，虛線節點包含補詞資訊，根擄2-gram資訊P（很lagent Dfa）≧ P（非常lagent Dfa）在Dfa節點位置補上『很』；根據6-gram資訊P（嗎lagent Dfa VK VC NaT）≧P（吧lagentDfa VK VC Na T)在T節點位置補上『嗎』，最後輸入『你很喜歡吃蘋果嗎』之完整語句。 本發明更提供一種自動學習機制，係針對為使用者量身訂製輔具的訴求，本發明根據使用者構句時常用的手語詞彙及句型樣版，引用統計學習機制的觀念來動態更新詞頻資料庫及句型樣版樹相關的節點資訊，將常用的詞彙及句型置前，以降低手語詞彙檢索次數，加快構句速度；同時透過詞彙淘汰策略，將較少使用的詞彙從高頻詞彙序列中移除，以降低搜尋空間，加快手語詞彙選取。 請參考第22圖，係系統自動學習之流程。在步驟s2200中，詞彙預測模組乃利用詞頻資料庫2214及詞彙淘汰策略2216，預測下一個最有可能的詞性，在步驟s2202中，將符合詞性的高頻詞彙置於高頻詞彙序列之前，接著，在步驟s2204中，從高頻詞彙序列中作手語詞彙的選取，在此同時，將有關選取之手語詞彙的次數，更新致詞頻資料庫2214中，作為下次在步驟s2200中的詞彙預測模組使用。接著，在步驟s2206中，判斷使用者的構句程序是否已結束，若還未結束，則回到步驟s2204中，繼續作手語詞彙的選取，若構句已結束，則進入步驟s2208中的文句生成模組，文句生成模組會依據句型樣版樹2218，完成多組完整文句。 接著，在步驟s2212中，選取多組完整文句中之一組作對話語句，在此同時，會將選取之句型養版的參考次數，更新至句型樣版樹中的資料庫，作為下次在步驟s2208中，文句生成模組預測句型樣版的依據。最後，將所選取之對話語句利用視聽覺回饋輸出模組作語音及手語之輸出。 以下就上述之動作，作更詳細的說明：1.動態更新本發明依據對話語料庫統計手語詞彙出現頻率後，建立預設之詞頻資料庫2214，提供詞彙預測之用。基於人性化設計理念之考量，輔具必須隨著個人的使用習慣而調適，因此，本發明透過使用者實際構句所使用的手語詞彙及句型樣版，動態更新詞頻資料庫及句型樣版樹資訊，將常用的手語詞彙及句型置前，方便使用者操作選擇。其中，在詞頻更新之處理方式，包括下列步驟：i.將所選取的手語詞彙詞頻加1ii.與所選取之手語詞彙具相同詞性之手語詞彙詞頻減1假設一開始的高頻詞彙序列為『我(10)→你(8)→他(4)→去(4)→…』，刮號內表示所對應的詞頻，當使用者選取『我』之手語詞彙後，『我』所對應的詞頻加1，而『你、他』因其詞性與『我』相同，因此，其所對應的詞頻各減1，得到新的高頻詞彙序列『我(11)→你(7)→去(4)→他(3)→…』。 在句型樣版次數更新方面，會將使用的句型樣版參考次數加1，配合句型樣版計分方式，將常用的句型提前。 2.詞彙淘汰策略對於較少使用的手語詞彙，應適時地從高頻詞彙序列中移除，以減少手語詞彙的搜尋空間。本發明配合詞頻更新方式，將出現頻率低於1次的詞彙從高頻詞彙序列中移除，縮減詞彙檢索空間，以加快詞彙搜尋速度。 接下來，就圖1之視聽覺回饋輸出模組114作完整之描述。本發明之視聽覺回饋輸出模組114，係將圖1之文句生成模組106所產生的語句，透過視聽覺回饋之手語(visual)語音(auditory)互動式顯示呈現給使用者及其溝通對象，以達到雙向溝通及手語學習之目的。基於多樣化口語語音溝通的需求，本發明透過語音合成參數的調整，讓聽人『聽到』不同聽語障礙者的聲音；透過靜動態手語圖案呈現方式，讓聽語障礙者『看到』聽人的言語內容。 所謂的手語教學模組與靜動態顯示策略，是指基於手語視覺回饋之考量，透過本發明（如圖1）之文字轉手語模組118，將文字形式的對話語句轉換成圖形介面的中文文法手語，回饋給使用者，其特點如下： 1.文法修正處理策略本發明透過句型樣版將關鍵詞串轉為合乎語法及語意的完整語句，不僅修正自然手語文法結構的問題，其對應的中文文法結構更可提供使用者學習中文文法之用。 2.手語學習理念對話語句經由文字轉手語模組118轉換後，所對應之合乎中文文法的手語序列，即代表對話語句的手語表達方式，因此，對於不懂手語的聽人而言，亦是一種手語學習的途徑。 所謂的文字轉手語模組，係指以手語詞庫為斷詞依據，透過文字斷詞後，找出詞彙對應的手語圖案，並依序將其安置於手語鍵盤；若無對應的手語圖案，則以中文字代替顯示（使用者可透過第3圖，新增新詞）。本發明採用的斷詞原則包含1.）長詞優先；2.）左詞優先。以「我會電腦」為例，透過文字斷詞後一『我會電腦』，因為『會』無對應的手語圖案，因此，以中文字代替（如第23圖所示）。 而所謂的靜動態顯示策略，係本發明基於教學觀點之考量，除了如第23圖所示的靜態顯示方式之外，亦配合特教老師意見，採用如第24圖所示之動態顯示手語圖像的方式，並經由顯示速度的調整觀察學同學反應的行為，其特點包括l.）吸引使用者的注意力；2.）生動地模擬連續手語動作；3.）增加使用者學習興趣。以「我去公園玩」為例，「我」、「去」、「公園」、「玩」對應的手語圖像，依照固定順序及時間間格，動態顯示於同一方格內，透過模擬連續手語動作的方式，讓使用者學習手語的比法。 而針對中文語音合成及孿聲模組之設計與嵌入，乃是因為語音是聽語障礙者與正常人溝通的重要替代工具，所以必須一套適用於群體的溝通輔具系統，讓使用者各自擁有個別化的聲音，才能達到個體區別及群體溝通的目的。針對此點，本發明透過共振峰(formant)、音高(pitch)、說話速度等合成參數的調整，將合成聲音多樣化，讓聽人可以聽到不同人的聲音。 本發明之智慧型台灣手語轉語音溝通輔助系統（如第25圖所示）乃以教育部之手語畫冊及現代經典出版之手語大師為手語教材，共有1185個手語符號，輔具研發平台為Pentium-III 450筆記型/個人電腦、64MB RAM，作業系統為Win98∕WinNT，開發工具為Microsoft Visual C＋＋6.0。 系統效能評估主要著重於Rate Enhancement的探討，本發明透過虛詞省略與否以及不同模式之預測策略評估系統效能，分述如下：虛詞省略(Functional word Deletion)： 本發明採用之語料庫(corpus)包含1000句左右的常用日常生活對話，句子平均長度4.9個characters，語料由台南師範學院特教系以及台南啟聰學校特教老師提供，語料內容包含上課教材以及學生日常生活對話。利用中研院自動斷詞程式取得語料庫的斷詞結果及對應詞性(POS)後，分類統計虛詞（第26圖）及關鍵詞（第27圖）個數。因本發明採用關鍵詞(N、V)構句，免除虛詞輸入，估計約可節省26.25%的Keystroke，如第27圖所示。 詞彙選取(Keyword Selection Steps)：本發明依擄Row-columnscanning策略，採用(2※4)分頁的方式，並結合由上而下、由左而右的檢視策略，將最常用的手語詞彙置前。檢視次數(scanning)為搜尋手語詞彙所需檢視步驟（頁→列→行），相當於手語詞彙所在的位置，計算方式如下：  其中，N表示測試語句個數t(Si)表示關鍵詞個數μ表示分頁的單位（本系統為8個手語詞彙）Pj、Rj、Cj分別表示頁次、列位、行位如採用本發明所提供之詞彙預測、句型預測及注音縮寫查詢等輔助構句的方式，檢視次數(scanning)最多可縮減達96.87%左右，如第28圖所示。 針對個案適用性評估，本研發之主要目標乃為：透過系統化的設計及研發，以提供國內聽語障礙同胞與正常人溝通及手語輔助教學與訓練之溝通輔助系統。對於輔具提供的精神理念，乃在於教育與訓練，透過完整性的教材分析、設計、修改、課程訓練、再設計及再訓練等過程，以提供適當的輔助系統。且有鑑於語音溝通輔助系統設計及發展為需整合不同學門，因此，在整體研發過程中，整合台南啟聰學校、台南師範學院及中華民國聾人協會等組織，實際地應用及評估本系統的效能。其研發以符合個人需求、高功能性、高擄充性、低複雜度及具教育臨床療效為考量重點。而針對目前國內相當缺乏適當的本土化聽語障礙者所需之相關教材、特殊教育語言教材與國語母語教材，本研發提供一多媒體電腦輔助訓練系統，以協助進行溝通訓練與語言學習的活動，更可擴展於輔助手語教學與訓練之用，以期能改善國內聽語障礙者之日常生活溝通表達。 影響溝通輔具效能的因素很多一包括使用者對語言的認知能力、中文文法概念、構句複雜度，以及系統核心技術、介面設計的問題等，因此，本發明透過實際個案適用的方式，將溝通輔具賞際應用於聽語障礙者的日常生活之中，經由系統化的教學與訓練過程中，發掘個案適用所產生的問題，進而提供系統核心技術的改進及輔具介面的設計，讓輔具符合適用個案的需求，達成生活溝通的目的。同時透過適用個案的構句結果，進一步評估系統構句速度及語句生成之正確性。 對於適用性評估之規劃，本溝通輔具以聽語障礙者與聽人之相互溝通為研究重點。在此階段性研發的過程，本發明以台南啟聰學校的學生為適用對象，為期2個月時間，透過日常生活對話的方式，讓學生實際使用本輔具與聽人相互溝通，以賣際評估系統效能。同時，透過三期階段（教學期、調適期、評估期）的實驗，發掘個案適用所產生的問題，分階段性地修改系統核心技術及介面安置設計，以符合使用族群個別化的需求。 本研發的適用對象，主要以具有語言理解及學習能力，卻無口語能力或語音不清晰之聽語障礙者為對象，在研發過程中，根據系統化設計分析的理念，從事：1）個案聽障、語言障礙之評估；2）生活學習環境之需求，如起居生活、交通；3）照顧者之照護模式；4）溝通障礙模式及輔具提供模式；5）溝通方式、字彙、情感表達行為之特殊教育評估；6）日常、學校或工作場合之實際所需與困難等評估。透過上述評量項目，建立輔具設計的評量依據。在進行適用性評估的使用過程中，各個階段乃特教老師及系統研發人員實際觀察與評量，使聽語障礙者能更有效率地學習使用溝通輔助系統。 由於本輔具適用之個案除了必須熟悉手語而且沒有語言認知的問題之外，對於中文文法概念仍須有一定程度的認知，因此，本發明透過讓學生看圖手寫造句的方式，作為個案選取之考量，其篩選程序如下： 1.情境語料選取：由南聰特教老師選取14張教學及生活圖片，如附錄二所示。 2.測試對象選取：由南聰特教老師評量學生活動反應及語文能力，挑選4位候選聽障學生。 3.測驗方式：讓學生看圖手寫造句（可造兩句以上）。 4.篩選標準：由特教老師解譯及分析學生手稿，選取構句錯誤率最低者。 所謂『構句錯誤』是指詞序重組之後，正常人仍然無法理解的語句，如『貓生氣是兔子可怕』；構句錯誤發生之原因，主要是由於個案對於中文文法認知上的問題及多意圖之表達所造成，基於個案適用性之考量，本實驗以構句錯誤率最低者為優先選擇。經過以上的個案篩選程序後，本實驗選取1位四年級學童作為個案適用對象，其構句錯誤率為4.54%，如第29圖所示。 本研發經由輔具研發相關研究成員實際收集上課教材以及日常手語用法後，從現行的手語教材中挑選最適當的手語符號，作為輔具系統的溝通媒介；同時，考量語言學習及教學訓練上的目標，經由長期觀察評估聽語障礙學童日常生活起居、學習環境之實際需求，並考量其課程教材與日常生活對話語料應用於溝通輔具的合適性，以及衡量教學評量之語料內容（如平均語句長度Mean Length ofUtterance/MLU、造句結構等）對於輔具設計架構的影響，由特教老師挑選出近1000句（MLU為4.9個字）的對話語料，作為手語轉譯系統訓練的語料，且可隨著語言學習的階段發展，透過系統提供之對話管理系統逐步增加具學習意義的語句，例如，國小課文中隨著語言學習認知階段，分為各冊及不同學習單元，其中即考量MLU的影響。 其中語料內容以課程教材為主，日常生活對話為輔。分析對話語料後，歸納語料結構特性如下： 1.運用對話句型結構來描述對話語料。 2.意圖表達之關鍵詞彙組成對話句型。 本發明之賞驗採用的對話題材為一般日常生活常用對話，主要分為：個人基本資料、家庭類、學校類、興趣類等等。聽語障礙者與不懂手語的聽人透過本溝通輔具，針對不同題材相互對話，其溝通方式為1.）採用互動問答模式；2.）聽語障礙者以關鍵詞構句後，透過語音合成器將語句傳達給不懂手語的聽人『聽』；3.）聽人輸入語句後，透過手語轉換器將語句轉成對應的手語傳達給聽語障礙者『看』。 此種溝通模式除了讓輔具實際應用於聽語障礙者的生活中，拉近聽語障礙者與聽人之間的距離之外，更是評估系統效能的最佳方式，因為唯有透過實際的應用，才能確實評估實際的系統效能。 一般而言，輔具效能的評估方式分為兩部分：輸入速度之改善及構句正確性之評估。本發明依照上述實驗程序，分三個研究時期收集聽語障礙者之對話語句評估系統效能，並且經由系統化的教學與訓練過程中，發掘個案適用所產生的問題，修正系統核心技術及介面設計方向： 1.教學時期(Training Phase)教學時期著重在1.）輔具功能及使用方式之說明，2.)系統功能之補強及輔具介面之改良。本時期需配合手語老師進行，因為，手語老師最瞭解學生學習的問題所在，而且其教育背景與教學經驗，更是我們輔具設計寶 意見的來源。 2.調適時期(Adaptation Phase)調適時期著重在1.）熟悉輔具的功能及使用方式，2.）系統自動學習，3.）系統除錯。本時期讓學生自已摸索並熟悉輔具操作方式，透過學生賣際操作溝通輔具，系統自動學習個案的使用習慣；而且在實際操作過程之中，更可發現之前未注意到的系統錯誤，在此一併修正之。 3.評估時期(Evaluation Phase)評估時期著重在1.）輔具操作效能之探討，2.）輔具效能瓶頸之分析。本時期為系統效能發揮之時期，因此，除了探討系統操作是否趨向於平穩狀態之外，分析造成系統效能瓶頸的原因，更是提供未來輔具效能改善的重要參考指標。 本發明依擄不同時期所收集的對話語句，評估構句速度的改善，並透過構句成功率及構句滿意度分析，評估系統構句之正確性： ■構句成功率所謂『構句成功』是指系統成功地利用句型樣版將關鍵詞串轉為完整語句。當系統無法順利產生語句時，系統仍然保留一組由關鍵詞串組合而成的預設語句，供正常人猜想聽語障礙者可能要表達的意思。 ■構句滿意度所謂『構句滿意度』是指正常人對於系統所產生語句的滿意程度。本發明將構句滿意度分為5個等級：5表示極好、4表示好、3表示普通、2表示尚可、1表示極差。構句滿意度由與聽語障礙者溝通的教師或照顧者來評分，當系統『構句成功』時，正常人針對系統構句結果做一評比。 本發明經過三個時期的對話語料收集之後，彙整出構句速度、構句成功率以及構句滿意度評量表（如第30圖所示），分別探討比較三個研究時期的結果如表所示： 1.教學時期由於學生對於輔具功能及操作方式完全陌生，本時期需配合特教老師說明並引導學生使用本輔具，因此，本時期的對話語料以自我介紹主題。學生一開始會以類似平常手寫造句的方式來構句，因為學生對於系統關鍵詞構句的方式一時遣無法適應，所以本時期的平均關鍵詞個數偏高，同時也是造成構句成功率偏低的部分原因；另外，由於學生對於系統操作方式的不熟悉以及系統功能的不足，導致本時期的平均構句時間偏長；至於構句滿意度以及構句成功率，因系統核心尚未成熟，本時期的構句成功率偏低，而且構句滿意度也稍差。 2.調適時期根據教學時期特教老師的建議，系統在核心部分以及輔具介面設計皆有修正及補強。本時期之對話語句著重在個人基本資料的相互詢問。本時期學生對於系統操作方式已漸趨熟悉，加上關鍵詞輸入方式及輔具介面的改善，因此，平均構句時間已縮短許多；學生構句方式漸漸以關鍵詞的方式來構句，因此本時期的平均關鍵詞個數較教學時期為少，同時，也是構句成功率提升的部分原因；至於構句滿意度以及構句成功率，因系統核心之修正及補強，本時期之構句滿意度及構句成功率皆有上升的趨勢。 3.評估時期經過調適時期的適用，系統已自動學習使用者的使用習慣到達近似穩定的狀態，此時期的系統正處於使用者最為熟悉的狀態，因此，本時期的平均構句時間最短，而對話語料則著重在個人興趣以及生活趣事的討論。因為學生已能掌握關鍵詞構句的訣竅，本時期幾乎皆以關鍵詞的方式來構句，因此，本時期的平均關鍵詞個數較前兩個時期為少，同時，也是構句成功率趨向穩定的部份原因；至於構句滿意度以及構句成功率，因系統核心在適應時期已大致底定，本時期之構句滿意度及構句成功率皆已趨向穩定的狀態。探討系統構句失敗的原因，多來自於複雜構句，因此，系統若朝解決複雜句型的方向研究，相信，對於構句成功率將有顯著的提升。 本系統之手語認知符號預測選取、文句生成構句處理等功能性已能符合實際聽障學童之日常生活需求（如圖27及28所示），其中預測及自動學習機制可自動紀錄及更新使用者常用的句型、詞序、詞彙、片語等（如圖4、5、6、22所示），並透過系統所提供之中文文法修正機制修正其句法與語意（如圖12所示）。對於語言認知能力有限的個體而言，繁複的構句過程，反而造成其輔具學習及使用上的負擔。因此，本系統採結構化的分類使用者常用之對話語句，同時，基於使用便利性及輔具適用性之考量，提供分類儲存及管理對話語句的功能，讓使用者、教師、家長等可根據實際的使用習慣，安置符合個人所需之常用對話語句。透過分類選取對話語句的構句模式，對於輔具使用上的便利性以及輔具適用範圍皆有正面的助益。且基於台灣手語轉譯所遭遇的文法結構問題以及快速構句的考量，本研究透過句型樣版構句，讓使用者點選安置於虛擬鍵盤上的手語圖案作為關鍵詞輸入後，即可生成自然完整的對話語句。所提出的句型樣版構句有三項特點；1）.手語為聾人朋友常用的溝通方式，透過手語關鍵詞構句為最自然、最適切的構句方式；2）.採用句型樣版，可降低儲存空間及擄張對話語句；3）.相對於句型樣版之手語關鍵詞的順序性，可修正及加強聽語障礙者的中文文法觀念。而在進行系統適用性評估的過程，系統初步的訓練語料乃由特教老師挑選出近1000句（MLU為4.9個字、63條句型樣本、533條部分句型）的對話語料為範本，使得目前文句生成仍侷限較簡單的對話語句；然而可適用性結果顯示出其可行性。截至目前為止，本系統已收錄近9200句國小課文，將透過本系統已建立完成的自動學習訓練機制來進行更進一步的語料訓練，且可隨著語言學習的階段發展或適用範圍(Domain Specific Knowledge)，自行加入適合的對話語料或符號集（Language set，如手語符號等）。 本系統之研發亦提供一自動化學習調整機制，以符合個人需求、高功能性、高擴充性、低複雜度及具教育臨床療效的需求；建立基礎的手語符號與對話語料資料庫，以 提供系統的發展，未來仍可根據個人與族群個別化需求自行增加。且依擄本系統所提供之手語與中文文句結構化互譯處理、手語鍵盤、關鍵詞彙輸入、自動學習、預測等核心機制及語音輸出的功能，亦可提供並應用於構音障礙、腦性痲痺、口腔畸形、中風、喉切等類病人，其中針對肢體功能性障礙患者可選取適當的操作介面裝置，配合本系統提供的手語鍵盤、預測、文法修正生成機制，加速其輸入速度與增強其輸出語句之正確性；聽人可整合語音辨識功能來作為詞彙的輸入，在經過系統核心技術的處理與轉譯，輸出符合中文文法式的手語序列，藉此與聽障同胞進行溝通。且從賣際適用性評估的結果，亦提供本系統未來研發及改良的方向，可從下列幾個主要方面著手： 1).文法導正：由於聽障生在抽象概念、構詞、文法結構、新詞等方面的觀念相當薄弱，面對較具抽象的意念皆難以理解，必須透過熟悉學童發展的手語翻譯人員來解讀。因此，本系統將加強詞彙語意分析(LexiconAnalysis)，而目前本系統已建立了以HowNet為基礎的語意分析器，提供階層式的人、事、時、地、物關聯資料庫來推論及輔助檢查輸入語句的語意；亦可應用本系統所提供的中文文法式、動靜態顯示輸出策略，發展手語故事書等子系統，將教材或課外讀物轉換成手語序列顯示，以提供聽障同胞多樣化學習。 2).語意剖析及複雜子句生成處理：根據實際個案評估與觀察，由於手語溝通亦是視覺化的語言，具有其特有的語言結構，尤其是自然手語之複合詞及抽象意念等間題。因此，針對意圖分析與構句生成為主要探討的目標，未來可於系統核心處理部分，其句型樣版樹的節點部分可代表子句，並透過語意剖析處理，修正生成之文句； 3).多媒體人機溝通系統：下階段可整合語音辨識、語言模型之錯誤修正(Error Recovery)等技術先進技術，提供不懂手語的聽人以語音輸入與聽障同胞溝通；透過多元化使用者操作人機介面設計，如手語影像辨識、特殊肢障輸入選取裝置(Morse Code、Joystick、Sip-puffDevice)等，另以此類替代性特殊輔助裝置結合本系統的手語鍵盤與預測機制來提供不同的輸入方式，且可運用影音處理科技於手語多媒體教學及輔助訓練。而最終目標乃希望透過現階段之Palm PC、PDA、Blue Tooth等科技，將本系統移植於可攜式的裝置上，以提供更便利的操作使用。 相關系統或裝置之開發不僅可應用於國內約1/10聽語障礙的人口，亦可適用於老化、發展遲緩、構音障礙、聽覺障礙、腦性痲痺、口腔畸形、智力障礙及其他中樞系統疾病如中風、腦傷等族群，所延伸之經濟效益性實難以估計。 綜上所述，本發明的優點有：1.可為聾人朋友常用的溝通方式，透過手語關鍵詞構句為最自然、最適切的構句方式。 2.採用句型樣版，可降低儲存空間及擴張對話語句。 3.相對於句型樣版之手語關鍵詞的順序性，可修正及加強聽語障礙者的中文文法觀念。 4.提供之自動學習機制，可根擄使用者構句時常用的手語詞彙及句型樣版，引用統計學習機制的觀念來動態更新詞頻資料庫及句型樣版樹相關的節點資訊，將常用的詞彙及句型置前，以降低手語詞彙檢索次數，加快構句速度；同時透過詞彙淘汰策略，將較少使用的詞彙從高頻詞彙序列中移除，以降低搜尋空間，加快手語詞彙選取。 雖然本發明已以較佳賞施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
|
|
| 十、申請專利範圍： | |
| 1.一種溝通輔助系統，係有關於可將一手語轉成一語音之溝通輔助系統，該溝通輔助系統包括：一手語鍵盤模組，係透過動態配置之一手語符號及該手語符號對應一詞彙使用之一手語鍵盤作為一操作輸入媒介，並配合一詞性篩選機制及一句型預測機制來輔助一關鍵詞彙之輸入；一文句生成模組，包括一句型樣版之建構與匹配，其中，以該關鍵詞彙為構句基本要素，並以一片語為一節點匹配單位，配合該片語之一語意屬性及一詞性作語格匹配，並藉由一時間片語嵌入規則、一地方片語嵌入規則及一虛詞補綴處理，生成合乎語法及語意之一完整文句；以及一視聽覺回饋輸出模組，係透過一參數可調式之一靜態顯示模式及一動態顯示模式，二者擇一之模式，呈現中文文法式之一手語序列。 2.如申請專利範圍第1項所述之溝通輛助系統，其中該手語鍵盤之設計，係採用一分頁架構及由左而右、由上而下之檢視策略，並依照一詞彙序列之動態配置呈現該手語鍵盤之模式。 3.如申請專利範圍第1項所述之溝通輔助系統，其中該詞性篩選機制之作法包括：在一構句程序中，凡與所使用過之該詞彙具有相同之該詞性之一手語詞彙，將不再置於該手語鍵盤之一候選詞彙序列中。 4.如申請專利範圍第1項所述之溝通輔助系統，其中該句型預測機制之處理步驟包括：動態建立、更新符合中文文法之一構句結構之一詞性模組；於句型預測期間，透過一詞性模組預測下一個最有可能的該詞性；以及將符合該詞性之手語詞彙，按照出現之一詞彙頻率高低依序加入該手語鍵盤之一詞彙序列。 5.如申請專利範圍第1項所述之溝通輔助系統，其中該句型樣版之建構，係依據一對話語句之一斷詞結果、一詞性標記及一詞彙屬性，搭配符合對話使用習慣及語法延伸合理性之一句型延伸規則遞迴建構而成。 6.如申請專利範圍第1項所述之溝通輔助系統，其中該句型樣版之匹配，係以該片語為該節點匹配單位，其中，節點匹配原則係以一屬性為優先考量，其次考量該詞性，並允許時間片語及地方片語之暫時忽略，再藉由一動詞詞性之適度放寬，並輔以該句型樣版作計分處理。 7.如申請專利範圍第1項所述之溝通輔助系統，其中該時間片語嵌入規則及該地方片語嵌入規則，係配合一歸納方法之嵌入規則，該歸納方法係將之前未作節點匹配之一時間片語及一地方片語，嵌入該句型樣版的適當位置。 8.如申請專利範圍第1項所述之溝通輔助系統，其中該虛詞補綴處理，係利用該句型樣版之一語言資訊，針對一處調節點作適當之補綴。 9.如申請專利範圍第1項所述之溝通輔助系統，其中該關鍵詞彙之該詞性，係指一動詞、一名詞及一形容詞，其餘該關鍵詞彙之該詞性則歸為一處詞。 10.如申請專利範圍第1項所述之溝通輔助系統，其中該視覺回饋輸出模組，會將符合一中文文法結構之一手語圖案序列，依該靜態顯示模式及該動態顯示模式，二者擇一之模式，安置於該手語鍵盤上。 11.一種手語鍵盤模組，係有關於可輸入一手語之一輸入介面，該手語鍵盤模組，係透過動態配置之一手語符號及該手語符號對應一詞彙使用之一手語鍵盤作為一操作輸入媒介，並配合一詞性篩選機制及一句型預測機制來輔助一關鍵詞彙之輸入。 12.如申請專利範圍第11項所述之手語鍵盤模組，其中該手語鍵盤之設計，係採用一分頁架構及由左而右、由上而下之檢視策略，並依照一詞彙序列之動態配置呈現該手語鍵盤之模式。 13.如申請專利範圍第11項所述之手語鍵盤模組，其中該詞性篩選機制之作法包括：在一構句程序中，凡與所使用過之該詞彙具有相同之一詞性之一手語詞彙，將不再置於該手語鍵盤之一候選詞彙序列中。 14.如申請專利範圍第11項所述之手語鍵盤模組，其中該句型預測機制之處理步驟包括：動態建立、更新符台中文文法之一構句結構之一詞性模組；於句型預測期間，透過一詞性模組預測下一個最有可能的該詞性；以及將符合該詞性之手語詞彙，按照出現之一頻率高低依序加入該手語鍵盤之一詞彙序列。 15.如申請專利範圍第11項所述之文句生成模組，其中該關鍵詞彙之一詞性，係指一動詞、一名詞及一形容詞，其餘該關鍵詞彙之該詞性則歸為一虛詞。 16.一種文句生成模組，該文句生成模組包括一句型樣版之建構與匹配，其中，以一關鍵詞彙為構句基本要素，並以一片語為一節點匹配單位，配合該片語之一語意屬性及一詞性作語格匹配，並藉由一時間片語嵌入規則、一地方片語嵌入規則及一虛詞補綴處理，生成合乎語法及語意之一完整文句。 17.如申請專利範圍第16項所述之文句生成模組，其中該句型樣版之建構，係依據一對話語句之一斷詞結果、一詞性標記及一詞彙屬性，搭配符合對話使用習慣及語法延伸合理性之一句型延伸規則遞迴建構而成。 18.如申請專利範圍第16頁所述之文句生成模組，其中該句型樣版之匹配，係以該片語為該節點匹配單位，其中，節點匹配原則係以屬性為優先考量，其次考量該詞性，並允許時間片語地方片語之暫時忽略，再藉由一動詞詞性之適度放寬，並輔以該句型樣版作計分處理。 19.如申請專利範圍第16項所述之文句生成模組，其中該時間片語嵌入規則及該地方片語嵌入規則，係配合一歸納方法之嵌入規則，該歸納方法係將之前未作節點匹配之一時間片語及一地方片語，嵌入該句型樣版的適當位置。 20.如申請專利範圍第16項所述之文句生成模組，其中該處詞補綴處理，係利用該句型樣版之一語言資訊，針對一虛調節點作適當之補綴。 21.如申請專利範圍第16項所述之文句生成模組，其中該關鍵詞彙之該詞性，係指一動詞、一名詞及一形容詞，其餘該關鍵詞彙之該詞性則歸為一虛詞。 22.一種視聽覺回饋輸出模組，係有關於將一手語鍵盤輸入之一手語以語音方式做輸出，該視聽覺回饋輸出模組係透過一參數可調式之一靜態顯示模式及一動態顯示模式，二者擇一之模式，呈現中文文法式之一手語序列。 23.如申請專利範圍第22項所述之視聽覺回饋輸出模組，其中該視覺回饋輸出模組，會將符合一中文文法結構之一手語圖案序列，依該靜態顯示模式及該動態顯示模式，二者擇一之模式，安置於該手語鍵盤上。 |
|
| 十一、圖式： | |
                              |
|
瀏覽數:
分享