064_093-062AP-TW

:::

064_093-062AP-TW

發佈日期 : 2009-04-29

發明專利說明書


※申請案號：093125916	※I P C 分類：

一、	發明名稱：
	可移除陌生人之影像擷取裝置與方法(全文下載)
	IMAGE-CAPTURING DEVICE AND METHOD FOR REMOVING STRANGERS

二、

中文發明摘要：

本發明揭露一種可移除陌生人之影像擷取裝置與方法。首先，輸入第一影像。接著，系統控制模組決定是否進行陌生人影像處理步驟，並產生一結果。若此結果為否，則將第一影像直接送至影像輸出模組輸出；若此結果為是，則由人物辨識模組先進行辨識步驟，以辨識出第一影像中之至少一個標的影像和至少一個陌生人影像，再由陌生人影像處理模組進行陌生人影像處理步驟，而產生第二影像。接下來，輸出第二影像至影像輸出模組輸出。

三、

英文發明摘要：

The present invention provides an image-capturing device and method for removing strangers. First, input a first image. Then, a control module determines if a step to process stranger-images is needed, and obtains a result. If the resultis no, the first image is directly sent to an output module. If the result is yes, an identifying module begins to identify the targets and the strangers in the first image, and then, an stranger-images processing module starts the step to process stranger images. Afterwards, a second image is produced and sent to the output module.

四、	指定代表圖：
	(一)本案指定代表圖為：第2圖
	(二)本代表圖之元件符號簡單說明：
	201．．．系統控制模組
	202．．．影像輸入模組
	203．．．人物辨識模組
	204．．．影像資料庫
	205．．．陌生人影像處理模組
	206．．．影像壓縮模組
	207．．．影像輸出模組
	208．．．顯示裝置

五、	本案若有化學式時，請揭示最能顯示發明特徵的化學式：

六、	發明說明：
	【發明所屬之技術領域】
[n]	本發明是有關於一種可移除陌生人之影像擷取裝置與方法，且特別是有關於一種可以比對影像資料庫，移除陌生人影像並填補移除陌生人影像後之空白區域的影像擷取裝置與方法。
	【先前技術】
[n]	隨著數位時代的來臨，影像和視訊的需求大幅提高，而在消費性電子產品中，例如數位相機、數位攝影機等影像擷取裝置也越來越普及，以內容為基礎的影像處理技術也備受重視。
[n]	無論是傳統相機或是數位相機，在實際攝取影像時，往往會拍攝到不預期拍到的目標。舉例而言，在人潮眾多的觀光景點拍照時，常常會拍到背後的陌生人。又例如，在目標擺好姿勢並等攝影者花時間瞄準後，按下快門的瞬間卻剛好有路人走過鏡頭前，並被攝取到影像裡。這些通常都是拍照情況下會遇到的問題。即使再重拍一次也無法克服，甚至在人潮眾多的觀光景點，可能必須再重新排一次隊才能再照一張照片。如果在影像拍攝完成之後，再進行後端處理，不僅會花費許多時間，而使用者也必須具備影像處理的技巧才能修改。這在實際的生活上，的確造成相當大的困擾與不方便。
[n]	此外，在影像的處理技術中，習知的紋理合成演算法(Texture Synthesis Algorithm)著重在探討單一紋理合成方法，通常是利用比對鄰近像素的相似度，將最相似的像素合成至影像移除後留下的空白(Empty)區域。就合成的點數來說，分為以像素為基礎(Pixel-based)和以區塊為基礎(Patch-based)的方法。以像素為基礎的方法，例如L. Y. Wei 與M. Levoy在“Fast texture synthesis using tree-structured vector quantization,”(ACM SIGGRAPH’00 Conf. Proc., pp. 479-488, 2000)中所提出之方法，以及A. Efros與T. K. Leung在“Texture synthesis by nonparametric sampling,”(IEEE Int. Conf. Computer Vision,vol. 2, pp. 1033-1038, Sept., 1999)中所提出之方法，不但速度較慢，而且無法將結構的紋理建立出來。另一方面，以區塊為基礎的方法，例如L. Liang等人在“Real-time texture synthesis by patch-based sampling,”(ACM Trans. on Graphics, vol. 20, pp. 127-150, 2001)中所提出之方法，以及Y. H. Hu與R. A. Sambhare在“Constrained texture synthesis for image post processing”,(IEEE Int. Conf. on Multimedia and Expo, vol. 1, no. 6-9, pp. 113-116, July, 2003)中所提出之方法，雖然速度較快，但是並不適用於包含許多種紋理的一般影像。
[n]	而在影像修補方面，修補的點數也分為以像素為基礎和以區塊為基礎(Block-based)的方法，前者例如R. Bornard等人在“Missing data correction in still images and image sequences,”(ACM Multimedia, Dec., 2002)中所提出之方法，後者例如A. Criminisi等人在“Object Removal by Exemplar-Based Inpainting,”(IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol. 2, pp. 721-728, June, 2003)中所提出之方法。利用空白區域邊界上的區塊，與來源影像去比對出最接近的區塊，一般都是用正方形的區塊去比對。以區塊為基礎的方法，由於都是使用區塊的方式去比對，通常會產生區塊效應(Block Effect)。
[n]	此外，M. Bertalmio等人在“Simultaneous structure and texture image inpainting,”(IEEE Trans. on image processing, vol. 12, no. 8, August, 2003)中提出整合紋理合成與影像修補的演算法，將邊界的區域以流體力學方式向內擴散，但缺點是會將填補的區域模糊化，在大範圍的移除區域時，可以看出很明顯的不協調。
	【發明內容】
[n]	因此，本發明的目的就是在提供一種可移除陌生人之影像擷取裝置與方法，藉以比對影像資料庫中預先儲存之標的影像，並將多餘的陌生人影像移除。
[n]	本發明的另一目的就是在提供一種可移除陌生人之影像擷取裝置與方法，藉以有效地將移除影像後的空白區域填補完成，使得重建的影像和周遭的背景接近。
[n]	本發明的再一目的就是在提供一種可移除陌生人之影像擷取裝置與方法，其係使用色彩梯度去判斷影像中的紋理區域，藉以準確地根據不同的紋理，去分別合成影像移除後的空白區域。
[n]	本發明的又一目的就是在提供一種可移除陌生人之影像擷取裝置與方法，藉以判斷出不同的紋理區域，來減少計算的時間，並增加紋理合成的準確度。
[n]	根據本發明之上述目的，提出一種可移除陌生人之影像擷取裝置與方法，用以將陌生人影像移除，並填補移除陌生人影像後所留下之空白區域。
[n]	本發明之可移除陌生人之影像擷取裝置至少包括影像輸入模組、人物辨識模組、陌生人影像處理模組以及影像輸出模組，更包括系統控制模組控制影像輸入模組、人物辨識模組、陌生人影像處理模組以及影像輸出模組，其中，系統控制模組係用以判斷是否應對第一影像進行陌生人影像處理步驟。影像輸入模組係用以接收第一影像。人物辨識模組係用以辨識出第一影像中之至少一個標的影像與至少一個陌生人影像。陌生人影像處理模組係用以進行前述之陌生人影像處理步驟，來從第一影像中移除前述之陌生人影像，而產生第二影像。影像輸出模組係用以將未經陌生人影像處理步驟之第一影像或經陌生人影像處理步驟之第二影像輸出。其中，本發明之影像擷取裝置可以為數位相機或數位攝影機。
[n]	在本發明之較佳實施例中，可移除陌生人之影像擷取裝置更包括影像資料庫、影像壓縮模組與顯示裝置，影像資料庫預先儲存有標的影像，影像壓縮模組係用以對第一影像或第二影像進行壓縮，而顯示裝置係顯示影像輸出模組輸出之影像。陌生人影像處理模組更包括填補移除陌生人影像後所產生之至少一個空白區域。
[n]	再者，本發明之影像擷取方法，係於前述之可移除陌生人之影像擷取裝置中，將陌生人影像移除，並填補移除陌生人影像後所留下之空白區域。此方法至少包括下列步驟：首先，輸入第一影像。接著，決定是否對第一影像進行陌生人影像處理步驟，並產生一結果。若此結果為否，則將第一影像直接輸出至影像輸出模組；若此結果為是，則先進行辨識步驟，以辨識出第一影像中之至少一個標的影像和至少一個陌生人影像，再進行陌生人影像處理步驟，而產生第二影像，然後，輸出第二影像至影像輸出模組。接著，影像輸出模組將第一影像或第二影像輸出。
[n]	又，本發明之辨識步驟更可為：將第一影像與影像資料庫中預先儲存之標的影像進行比對，或者手動點選第一影像中之陌生人影像。陌生人影像處理步驟更至少包括下列步驟：首先，移除陌生人影像，而留下至少一個空白區域於第一影像中，其中，第一影像除空白區域外之其他部份為一背景區域，而背景區域具有複數個第一像素環繞空白區域之邊界。接著，對第一像素進行紋理萃取步驟，以判斷空白區域周遭所具有之紋理種類數目。然後，複製部分第一像素，並以複製之第一像素填入空白區域中。
	【實施方式】
[n]	本發明提供一種可移除陌生人之影像擷取裝置與方法，在影像輸入模組輸入所拍攝之第一影像後，以手動選擇或者自動選擇的方式，由系統控制模組判別是否進行陌生人影像處理步驟，並得到一結果。若此結果為否，則直接將第一影像送至影像輸出模組。若此結果為是，則先對第一影像進行辨識步驟，手動點選要移除的陌生人影像，或者由人物辨識模組比對影像資料庫中預先儲存之標的影像，辨識出要保留的標的影像與要移除的陌生人影像。再進行陌生人影像處理步驟，由陌生人影像處理模組將不需要的陌生人影像移除，並填補移除陌生人影像後所留下的空白區域，而產生第二影像。處理完成後，將第二影像送至影像輸出模組。然後，影像輸出模組將第一影像或第二影像輸出。
[n]	在陌生人影像處理步驟中，陌生人影像處理模組先判斷紋理的種類及區域範圍，針對紋理區域與非紋理區域，分別使用半貼塊紋理合成法(Sub-patch Texture Synthesis Algorithm)及加權內插法(Weighted Interpolation Method)處理。針對紋理區域，半貼塊紋理合成法經由比對區塊的相似度，可以貼一整條區塊的紋理影像。由於區塊的大小可以彈性調整，特別適用於不規則的區塊。藉由調整搜尋的鄰近像素值，更可用於不同尺寸的紋理貼塊。對於非紋理區域，為了簡化運算量，加權內插法利用與移除區域同一列之背景紋理，來重建移除影像後的空白區域。最後，再利用區塊平滑法(Block-smoothing Method)，將影像的邊緣模糊化，以達到良好的影像重建品質。
[n]	為了使本發明之敘述更加詳盡與完備，可參照下列描述並配合所附之圖示。
[n]	請參考第1a圖與第1b圖，第1a圖與第1b圖係繪示本發明之功能示意圖。在第1a圖中，當使用影像擷取裝置，例如可為數位相機，拍攝標的101時，有時會拍攝到不需要的陌生人影像，例如可為路人102。藉由本發明所提出之影像擷取方法，利用拍攝時的第一背景紋理103及/或第二背景紋理104，便可在路人102移除後之空白區域重建出與背景接近的影像，如第1b圖所示。在真實的世界中，紋理可能分為兩種類型：一種為結構性的紋理(例如瓷磚)，另一種為隨機性的自然紋理(例如沙灘、海水)。在本發明之較佳實施例中，對於紋理區域，使用半貼塊紋理合成法，來重建移除影像後的空白區域，而對於非紋理區域，則使用加權內插法來填補。
[n]	接著，請參考第2圖，第2圖係繪示本發明較佳實施例之系統架構圖。在本發明之較佳實施例中，可移除陌生人之影像擷取裝置至少包括系統控制模組201、影像輸入模組202、人物辨識模組203、影像資料庫204、陌生人影像處理模組205、影像壓縮模組206、影像輸出模組207以及顯示裝置208，其中，系統控制模組201控制影像輸入模組202、人物辨識模組 203、陌生人影像處理模組205、影像壓縮模組206以及影像輸出模組207。當影像輸入模組202輸入一影像時，以手動選擇或自動選擇的方式，由系統控制模組201決定是否要使用陌生人影像處理步驟，以對陌生人影像進行移除的程序，將不需要的陌生人影像移除。若不進行陌生人影像處理步驟，所拍攝到的影像則會直接傳送到影像壓縮模組206，將影像壓縮後，再傳送至影像輸出模組207輸出至顯示裝置208，以顯示影像擷取裝置所拍攝的結果。
[n]	當進行陌生人影像處理步驟時，所拍攝到的影像會先送到人物辨識模組203，經由與影像資料庫204中預先儲存之標的影像比對後，判斷出影像內所有的標的影像，其中，標的影像例如可為家庭相關成員之影像資料。比對的方法係計算所拍攝到的影像之特徵向量與影像資料庫204中之標的影像的特徵向量，以兩個特徵向量的相差值是否小於臨界值，來決定是否屬於標的影像。此外，亦可以手動點選要移除之陌生人影像，比對結果出來後或辨識出陌生人影像後，再由陌生人影像處理模組205將不需要的陌生人影像移除，並填補影像移除後所留下的空白區域。接著，將處理過的影像傳送到影像壓縮模組206進行壓縮，再傳送至影像輸出模組207輸出，顯示裝置208則顯示經過此陌生人影像移除處理後，只剩下標的影像之影像。
[n]	請參考第3圖，第3圖係繪示本發明較佳實施例進行陌生人影像處理步驟之流程圖。首先，輸入一影像(步驟301)，此輸入影像為RGB色相(RGB Domain)。為了更清楚描述本發明，在本發明之較佳實施例中，此影像包括家庭成員與陌生人之影像，並以家庭成員表示標的影像，而影像資料庫中已預先儲存家庭相關成員影像。
[n]	其次，在步驟302中，進行家庭相關成員辨識的操作，利用人物辨識模組，與影像資料庫中儲存之家庭相關成員影像進行比對，以作家庭相關成員辨識，可以判斷出屬於家庭相關成員的影像及不屬於家庭相關成員的陌生人，而不屬於家庭相關成員的陌生人即為所要移除的陌生人影像。在移除陌生人影像後，步驟303使用邊界延伸法，將影像移除後所留下的空白區域之邊界延伸，以讓重建後的影像之邊界較不明顯。
[n]	接著，在步驟304中，對空白區域外圍之至少一圈像素進行紋理萃取，並將影像轉為色彩梯度色相(Color Gradient Domain)，來計算色彩梯度，以判斷空白區域周遭所包含的紋理種類數目。紋理萃取係將原本空白區域周遭的像素展開成一維的向量，利用計算色彩梯度的方式，將具有RGB色相的輸入影像轉換成色彩梯度色相。由於拍攝到的輸入影像中可能會包含紋理區域與非紋理區域，為了讓填補出來的影像和空白區域的周遭背景接近，本發明使用色彩梯度來判斷空白區域周遭的紋理種類，利用累積的色彩梯度變化量(步驟305)，來將輸入影像分成紋理區域與非紋理區域。當累積的色彩梯度變化量大於臨界值時，表示此區域屬於非紋理區域，而當累積的變化量小於臨界值時，表示此區域屬於紋理區域，其中此臨界值係根據拍攝到的輸入影像背景來決定，可彈性調整。在計算色彩梯度色相之步驟後，所要處理的影像又會轉換回RGB色相，以進行後續處理。本發明在紋理區域使用半貼塊紋理合成法，在非紋理區域使用加權內插法，並由之前計算出的紋理種類來決定紋理的範圍，以減少計算的時間。
[n]	在紋理區域中，於步驟306決定搜尋的背景區域，其係利用之前所計算出的色彩梯度來跟整張輸入影像比較，以判斷出紋理的區域。舉例而言，如果萃取出的周遭紋理分為兩種，找出第一種紋理在整張影像的區域後，屬於第一種紋理的區域便不再列入第二種紋理的搜尋範圍，因此本發明可以避免比對到錯誤的紋理區塊，增加合成的準確度。接著，在步驟307中，決定空白區域的合成順序與方向，至少包括由上至下、由下而上、由左至右、由右至左以及由外部到內部。然後，在步驟308中，使用半貼塊紋理合成法決定比對的形狀及尺寸，以將空白區域中之各紋理區域合成出來。接下來，於步驟309中確認是否完成，若未完成，則再回到步驟307，並重覆後續步驟。
[n]	在非紋理區域中，與紋理區域合成法相似，也是先決定背景取樣區域(步驟310)。接著，在步驟311中，使用加權內插法，將空白區域中之各紋理區域合成出來，再於步驟312中確認是否完成，若未完成，則再回到步驟311，並重覆後續步驟。
[n]	將空白區域合成出來後，本發明使用區塊平滑法(步驟313)，將影像的邊緣模糊化，以達到良好的影像重建品質。接著，於步驟314中確認對影像的滿意度，若不滿意，則回到步驟303，並重覆後續步驟。最後，於步驟315中將完成的輸出影像輸出。
[n]	在本發明較佳實施例進行陌生人影像處理步驟之流程圖中，步驟 303之邊界延伸法與步驟313之區塊平滑法係為選擇性操作，在其他的實施例中亦可以省略這些步驟。此外，本發明較佳實施例所提出之半貼塊紋理合成法(步驟308)與加權內插法(步驟311)，也可以獨立使用在其他的實施例中。
[n]	請參考第4圖，第4圖係繪示本發明較佳實施例之邊界延伸法之示意圖。在第4圖中，原本空白區域401的邊界402經過邊界延伸法後，變為延伸後的空白區域邊界403，亦即，延伸後的空白區域變為原本空白區域401 加上延伸後增加的空白區域404，而增加的空白區域404之長度W_E則代表延伸的像素405的數目。邊界延伸法可以將影像移除後的空白區域延伸，以讓重建後的影像之邊界較不明顯。
[n]	接著，請參考第5圖，第5圖係繪示本發明較佳實施例之紋理萃取示意圖。空白區域501為影像移除後的區域，其內部包括邊界502(標示為0的部分)。而在邊界502外圍的像素可以分為第一圈之像素503(標示為1的部分)與第二圈之像素504(標示為2的部分)，其中，第一圈之像素503環繞邊界502，而第二圈之像素504環繞第一圈之像素503。藉由計算第一圈之像素503與第二圈之像素504的色彩梯度，可以判斷出空白區域501周遭具有多少種不同的紋理區域，例如在本發明之較佳實施例中，空白區域501周遭具有兩種不同的紋理區域。將此兩種紋理區域分別當作第一影像來源區域505與第二影像來源區域506，藉以填補空白區域501。計算色彩梯度所需之空白區域外圍像數之圈數，可根據實際使用需求進行調整，並不限定於兩圈。
[n]	接下來，將分別介紹本發明之半貼塊紋理合成法與加權內插法的詳細流程。
[n]	請參考第6a圖，第6a圖係繪示本發明較佳實施例之半貼塊紋理合成法之示意圖。為了要讓合成的影像品質與原本的影像品質相近，本發明利用影像中之背景的紋理，去合成出空白區域的影像。先根據之前計算所得之紋理種類數目，將影像分為同樣數目的區域。舉例而言，在第6a圖中，將影像分為第一候選區域601、第二候選區域602、第一空白區域603與第二空白區域604，其中，第一候選區域601與第一空白區域603具有相同的紋理種類，而第二候選區域602與第二空白區域604具有相同的紋理種類。
[n]	本發明較佳實施例之半貼塊紋理合成法使用倒U型之貼塊，來建立紋理的機率模型。由於在機率上，影像的像素與鄰近區域的像素相似度最高，因此，倒U型之貼塊可以將像素相似度的機率提高，也可使合成後的影像較無邊緣效應(Artifact Effect)。在本發明之較佳實施例中，舉例而言，若目前要合成第一空白區域603中的第一列，則先將第一空白區域603中的第一列當作目前貼塊 605，而與目前貼塊605中之像素最相似的便是相鄰的倒U型第一貼塊606，其中，第一貼塊606倒U型環繞目前貼塊605。接著，在與第一空白區域 603相同紋理之第一候選區域601中，尋找和第一貼塊606大小相同的第二貼塊，其中，第二貼塊倒U型環繞部份第一候選區域601。最後，將第二貼塊倒 U型環繞之部份第一候選區域601複製，並填入第一貼塊倒U型環繞之目前貼塊605中。依此方式，繼續以垂直方向由上而下，依序合成出第一空白區域603 之影像，直到第一空白區域603與第二空白區域604的邊界609。接著，再依同樣的方式，進行第二空白區域604的處理，但第二空白區域604則由另一個方向去合成，也就是由下而上依序合成，直到第一空白區域603與第二空白區域604的邊界609。在第6a圖中，假設第二貼塊為貼塊608，貼塊608 倒U型環繞一貼塊607，因此，在合成目前貼塊605時，便將貼塊607填入目前貼塊605中，完成目前貼塊605之合成。
[n]	相似度的計算公式例如可以為相減平方和(Sum of Square Difference；SSD)公式：
[n]
[n]	其中，N(P_cur)代表第一貼塊606，N(P_can)代表第一候選區域601中的複數個候選貼塊，P_cur與P_can分別代表第一貼塊606與候選貼塊中所包含的像素，R、G、B分別代表每一點像素的紅、綠、藍的像素值。由於第一貼塊606和候選貼塊形狀、大小相同，且各包含h個像素點，故在計算相似度時，第一貼塊606與候選貼塊中所包含的像素點(P_i)的像素值都必須計算。而計算出來的D(N(P_cur),N(P_can))之值越小，表示第一貼塊606與候選貼塊之相似度越大，因此，當計算出最小值時，該候選貼塊即為與第一貼塊606最相似的第二貼塊。
[n]	在處理不同空白區域大小時，貼塊寬度610(W_patch) 亦可以調整為不同的大小。由於搜尋的鄰近貼塊之像素多寡會影響合成出來的影像品質，因此，根據不同的紋理特性，需使用不同的搜尋圈數與鄰近像素數目。一般而言，在平滑的影像區域需使用較多的鄰近像素數目，而在結構的影像區域則使用較少的鄰近像素數目。舉例而言，如果是一圈倒U字形，所需的鄰近像素數目為貼塊寬度610加上四點(可表示為W_patch+(4x1))。如果是兩圈倒U字形，所需的鄰近像素數目為兩倍的貼塊寬度610加上四點與六點(可表示為2W_patch+(4x1)+(4x2))，因此，可推導出K圈倒U字形所需的鄰近像素數目為：
[n]
[n]	其中，K代表搜尋的圈數，W_patch代表貼塊寬度。第6b圖繪示當K為1與2，亦即，搜尋的圈數為一圈與兩圈時，所需鄰近像素數目之示意圖。
[n]	請參考第7圖，第7圖係繪示本發明較佳實施例之加權內插法之示意圖。本發明利用影像來源區域701的像素資料，來填補空白區域702。舉例而言，在進行空白區域702中之像素703的填補時，便是利用與像素703同一列之左側影像來源區域像素704與右側影像來源區域像素705。首先，分別計算出左側影像來源區域像素704乘以加權值與右側影像來源區域像素705乘以加權值，再將所得的結果相加後取其平均值，其中，此加權值例如可使用高斯係數(Gaussian Coefficient)。平均後的結果即為此空白區域702中的像素值703。舉例而言，若要計算第7圖中的像素P_M1，則利用像素P_L1與像素P_R1的平均來計算。由於像素P_L1、像素P_L1左右兩邊各兩點、像素P_R1以及像素P_R1右邊兩點都是屬於影像來源區域701，因此，所使用的計算公式例如可以為公式(1)所示。但是當計算像素P_R1左邊兩點時，由於像素P_R1左邊兩點屬於空白區域702，因此，需利用屬於影像來源區域701中的像素值，來計算像素P_R1左邊兩點。依此方式，即可計算出空白區域702中之各像素值。所使用的公式(1)如下所示：
[n]
[n]	其中，i代表影像中的列數或行數，W為一加權值，當P_Ln與P_Rn在影像來源區域701中時，P_Mi為空白區域702中之一像素，且W_i-2, W_i+2=0.05、W_i-1, W_i+1=0.25和W_i=0.4，而當P_Ln或P_Rn在空白區域702中時，更包括P_i+1=2P_i-P_i-1、P_i+2=2P_i-P_i-2、P_i-1=2P_i-P_i+1以及P_i-2=2P_i-P_i+2。在其他實施例中，亦可使用同一行之影像來源區域像素，來填補空白區域。
[n]	接著，請參考第8圖，第8圖係繪示本發明較佳實施例之區塊平滑法之示意圖。將藉由半貼塊紋理合成法及/或加權內插法填補後的空白區域定義為影像填補區域801，並定義其他剩餘區域為影像來源區域802。先判斷影像填補區域801之邊界區塊803的像素位置，將此像素位置設為區塊中心，再設定欲使用區塊平滑法的區塊大小W_B，接著，利用邊界區塊803相對兩側同樣區塊大小之區塊內的像素值，計算邊界區塊803中的新像素值。計算的公式例如可以如下所示：P_avg(x,y)=(P_left(x,y)+P_right(x,y))/2 其中，P_avg(x,y)為邊界區塊803的新像素值，P_left(x,y)與P_right(x,y)分別代表邊界區塊803左右兩側之像素值，x與y分別代表影像的列數與行數。亦即，利用邊界區塊803的左邊區塊804中之像素值與右邊區塊805中之像素值，去計算邊界區塊803中的新像素值。
[n]	因此，由上述本發明之較佳實施例可知，應用本發明具有下列優點。首先，本發明使用色彩梯度去判斷影像中的紋理區域，以決定在合成時的比對範圍，可以避免在錯誤的紋理區域中比對相似度，浪費多餘的計算時間，亦可增加合成時的準確度，避免將錯誤的紋理區域填補至空白區域中。其次，本發明之方法可以解決習知以像素為基礎之方法的缺點-速度慢及無法建立結構性的紋理，也可以解決習知以區塊為基礎之方法的缺點-區塊效應，且本發明合成出來的影像不會有模糊化的問題。更甚者，本發明利用紋理萃取，可以判斷出兩種以上的紋理影像，適用於包含數種紋理區域的影像，不僅可以準確地根據不同的紋理分別去合成，更可處理習知技術上無法解決的交錯(Intersection)區域。此外，本發明所提出的演算法相當規則，且比對方式係以線為基礎(Line-based)，因此，可與數位影像擷取裝置前端的線式記憶體(Line- memory)配合，可以利用硬體實現整合至數位影像擷取裝置，以加速計算的速度。
[n]	表一與表二分別列出本發明與習知之紋理合成演算法以及影像修補演算法的比較，從中可看出本發明之優點。由於習知之紋理合成演算法以及影像修補演算法在比對時，比對範圍通常為整張影像，所以計算量相當大。本發明使用色彩梯度去判斷影像中的紋理區域，以決定在合成時的比對範圍，因此可減少計算量。
[n]
[n]
[n]	雖然本發明已以一較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
	【圖式簡單說明】
[n]	為讓本發明之上述和其他目的、特徵、和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下：
[n]	第1a圖與第1b圖係繪示本發明之功能示意圖。
[n]	第2圖係繪示本發明較佳實施例之系統架構圖。
[n]	第3圖係繪示本發明較佳實施例進行陌生人影像移除處理之流程圖。
[n]	第4圖係繪示本發明較佳實施例之邊界延伸法之示意圖。
[n]	第5圖係繪示本發明較佳實施例之紋理萃取示意圖。
[n]	第6a圖係繪示本發明較佳實施例之半貼塊紋理合成法之示意圖。
[n]	第6b圖繪示搜尋的圈數為一圈與兩圈時，所需鄰近像素數目之示意圖。
[n]	第7圖係繪示本發明較佳實施例之加權內插法之示意圖。
[n]	第8圖係繪示本發明較佳實施例之區塊平滑法之示意圖。
	【主要元件符號說明】
[y]	101．．．標的
[y]	102．．．路人
[y]	103．．．第一背景紋理
[y]	104．．．第二背景紋理
[y]	201．．．系統控制模組
[y]	202．．．影像輸入模組
[y]	203．．．人物辨識模組
[y]	204．．．影像資料庫
[y]	205．．．陌生人影像處理模組
[y]	206．．．影像壓縮模組
[y]	207．．．影像輸出模組
[y]	208．．．顯示裝置
[y]	301．．．輸入影像
[y]	302．．．判斷是否為標的影像
[y]	303．．．使用邊界延伸法
[y]	304．．．進行紋理萃取並計算色彩梯度
[y]	305．．．計算累積的色彩梯度變化量
[y]	306．．．決定搜尋區域
[y]	307．．．決定空白區域的合成順序與方向
[y]	308．．．使用半貼塊紋理合成法
[y]	309．．．確認是否完成紋理區域的合成
[y]	310．．．決定取樣區域
[y]	311．．．使用加權內插法
[y]	312．．．確認是否完成非紋理區域的合成
[y]	313．．．使用區塊平滑法
[y]	314．．．確認對影像的滿意度
[y]	315．．．輸出影像
[y]	401．．．原本空白區域
[y]	402．．．邊界
[y]	403．．．邊界
[y]	404．．．增加的空白區域
[y]	405．．．延伸的像素
[y]	501．．．空白區域
[y]	502．．．邊界
[y]	503．．．第一圈之像素
[y]	504．．．第二圈之像素
[y]	505．．．第一影像來源區域
[y]	506．．．第二影像來源區域
[y]	601．．．第一候選區域
[y]	602．．．第二候選區域
[y]	603．．．第一空白區域
[y]	604．．．第二空白區域
[y]	605．．．目前貼塊
[y]	606．．．第一貼塊
[y]	607．．．貼塊
[y]	608．．．貼塊
[y]	609．．．邊界
[y]	610．．．貼塊寬度
[y]	701．．．影像來源區域
[y]	702．．．空白區域
[y]	703．．．像素
[y]	704．．．左側影像來源區域像素
[y]	705．．．右側影像來源區域像素
[y]	801．．．影像填補區域
[y]	802．．．影像來源區域
[y]	803．．．邊界區塊
[y]	804．．．左邊區塊
[y]	805．．．右邊區塊

七、

申請專利範圍：

1. 一種可移除陌生人之影像擷取裝置，至少包括：一影像輸入模組，用以接收一第一影像；一人物辨識模組，用以辨識出該第一影像中之至少一標的影像與至少一陌生人影像；一陌生人影像處理模組，用以進行一陌生人影像處理步驟，來從該第一影像中移除該陌生人影像而產生一第二影像；以及一影像輸出模組，將未經該陌生人影像處理步驟之該第一影像或經該陌生人影像處理步驟之該第二影像輸出。
2.如申請專利範圍第1項所述之可移除陌生人之影像擷取裝置，更包括一系統控制模組，其中該系統控制模組控制該影像輸入模組、該人物辨識模組、該陌生人影像處理模組以及該影像輸出模組，該系統控制模組用以判斷是否應對該第一影像進行該陌生人影像處理步驟。
3.如申請專利範圍第1項所述之可移除陌生人之影像擷取裝置，更包括一影像壓縮模組，其中該影像壓縮模組對未經該陌生人影像處理步驟之該第一影像或經該陌生人影像處理步驟之該第二影像進行壓縮。
4.如申請專利範圍第1項所述之可移除陌生人之影像擷取裝置，更包括一影像資料庫，其中該影像資料庫預先儲存有該標的影像。
5.如申請專利範圍第1項所述之可移除陌生人之影像擷取裝置，更包括一顯示裝置，藉以顯示該第一影像或該第二影像。
6.如申請專利範圍第1項所述之可移除陌生人之影像擷取裝置，其中該陌生人影像處理模組更包括：填補移除該陌生人影像後所產生之至少一空白(Empty)區域。
7.如申請專利範圍第1項所述之可移除陌生人之影像擷取裝置，其中該影像擷取裝置為一數位相機或一數位攝影機。
8.一種影像擷取方法，適用於一可移除陌生人之影像擷取裝置中，該方法至少包括：輸入一第一影像；決定是否對該第一影像進行一陌生人影像處理步驟，並產生一結果；若該結果為否，則將該第一影像直接輸出至一影像輸出模組；若該結果為是，則先進行一辨識步驟，以辨識出該第一影像中之至少一標的影像和至少一陌生人影像，再進行一陌生人影像處理步驟，而產生一第二影像；將該第二影像輸出至該影像輸出模組；以及該影像輸出模組輸出該第一影像或該第二影像。
9.如申請專利範圍第8項所述之方法，在該影像輸出模組輸出該第一影像或該第二影像之步驟前，更包括由一影像壓縮模組對該第一影像或該第二影像進行壓縮。
10.如申請專利範圍第8項所述之方法，其中該可移除陌生人之影像擷取裝置為一數位相機或一數位攝影機。
11.如申請專利範圍第8項所述之方法，其中該辨識步驟更至少包括：將該第一影像與一影像資料庫中預先儲存之該標的影像進行比對。
12.如申請專利範圍第8項所述之方法，其中該辨識步驟更至少包括：手動點選該第一影像中之該陌生人影像。
13.如申請專利範圍第8項所述之方法，其中該陌生人影像處理步驟更至少包括：移除該陌生人影像，而留下至少一空白區域於該第一影像中，其中，該第一影像除該空白區域外之其他部份為一背景區域，該背景區域具有複數個第一像素環繞該空白區域之邊界；對該些第一像素進行一紋理萃取步驟，以判斷該空白區域周遭之紋理種類數目；以及複製部分該些第一像素，並以複製之該些第一像素填入該空白區域中。
14.如申請專利範圍第13項所述之方法，在該紋理萃取步驟前，更包括使用一邊界延伸法，以將該空白區域之邊界延伸。
15.如申請專利範圍第13項所述之方法，在該將複製之該些第一像素填入該空白區域中之步驟後，更包括使用一區塊平滑法，藉以平滑填補後之該空白區域的邊界，其中該區塊平滑法至少包括：將填補後之該空白區域的邊界分為複數個第二像素；以及將相鄰於每一該些第二像素相對兩側之像素值相加再取平均，以得到每一該些第二像素之一新像素值。
16.如申請專利範圍第13項所述之方法，其中該複製部分該些第一像素，並以複製之該些第一像素填入該空白區域中之步驟係根據一演算法。
17.如申請專利範圍第16項所述之方法，其中該演算法為一半貼塊紋理合成法(Sub-patch texture synthesis algorithm)，至少包括：根據該空白區域周遭之紋理種類數目，將該背景區域分為至少一第一紋理區；在該第一紋理區中，將該空白區域之邊界分為至少一第一貼塊，其中，該第一貼塊倒U型環繞部份該空白區域，且該第一貼塊具有複數個第二像素；在該第一紋理區中，找出與該第一貼塊大小相同之一第二貼塊，其中，該第二貼塊倒U型環繞部份該背景區域，且該第二貼塊具有複數個第三像素；以及將該第二貼塊倒U型環繞之該背景區域複製並填入該第一貼塊倒U型環繞之該空白區域。
18.如申請專利範圍第17項所述之方法，其中該找出該第二貼塊之步驟係根據計算該些第二像素與該些第三像素之相似度。
19.如申請專利範圍第18項所述之方法，計算相似度之步驟係根據一相減平方和(Sum of Square Difference；SSD)公式：

其中，N(P_cur)與N(P_can)分別代表該第一貼塊與該第二貼塊，P_cur與P_can分別代表該些第二像素與該些第三像素，RGB分別代表每一該些像素的紅、綠、藍的像素值，D(N(P_cur),N(P_can))之值越小，該些第二像素與該些第三像素之相似度越大。
20.如申請專利範圍第16項所述之方法，其中該演算法為一加權內插法(Weighted interpolation method)，至少包括：將該空白區域分為複數個次區域，其中，該些次區域為條狀，每一該些次區域具有複數個第二像素；根據該些次區域，將該背景區域分為對應之複數個影像來源區，其中，每一該些次區域與對應之每一該些影像來源區位於同一列，每一該些影像來源區具有複數個第三像素；以及加權計算該些第三像素，並將結果填入該些第二像素。
21.如申請專利範圍第20項所述之方法，其中該加權計算該些第三像素，並將結果填入該些第二像素之步驟，係根據一公式：

其中，當P_Ln與P_Rn為部份該些第三像素時，P_Mi為該些第二像素其中之一，W為一加權值，且W_i-2，W_i+2=0.05、W_i-1, W_i+1=0.25和W_i=0.4，當P_Ln或P_Rn為部份該些第二像素時，更包括P_i+1=2P_i-P_i-1、P_i+2=2P_i-P_i-2、P_i-1=2P_i-P_i+1以及P_i-2=2P_i-P_i+2。
22.如申請專利範圍第21項所述之方法，其中該加權值為高斯係數(Gaussian Coefficient)。

八、	圖式：
	第1a圖第1b圖第2圖第3圖第4圖第5圖第6a圖第6b圖第7圖第8圖

瀏覽數: