輝度値の変化と画像の局所性を考慮した
パターン類似度に基づくエネルギー最小化による画像修復


研究担当者 : 河合 紀彦  佐藤 智和  横矢 直和


<背景と目的>

インターネットの普及に伴い,個人が日常的に撮影した写真や映像をホーム ページやブログに掲載することが一般的に行われている.このような目的で,過 去に撮影済みのアナログ写真をスキャナなどで電子化する際,アナログ写真の物 理的な損傷(キズ,よごれ等)によりそのままでの利用が難しい場合がある.ま た,デジタル写真や映像においては,利用意図に沿わない物体などが写っている ため,そのままでは利用しづらい場合も起こりうる.このような問題に対して, 写真についた傷や意図せず写りこんでしまった物体などの画像内の不要部分を取 り除き,取り除かれた領域(欠損領域)を自動的に違和感なく修復するこ とで画像の利用価値を高める画像修復に関する研究が盛んに行われている.

キーワード:画像修復,画像補間,エネルギー最小化,Image Inpainting,Image Completion,Energy Minimization


<アプローチ>

1,欠損領域内の画像の尤もらしさを,画像中の欠損領域以外のテクスチャの類似度に基づいてエネルギー関数を定義
  その際,画像内の輝度値の変化や画像の局所性を考慮した項目をエネルギー関数に導入することで,
  輝度値の不自然な変化やぼけを抑制する
2,エネルギー関数を最小化させることで,欠損領域を修復


<実験結果>

原画像 欠損領域を指定した画像 修復画像
原画像 欠損領域を指定した画像 修復画像

画像修復過程ムービー
原画像 欠損領域を指定した画像 修復画像

画像修復過程ムービー



発表等

河合 紀彦,佐藤 智和,横矢 直和:
"テクスチャの明度変化と局所性を考慮したパターン類似度を用いたエネルギー最小化による画像修復",
電子情報通信学会論文誌, Vol.J91-D, No.9 pp. 2293-2304 ,Sep. 2008. (pdf file)  (正式なのは信学会のページから)
(論文中に紹介している結果の比較ページ結果の比較ページはこちら

河合 紀彦,佐藤 智和,横矢 直和:
"画像修復における定性的・定量的評価法に関する考察",
情報科学技術フォーラム(FIT) 情報科学技術レターズ, Vol. 6, pp. 245-248, Aug. 2007. (pdf file)

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Image Inpainting Considering Brightness Change and Spatial Locality of Textures and Its Evaluation",
Proc. Pacific-Rim Symposium on Image and Video Technology (PSIVT2009), Jan. 2009. (pdf file)

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Image Inpainting Considering Brightness Change and Spatial Locality of Textures",
CD-ROM Proc. Int. Conf. on Computer Vision Theory and Applications (VISAPP), Vol. 1, pp. 66-73, Jan. 2008. (pdf file)

Norihiko Kawai, Tomokazu Sato and Naokazu Yokoya:
"Image Inpainting Based on Energy Minimization",
Proc. SPIE Electronic Imaging, Vol. 6498-13, Jan. 2007. (pdf file)

河合 紀彦,佐藤 智和,横矢 直和:
"テクスチャの明度変化と局所性を考慮したパターン類似度に基づくエネルギー最小化による画像修復",
画像の認識・理解シンポジウム(MIRU2007)講演論文集, pp. 227-234, July 2007. (pdf file)

河合 紀彦,佐藤 智和,横矢 直和:
"パターン類似度に基づくエネルギー最小化による画像修復",
電子情報通信学会 技術研究報告, PRMU2006-163, pp. 13-18, Dec. 2006. (pdf file)

河合 紀彦,佐藤 智和,横矢 直和:
"エネルギー最小化原理に基づく画像欠損領域の修復",
情報科学技術フォーラム(FIT) 一般講演論文集, Vol. 3, pp. 177-178, Sep. 2006. (pdf file)

河合 紀彦:
"輝度値の変化と画像の局所性を考慮したパターン類似度に基づくエネルギー最小化による画像修復",
奈良先端科学技術大学院大学 修士論文 NAIST-IS-MT0551036 , March 2007. (pdf file)



横矢研究室ウェブページ トップ