はてなで話題となった自動画像補完技術

下記の画像は加工された画像である。一見すると分からないだろう。

はてなブックマークには、感銘を受けた記事に対して「これはすごい」タグをつけることが出来る。最も「これはすごい」タグが付いたのは、「Web上の膨大な画像に基づく自動画像補完技術の威力」というタイトルのブログ記事だ。

画像の一部を自動的かつ高精度に補う画像解析技術を紹介しているが、2009年の記事とは思えない。これまで画像処理ソフトなどで時間をかけて作業していたものを、コンピュータが自動的に補完するという、画期的な手法が光っている。

(出典:A Successful Failure)

上の写真は、ブログからの引用であるが、左上と右側の写真は一見するとさほど違和感を感じないだろう。
遠近感などを考えるとおかしいと気づくが、他の画像との切れ目がすぐには分からない。
予期しないオブジェクトが画像内に入り込んだ時に不自然にならないように修正を施すことも出来るだろう。

2007年のSIGGRAPHに掲載された論文によれは、Web上にアップされている莫大な数量の画像データをもとに、対象となる画像の類似画像を大量に検索し、隠蔽領域を完全に置き換えてしまうことで違和感の無い補完画像を生成するというもの。

研究グループではFlickrより230万枚の画像をダウンロードし検索用データベースを構築した。特徴量に基づき、データベースから瞬時に対象画像の類似画像を検索する（外れ値は前段階で切り捨てられる）。検索上位200件の類似画像に対し、位置合わせ処理、ブレンディング処理を行い、1)シーンの適合度、2)コンテキストマッチング適合度（色＋テクスチャ）、3)グラフカットコストに基づき、スコアを算出し、上位の20結果をユーザに提示する。

詳細は、是非元ソースを見て欲しいが、全く見分けがつかない。

やってみたい方は、カーネギーメロン大学のプロジェクトページに画像データとMatlabのプログラムコードがあがっているので、試してみるとよいだろう。

<参考資料>
はてなブックマーク10周年で最も“すごい”エントリーは？ 「これはすごい」タグ数ランキング
Web上の膨大な画像に基づく自動画像補完技術の威力(A Successful Failure 2009/6/29 はてなブックマーク)
Scene Completion Using Millions of Photographs(Carnegie Mellon Graphics)
Scene Completion Using Millions of Photographs(Siggraph 2007)