ヴェネチア大学訪問研究（その３）

最後に、こちらでどんな研究をしているか少しお伝えしたいと思います。
とは言え、詳しい内容はもちろん書くことが出来ないので、関連する先行研究を紹介することで代えたいと思います。

Olivier Duchenne, Armand Joulin, Jean Ponce,
"A Graph-Matching Kernel for Object Categorization"
ICCV 2011.

各画像からグリッドベースでSIFT特徴を抽出し、隣接する局所特徴を結合させたグラフを考えます。2枚の画像の類似度は、グラフを変形させながらマッチングすることで定義されます。この類似度をカーネルに埋め込み、SVMと合わせて用いることで高い識別性能を達成しています。アピアランスと位置情報を密に統合させながらサンプルの類似度を測ることができるため、単純なBoVWやSPMと比べてリッチな情報をとれることが期待されます。

（マッチングの様子。左の二枚の画像を、互いに相手にマッチするように変形させた例。Cited from [Duchenne et al.,2011])

このように、領域特徴をdeformation modelによってマッチングさせ、識別に用いる試みは古くからあるのですが、計算コストが大きい割にはBoVWベースの単純な手法に勝てずにいました。主な原因は、グラフベースの方法では計算コストの問題からスパースに局所特徴を用いていたことや、k最近傍法のような単純な識別モデルを用いていたことがあげられます。前述の手法では、グリッドベースに密に特徴を抽出し*1、カーネルに類似度を埋め込みSVMのような強力な識別器を用いることで、非常によい識別精度を実現しています。

このように、"サンプルの類似度"から出発しこれをうまく識別モデルで活用するところは、前回のエントリにも書いたように非常に共感する部分です。ここで始めた研究も基本的にこの路線に則っています。まだ詳しくは話せませんが、汎用性が高いよいものが出来るのではないかと期待しています。

*1:といっても、BoVWに比べるとまだかなり少ないのですが