NIPS 2012 （2日目）
NIPS二日目のレポートです。大分時差ボケもとれて快適にすごせるようになってきました。
今日からは、invited talkやoral sessionもはじまりました。
（3部屋ぶちぬきの大会場。ここで発表するのは機械学習研究者の目標の一つです。）
正直なところ、知識が乏しくついていけない話題も多いですが、今日は画像系の話も多かったので比較的楽でした。
Classification with Deep Invariant Scattering Networks
Stephane Mallat (invited talk)
Deep neural networkがなぜうまくいくかはまだあまり分かっていないが、不変特徴抽出の観点から説明できる。例えば、Convolutional neural networkは並進・回転・スケール等に不変かつ安定な特徴を階層的に抽出している。
A Stochastic Gradient Method with an Exponential Convergence
Rate for Finite Training Sets
N. Le Roux, M. Schmidt, F. Bach
従来SGDの収束は準線形オーダであったが、本研究では線形オーダのアルゴリズムを提案した。細かいところは理解できず。。
Discriminative Learning of Sum-Product Networks
R. Gens, P. Domingos
今回のbest student paper。2011年に提案された新しい深層ネットワークモデルであるsum-product networkについて、識別的な学習方法を提案。CIFAR-10などの画像認識のベンチマークで記録更新。Sum-product network自体を今回初めて知りましたが、画像認識にはかなり向いているのではないかと思いました。プレゼンも非常に分かりやすかったです。
Deep Representations and Codes for Image Auto-Annotation
R. Kiros, C. Szepesvari
Deep learningでバイナリコードを学習し、これを事例ベースの画像アノテーションへ利用。アノテーションの問題固有のback propagationなどをやっているわけではないらしい。
LUCID: Locally Uniform Comparison Image Descriptor
A. Ziegler, E. Christiansen, D. Kriegman, S. Belongie
BRIEFのマッチングは、ケンドールの順位相関係数にLSHを用いていると解釈できるため、permutationを利用して同じ効果を得るより簡便な特徴記述子を提案。
Graphical Gaussian Vector for Image Categorization
T. Harada
東大原田先生のご発表。画像中の局所特徴分布をGaussian Markov random fieldをモデルとして推定し、そのパラメータを最終的な画像特徴ベクトルとして利用。この時、情報幾何の手法を用いることで、適切な計量を与えると共に、近似的にユークリッド空間として扱うことを可能とする。
3D Object Detection and Viewpoint Estimation with a Deformable 3D Cuboid Model
S. Fidler, S. Dickinson, R. Urtasun
Deformable part modelを三次元に拡張。
Max-Margin Structured Output Regression for Spatio-Temporal Action Localization
D. Tran, J. Yuan
時系列データ中の動作の検出は、一般的にはsub-volume searchが必要だが計算コストが膨大になる。本手法では動作を二次元画像ベースの検出結果の軌跡として表現し、これをstructured learningで学習。
Risk-Aversion in Multi-armed Bandit
A. Sani, A. Lazaric, R. Munos
多腕バンディット問題において、一般的に行われるように期待報酬を最大化するのではなく、リスクとリターンのトレードオフを考慮しながら探索を行う。
Spectral learning of linear dynamics from generalised-linear observations with application to neural population data
L. Buesing, J. Macke, M. Sahani
Linear dynamical system のパラメータはspectral learningで効率よく学習できるが、これを非ガウシアンのノイズモデルを有するdynamical systemへも拡張。使いどころが多そうな気がした。
NCS: A Large-Scale Brain Simulator (demo)
L. Jayet Bray, D. Tanna, F. Harris, Jr
GPUベースで実装された脳神経活動のシミュレーションソフトウェア。生物学的な知見に忠実に作られているらしい。コードは公開されており自由に利用可能。
