NIPS 2012 (BigVisionワークショップ)

本会議終了後の二日間はワークショップの日です。
今日はBigVisionというコンピュータビジョンのワークショップに参加し、ポスター発表も行いました。本会議はだいぶアウェーな感じでしたが、ここは自分の専門分野なので何となくほっとしました。

このワークショップですが、なんといっても招待講演者が大御所ぞろいでかなり豪華でした。Organizerの方々が精力的に準備されてきたのだろうと思います。また、一般発表も比較的レベルの高いものが多かったように思います。
一般的に、併設のワークショップというと一段低く見られることがあるように感じますが、同じ分野の中でも興味関心の近い研究者と密に議論できるいいチャンスだと思います。本会議で勉強もできるので、自分に関連するテーマであれば上手に利用するといいと思います。

都合で明日早朝に日本へ向けて出発しなければならないため、二日目のワークショップには出れません。Big learningやDeep learningなど興味あるテーマが多かったので残念です。

このワークショップのハイライトは、やはりAndrew Ng先生のinvited talkでした。この時は、主に他のワークショップに出ている人も多数聴講に訪れ、部屋が大入り満員になっていました。
Andrew Ng, Deep Learning: Machine Learning and AI via large scale brainsimulations

講演の内容は、Googleのクラスタ計算機を使った超大規模なconvolutional neural networkによる画像特徴抽出と認識についてです。大量のデータを用いることで、unsupervisedな学習であるにも関わらず、人の顔や猫の顔などに特異的に反応するニューロンが自動的に獲得されます。最近かなり話題になった研究なのでご存知の方も多いことでしょう。講演では、SGDやL-BFGSなどの学習手法を並列分散環境で効率よく実装するための工夫などについて触れられていました。

ただ、この講演で印象的だったのは、前半に述べられていた上記の研究紹介ではなく、最後にお話された哲学的な部分でした。最近、さまざまなベンチマークでdeep feature learningが既存の枠組みを打ち破りつつありますが、これは本質的に計算機パワーとデータ量の勝利であると述べられていました。これまで、画像等のパターン認識では、特徴抽出などの前処理が精度向上のカギであり、人間が職人芸的にドメイン知識を積み重ねることで発達してきました。現在でもその方向性で少しずつ進歩していることは間違いありません。しかし、近年では計算機パワーとデータ量の増大によりデータドリブンなアプローチが爆発的に進歩しており、まさに今大きなパラダイムシフトが起こる瞬間であるとし、以下のような図を示されていました。

Ng先生ご本人は当初からこのような図を思い描いていたものの、5年前はまだ確信が持てなかったそうです。しかし今はもうまさにその瞬間を迎えているとしており、特に今からPh.Dを目指す学生はこの状況をよく認識してほしいと仰っていました。ニューラルネットの復権など、単に手法が注目を浴びがちですが、これは現時点で使えるデータ量と計算機パワーにちょうどはまっているだけであって本質ではありません。重要なのは、データが主導する時代へのシフトで、具体的な実現方法はその時々によって変わってくるのでしょう。

ワークショップの最後のパネルディスカッションでも、このテーマが議論されていました。主に、(1)本当にデータが大量にありさえすれば人間の試行錯誤はいらなくなるのか、(2)現実的にそれだけ大量のデータが得られるのか、という2点で話が進んでいたように思います。
本当にこのような時代が来てしまうとすれば少し寂しいような気もしますが、今この分野に携わる人間は劇的な変化の中にいることを正しく認識し、次の一歩を踏み出す必要があるのかもしれません。