会社で書いていた論文が機械学習トップ国際会議の NeurIPS 2019 に採択されたので12月8日から14日にかけて開催地のバンクーバーに発表のために行っていました。近況報告も兼ねてその様子をメモ書きしてみようと思います。
自分について
エンジニアとして働いています。研究を行い論文を書くことを主として行う研究者ではなく、実用上の問題を解決するための仕事をしています。今回論文を書いて発表を行うことになったのは、解きたかった問題の解決方法がまだ世の中に知られていなかったため自分で新たに編みだす必要があり、それが論文としてアウトプットする価値があったという事情に基づきます。
発表した内容としては「ニューラルネットの学習ではメモリ消費が非常に大きくなりGPUのメモリから溢れることがあるが、その消費量を再計算という手法によって削減する方法を提案した」というものになります。以前書いた記事もあるので大雑把にはそちらを参照していただければと思います。詳細には以下があります。
この取り組みは一旦落ち着いたこともあり、最近はより実用に近い課題に取り組んでいます。こういった事情があり最近は研究から少し心が遠のき、実用の課題解決に関心が寄ってきている中での参加になった感はあります。
何にせよ、以下に参加して印象に残ったことを記していきます。
多数の参加者
機械学習やAIトップ会議への参加者は年々増え続けていると言われています。今回の NeurIPS には約12000人の参加登録者がおり、それに合わせて会場もかなり広々とした空間が容易されていました。チュートリアルや招待講演が行われていた場所は実質ライブ会場みたいな感じでした。
それでもポスターセッションでは人が一気に集まるため移動が困難になるほど混雑していました。実際、ポスターのときにまともに発表を聞いたり質問したりできたのは開始前の人があまり集まっていない休憩時間くらいで、それ以降はかなり厳しい状況でした。
それほどまでに機械学習やAIの技術が世の中から注目を浴びてきているということなのだと思います。少なくとも、現在に関しては。
コネクション作りの場としての学会
NeurIPS の講演動画や講演資料のほとんどがウェブに上がっています。
こうなるともう単に発表を聞いて知識を仕入れるという目的のためだけならわざわざ遠方まで出かける必要もなさそうに見えます。が、学会の目的はそれだけではなくむしろそれよりも人と交流して将来のためのつながりを作ることが大事だとされます。(関連記事: "Preparing for NeurIPS")
今回の参加で印象的だったのは、運営から Whova というスマートフォン向けの交流用アプリが提供されており、それを通じて特定のトピックに興味のある人や共通する背景(国籍とか)を持つ人で集まりやすくなるように配慮されていました。これはかなり活発に使われていたように見えます。僕はこのアプリを通じて普段はあまり会う機会が無さそうな日本人参加者や海外参加者と繋がることができて有意義でした。
広い企業ブース
NeurIPS にはスポンサー企業が多数あり、それぞれの企業がブースを出展して自社製品のデモや採用活動を行っていました。企業ブースはかなり広いスペースの中にあり、展示会のような雰囲気がしました。*1
会社勤めの社会人としては足を運びづらい気がしてあまり回らなかったのですが、今思い返すとあまり気にせず色々回った方が各社の思惑などが見れて良かったのかもしれません。
デザインを意識したポスター
発表ではデザインを十分に作り込んでいるポスターが多かったように感じました。デザインを意識することは単に第一印象を良くしたり組織のブランディングを創出するだけでなく自分の研究の要点を初見の聴衆にも伝わりやすくする役割があるので、昨今では多くの研究者がその重要性を認識しているということなのかもしれません。
特に今回は参加者が多かったことに配慮してなのか、遠くから見てその内容がひと目で分かるデザインのものがいくつかありました。特に、中央にでかい要約が書かれていてその傍に詳細が書かれているようなものが複数の研究機関のポスターで見られ、印象的でした。
論文やソースコードへのURLのQRコードをポスターに載せているグループを結構見ました。参加者と発表件数が非常に多いこともあり、参加者からするとポスターはその場で全部じっくり聞くというより写真だけ撮影して後で見直すという風にした方が効率がいいこともあるのですが、そのときに論文そのものやコードにアクセスしやすくなっていると良い場面は多いのだろうと思いました。実際、僕自身も発表していて「ソースコード公開してる？」と聞かれる場面は想像していたより多かったです。
日本のプレゼンス
日本人の参加者は(あてにならない体感ですが)おそらく1～2%くらいだったのではないかと思います。数字にすると微小なのですが、これは通路を歩いているとたまに名札を見て日本人っぽい人がいると認知できる程度の数であり、決して少なくはないと思います。これよりさらにプレゼンスを上げるには、本会議論文なりワークショップなりスポンサーブースで何か発表する場を作るのが有効なのかもしれません。
ジェンダーダイバーシティ
自分にとって海外に行くのは3年ぶり、国際学会に行くのは5年ぶりでした。別に NeurIPS に限ったことでもない気がしますがが学会の女性の参加率の高さが印象的でした。これもあてにならない体感ですが、参加者や発表者の3割くらいは女性だったのではないでしょうか。このあたりは日本の情報系分野の状況とはとても違っているわけですが、少なくとも色んな人々が活躍している場は活気があるように感じるし、また個人個人の生きやすさにも関わって来そうに思います。
発表は楽しい
上述したように常に人が多く、ポスター発表は聞いている分には辛いのですが、発表者からすると(今回僕が発表したような、全体からするとニッチ気味な研究でも)常に一定数の人がひっきりなしにやってくるので意見の交換ができて楽しかったです。また、トップ会議であるため分野の詳しい人が来てコメントをくれることがあったり、関連する分野の研究者と交流することもできました。
面白かった発表
有名な人はやはり世の中で重要な問題を広い視点から捉えた上でそれらにどう取り組むべきなのかについて洞察が深いこと多いので、講演を聞いていて面白いことが多かったです。
- From System 1 Deep Learning to System 2 Deep Learning (Yoshua Bengio) 現状のAIブームに対してさらなる飛躍を求める力強い発表でした。この講演では人間の直感や無意識の動作に相当する部分を System 1、意識的なプランニングを System 2 と呼び、いまの研究は System 1 に相当する部分は充実してきたが System 2 に相当する部分に向かうべきであるとし、そのキーワードとしてアテンション、メタ学習、causality があげられていました。なお、非常に広大だったライブ会場はこの講演のときほぼ満席になっていました。
- Uniform convergence may be unable to explain generalization in deep learning (Vaishnavh Nagarajan · J. Zico Kolter) (Outstanding New Directions Paper Award) 理論研究の論文の発表で、ある種の Hardness に関する話です。もうこの辺は素人が見てもわかるもんでもないという印象を持っていたのですが、統計的機械学習の基礎くらいを知っていれば分かる感じで説明されていてよかったです。
- Interaction of Model-based RL and Meta-RL (Pieter Abbeel) 現在の強化学習は人間の学習に比べて圧倒的にサンプル効率が悪く、その原因として人間は他のタスクでの経験を新しいタスクに流用して即座に適応できるのに対し、強化学習ではタスクごとに新規に学習しなおしているという点があります。この講演ではメタ学習的な方法によってそれを乗り越えようとする研究を紹介していました。
- Grandmaster Level in StarCraft II using Multi-Agent Reinforcement Learning (DeepMind) (5:00から) StarCraft で DeepMind のゲームAIがプロチームを破った話が一時期話題になりましたが、それについての講演です。かなり複雑なゲームであるためそのエージェントとなるモデルのアーキテクチャが非常に複雑そうだったのが驚きでした。まずは教師あり学習を試みて、うまくいったら強化学習でさらに性能を高めていくアプローチは AlphaGo から続くもののように見えます。
- Playing Dota 2 with Large Scale Deep Reinforcement Learning (OpenAI) (35:53から) 非常に複雑なゲームに対して強化学習によって人間の性能を上回ることを目標にしている点では DeepMind の研究と共通していますが、彼らはモデルの学習中にその一部を取り出し、アーキテクチャを変えて再度学習を行う「手術」を行ってモデルを改善していった点がかなり特徴的でした。
- ML for Computer Systems (Jeff Dean) Google の社内で、モデルの分散方法、チップの配線、システムの効率化などの最適化タスクに強化学習を使って性能向上を試みた話です。機械学習やら強化学習を使って最適化問題を解く話は研究レベルでは色々ありますが、こちらはより実用に近いところでやって検証している点で面白かったです。
全体を振り返って
とにかく海外の熱気を強く感じる場所でした。周りで大手研究機関や大企業の研究者たちが盛んにディスカッションをしてそうに見える中で僕は英語が苦手でかつ初対面の人と話すのも得意でなく、苦戦しました。とにかく、face-to-face のコミュニケーションは適当に妥協するとしても少なくとも海外の情報は日頃から意識的に何らかの形で取り入れたほうが良いのだろうという感が芽生えました。
*1:しかし聞くところによるとこれでも規模は抑えられている方らしい…