Deep Learning（深層学習）に関連するまとめページとして使用する予定です。Deep Learningに関する記事・スライド・論文・動画・書籍へのリンクをまとめています。最新の研究動向は全然把握できていないので今後研究を進めるなかで記録していきたいと思います。読んだ論文の概要も簡単にまとめていく予定です。
本ブログでは、当面の間、Theanoを使ったDeep Learningアルゴリズムの実装に関してまとめていきたいと思います！
本ブログの関連記事
- パターン認識と機械学習（PRML）まとめ（2010/8/29） - PRMLの機械学習アルゴリズムをPythonで実装
- Pythonによるモンテカルロ法入門（2014/6/20） - MCMCまでたどり着いてないので途半端だけど
- 人工知能を実現する学習アルゴリズムに必要な能力（2014/9/10） - Bengioさんの論文から
- TheanoをWindowsにインストール（2015/1/27） - Windows環境を整備、GPUで高速化まで
以下は執筆予定...
- TheanoによるLogistic Regressionの実装
- TheanoによるMultilayer Perceptronの実装
- TheanoによるConvolutional Neural Networkの実装
- TheanoによるAutoencoderの実装
- TheanoによるRestricted Boltzmann Machineの実装
- TheanoによるDeep Belief Networkの実装
関連ライブラリ
今はTheanoを使った実装を勉強中。そのうちPylearn2に移行するかも。
- DeepLearning.net
- Theano Tutorial
- Deep Learning Tutorial - Theanoを用いたDeep Learningアルゴリズムの実装の解説
- Theano
- Pylearn2
- Caffe
人工知能学会の特集
サーベイのとっかかりとして最適だけれど、残念ながら無料ダウンロードはできない・・・会員しか読めないのってどうなの？私のブックマークは参考にさせていただきました。
- 連載解説「Deep Learning（深層学習）」にあたって
- 第1回 ディープボルツマンマシン入門 : ボルツマンマシン学習の基礎
- 第2回 多層ニューラルネットワークによる深層表現の学習
- 第3回 大規模Deep Learning(深層学習)の実現技術
- 第4回 画像認識のための深層学習
- 第5回 音声認識のための深層学習
- 第6回 自然言語処理のための深層学習
- 第7回 コントラスティブダイバージェンス法とその周辺
- 私のブックマーク Deep Learning
解説論文
- Learning Deep Architectures for AI (pdf)
- An Introduction to Restricted Boltzmann Machines (pdf)
- Ng's Lecture Note: Sparse Autoencoder (pdf)
- Unsupervised Feature Learning and Deep Learning Tutorial
- A Practical Guide to Training Restricted Boltzmann Machine (pdf)
- Deep Learning: Methods and Applications (pdf)
国際会議チュートリアル
- Representation learning tutorial - ICML2012のチュートリアル
- Graduate summer school: Deep learning, feature learning - Hinton教授のサマースクール
- Deep learning methods for vision - CVPR2012のチュートリアル
- Deep learning for NLP (without Magic) - ACL2012のチュートリアル
- Deep learning and its applications in signal processing - ICASSP2012のチュートリアル
コンピュータビジョン関連論文
- Building High-level Features Using Large Scale Unsupervised Learning (pdf) - Googleの猫論文
- ImageNet Classification with Deep Convolutional Neural Networks (pdf)
- The Shape Boltzmann Machine: A strong model of object shape (pdf)
音声関連論文
- Deep Neural Networks for Acoustic Modeling in Speech Recognition (pdf) - 音声認識サーベイ
- Deep Learning for Acoustic Modeling in Parametric Speech Generation - 音声合成サーベイ
自然言語処理関連論文
強化学習関連論文
個人的に一番興味がある分野。
- Playing Atari with Deep Reinforcement Learning - DQN
- Human-level control through deep reinforcement learning - DQNのNature版、コードはここで公開されている
関連記事・スライド・応用
はてブで記録していたものをまとめてみました。これ以外に面白いと思った記事がたくさんあったと思うので見つけしだい追加していきたいと思います。もしおすすめの面白い記事がありましたらコメント欄で教えてください。個人的に「実装しました」系がすごく好きです。
- ディープラーニングチュートリアル（もしくは研究動向報告）
- ニューラルネットの逆襲
- 一般向けのDeep Learning
- Deep Learning技術の今
- Deep Learningを実装する
- Theano入門
- Theano解説
- TheanoでDeep Learningシリーズ
- ご注文はDeep Learningですか？
動画
NgさんのCourseraの機械学習コースはDeep Learningこそ扱っていませんが、ロジスティック回帰やニューラルネットの技術を実践的に学べるためおすすめ。
- Machine Learning - Ngさんによる機械学習講義
- Neural Networks for Machine Learning - Hintonさんによるニューラルネット講義
- The Next Generation of Neural Networks - Google Talksでの講演
- Recent Developments in Deep Learning - Google Talksでの講演
書籍
専門外なら松尾さんの本から入るのがおすすめ。深層学習の教科書はよくまとまっていてよかった。
東大准教授に教わる「人工知能って、そんなことまでできるんですか？」 (中経出版)
- 作者: 松尾豊,塩野誠
- 出版社/メーカー: KADOKAWA / 中経出版
- 発売日: 2014/10/16
- メディア: Kindle版
- この商品を含むブログ (5件) を見る
- 作者: 松尾豊
- 出版社/メーカー: KADOKAWA / 中経出版
- 発売日: 2015/03/10
- メディア: Kindle版
- この商品を含むブログ (3件) を見る
- 作者: 小林雅一
- 出版社/メーカー: 講談社
- 発売日: 2015/03/19
- メディア: 新書
- この商品を含むブログ (5件) を見る
- 作者: 湯川鶴章
- 出版社/メーカー: SpikyWave株式会社
- 発売日: 2015/01/19
- メディア: Kindle版
- この商品を含むブログ (1件) を見る
- 作者: 岡谷貴之
- 出版社/メーカー: 講談社
- 発売日: 2015/04/08
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (1件) を見る
- 作者: 荒木雅弘
- 出版社/メーカー: 森北出版
- 発売日: 2014/03/29
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (3件) を見る
ディープラーニング、ビッグデータ、機械学習 あるいはその心理学
- 作者: 浅川伸一
- 出版社/メーカー: 新曜社
- 発売日: 2015/02/10
- メディア: 単行本（ソフトカバー）
- この商品を含むブログを見る
Machine Learning: A Probabilistic Perspective (Adaptive Computation and Machine Learning series)
- 作者: Kevin P. Murphy
- 出版社/メーカー: The MIT Press
- 発売日: 2012/09/07
- メディア: Kindle版
- この商品を含むブログを見る