ニューラルネットと脳の違いが知りたくて

　読書メモ．

はじめに

　人間の脳を模したニューラルネットの手法，深層学習ディープラーニングがめざましい成果を挙げている—といった謳い文句をよく目にする．だが機械学習の専門書を紐解いても出てくるのはロジスティック回帰のお化けばかり．
　われらがPRMLのニューラルネットを扱う章にはこうある．

しかしながら，パターン認識という実際的な応用の観点からは，生物学的な現実性などは全く不要な制約である．
　　　　　　　　　　　　　　　　　　　　　　　　— C.M.ビショップ『パターン認識と機械学習 上』 (p.226)

　では，機械学習の文脈で言うところのニューラルネットと脳はどれほど異なっているのだろうか？

ニューラルネットと脳の違い

　結論から言えば全然違うわけだが，ざっくり以下の三点から整理できる（と思う）：

  • ニューロンのモデル
  • ネットワーク構造
  • 微分計算の手法

ニューロンのモデル

　現在広く普及している多層パーセプトロンは，単純な差分方程式であるMcCulloch-Pittsモデルをベースに，層を重ねたとき微分できるような活性化関数を組み合わせている．だがそれ以外にも膜電位が変動するメカニズムを考慮した：

  • Hodgkin-Huxleyモデル
  • FitzHugh-Nagumoモデル
  • Izhikevichモデル

などが提案されている—というようなことは機械学習の道具としてニューラルネットを扱っている本にはあまり書かれていない．ひとまず手元にあった：

はモデル名に言及しておらず，McCulloch-Pittsモデルを紹介していたのは：

だけだった．
　ちなみにこの中だと機械学習マジで何もわからんって人はまずサンプルコードを動かしながら『ITエンジニアのための機械学習理論入門』を読むとよい．深層学習については紫色の本が好み．青色の本は数式が追いにくい（どっちもどっちだが）上，深層学習以前と以後でどのような変遷があったのか不明瞭で，『進化計算と深層学習』は概論のみ．『イラストで学ぶディープラーニング』は読みやすく，汎化性能を向上させる方法も載っていて実践的ではあるが，RNNに触れられていないのが惜しい．
　さて，それではニューロンのモデルが複雑であれば脳に近いのかというと，どうやらそういうわけでもないらしい．たとえば複雑かつイオンコンダクタンスの挙動が緻密なHodgkin-Huxleyモデルは，ヤリイカの軸索のニューロンをモデル化したものだが，これはヒトの大脳皮質とはタイプが異なるようだ．
　しかし，McCulloch-Pittsモデルには，STDP (Spike Timing Dependent Plasticity, スパイク時刻依存シナプス可塑性) を表現できていないという問題点がある．STDPはニューロンの発火タイミングに応じて重みを更新する規則で，脳はこれにより時系列を学習しているとされる．
　こういったことを把握するためにいくつか神経科学の本を読んでみた．だいたいの書籍がまず最初にニューロンのモデルを紹介し，それからニューロンの同期に章を割き，つづいて脳の任意の部位の詳説という体裁をとっている．

など．全部読んだ感想としては『脳の計算論』が最も明快かつ簡潔で，STDPにも詳しく，この記事で触れている範囲のことはほぼカバーしている．
　Izhikevichモデルの考案者も『Dynamical Systems in Neuroscience: The Geometry of Excitability and Bursting』という本を書いているのだが，これは難しそう．
　本腰を入れて学ぶには「シナプス可塑性の初心者へ　推薦論文リスト」を消化すべきなのだろう．

ネットワーク構造

　パーセプトロンは小脳に，BESOMは大脳皮質に，畳み込みニューラルネットは受容野に，TD学習は大脳基底核に似ていると言われている．ではどこが．
　小脳についてはさきほど挙げた『脳の計算理論』がよい．この著者は小脳による運動の内部モデル獲得というテーマの大家だそうで，公開されている無料のPDFでその足跡が追える．Hodgkin-Huxleyモデルの解説も丁寧．あわせて“現代の小脳パーセプトロン仮説”も読みたい．
　大脳皮質についてはBESOMの人の「大脳皮質と deep learning の類似点と相違点」がとにかくわかりやすい．やはり正則化が重要なようだが，それについては「脳とネットワーク/The Swingy Brain:まとめてスパースコーディング - livedoor Blog（ブログ）」に挙げられている論文を読むとよさそう．
　さらなる部位との関連については，「全脳アーキテクチャ解明に向けて」から辿れる資料が親切だった．特に「海馬神経回路の機能ダイナミクス」で触れられている内容は元論文の古さとは裏腹にあまり書籍では見ない．

微分計算の手法

　みんな大好き誤差逆伝播法は脳では使われていない．じゃあどうすればいいかというと：

がある．後者2つは深層学習の大家であるBengioらの研究で，ここでSTDPが重要となってくるらしい．生物学的な妥当な深層学習まであと何年だろうか．

おわりに

　機械学習のことは多少わかるけど（計算論的）神経科学については何から勉強すればいいのかもわからないというところから，騙し騙しとはいえ論文を読める程度になるにはこのあたりを読むとよいのではないかと思います．
　なお，このブログに貼られているAmazonリンクはいずれも素のリンクです．ご安心ください．アフィリエイトリンクを貼りまくって小銭を稼ごうと画策しましたが審査に落ちました．