講談社 MLPプロフェッショナルシリーズ
2018年発売予定 (本ページは執筆中です)

『ガウス過程と機械学習』サポートページ

持橋大地 (統計数理研究所)	[ホームページ]
大羽成征 (京都大学)	[ホームページ]

ガウス過程についての全般的な情報源

• GaussianProcess.org
  ガウス過程についての基本的な情報や, 各種実装についてのリンクが充実しています.
• "Gaussian Processes for Machine Learning"
  RasmussenとWilliamsによるガウス過程本(GPML, 2006)のWebページです. 本書とは内容が異なり, 中級者向けにより数学的な詳細が記述されています. 本の全文PDFが公開されており, ダウンロードできます.
• Gaussian Process Summer Schools
  Neil Lawrenceが主催して毎年行われている, 機械学習におけるガウス過程のサマースクールです. 講義資料が充実しています.
• 統計数理研究所公開講座『ガウス過程の基礎と応用』
  H26年度の統数研公開講座のページです. ガウス過程の基礎および応用についての講座資料が公開されています.

ガウス過程の計算パッケージ

• GPML
  GPML付属のMATLABコードです.
• GPy
  Neil Lawrenceらによる, Pythonのガウス過程ツールキットです. pipで簡単にインストールできます. GPMLより新しく(2012～), 様々なモデルが実装されています.
  日本語ではこちらで紹介されています. GPy (Pythonのガウス過程用ライブラリ)の使い方

各章の計算プログラム

2章 線形回帰モデル

図	説明	プログラム,データ
	単回帰モデル.	スクリプト: linear.py データ: linear.dat

3章 ガウス分布

図	説明	プログラム,データ
	1次元のガウス分布の確率密度関数のプロット.	スクリプト: gauss1.py
	Box-Muller法による, ガウス分布からのサンプルの生成.	スクリプト: gauss1-sample.py

4章 ガウス過程

図	説明	プログラム,データ
	ガウス過程回帰 (ハイパーパラメータ最適化なし).	スクリプト: gpr-simple.py データ: gpr.dat
	ガウス過程回帰 (ハイパーパラメータ最適化あり).	スクリプト: gpr.py データ: gpr.dat
	コーシー分布を観測モデルとする, 外れ値に頑健なガウス過程回帰. 推定には楕円スライスサンプリング(8章)を用いています.	スクリプト: gpr-cauchy.py elliptical.py データ: gpr-cauchy.dat
	ニューラルネットがガウス過程に漸近する様子. 各点が, 重みを事前分布からサンプルした1つのニューラルネットを表しています.	スクリプト(MATLAB): nngp.m step.m

8章 ガウス過程による教師なし学習

図	説明	プログラム,データ
	ガウス過程による教師なし学習の概要図.	スクリプト: unsup.py
	ガウス過程潜在変数モデル (GPLVM).	スクリプト: gplvm.py データ: oil.dat oil.labels オプションは % gplvm.py または % gplvm.py --help を実行してください.
	仮想的な植物の個体数(久保さん緑本)の, ポアソン分布を用いたガウス過程回帰モデル. GPyを使用しています.	スクリプト: gpr-poisson.py データ: kubo.dat

library.zipの使用方法

% export PYTHONPATH=$PYTHONPATH:/foo/bar/library(展開したディレクトリ)

% unzip -j library.zip

動画など

• Alex Smola, "6.2 Gaussian Process Regression - Machine Learning Class 10-701"
  https://www.youtube.com/watch?v=xP5dBw5cewg
• Nando de Freitas, "Machine learning - Introduction to Gaussian processes".
  https://www.youtube.com/watch?v=4vGiHC35j9s
• David MacKay, "Gaussian Process Basics" @videolectures.net
  http://videolectures.net/gpip06_mackay_gpb/ ただし, 現在動画がそのままでは見られないようです. コメント欄を参照すると見られるようになります.