- 教科書は東京大学 工学教程 情報工学の「機械学習」です。現在は試作版を使っていますが、来年度までには市販版を刊行する予定です。
- 導入pdf
- 情報の変換過程のモデル化
- ベイズ統計と例題(機械翻訳など)
- 教師あり学習と教師なし学習
- 識別モデルと生成モデル
- 最尤推定、MAP推定
- データの性質と表現
- Bayes推論pdf
- Bayesによる確率分布推定の考え方
- 多項分布、ディリクレ分布
- 事前分布としてのディリクレ分布の意味
- 1次元正規分布と事後分布
- 多次元正規分布
- 条件付き正規分布
- 指数型分布族
- 自然共役事前分布の最尤推定
- 線形回帰および識別pdf
- 線形回帰のモデル
- 正則化項の導入
- L2正則化
- L1正則化
- 正則化項のBayes的解釈
- 線形識別
- 2乗誤差最小化の線形識別の問題点
- 生成モデルを利用した識別
- 学習データと予測性能pdf
- 過学習
- 損失関数と Bias,Variance, Noise
- K-Nearest Neighbor法への応用
- bias2とvarianceの間のトレードオフの線形回帰への応用
- サポートベクターマシン(SVM)とカーネル法pdf
- サポートベクターマシン(SVM)の最適化問題としての定式化
- 双対問題化
- SVMの定式化ー境界面で完全に分離できる場合
- KKT条件
- 双対化の御利益
- SVMの定式化 境界面で完全に分離できない場合
- SVM実装上のアルゴリズムの工夫
- SVMによる回帰
- カーネル関数
- オンライン学習pdf
- オンライン学習の定式化
- オンライン学習の評価法
- パーセプトロン
- Passive Aggressive Algorithm
- バッチ、オンライン、ストリームの比較
- 最適化と学習アルゴリズムpdf
- 記法
- 勾配降下法
- 最急降下法アルゴリズム
- 直線探索
- 劣勾配(sub-gradient)の利用
- ニュートン法
- 確率的勾配降下法：Stochastic Gradient Descent(SGD)
- クラスタリングpdf
- 距離あるいは類似度
- 階層型クラスタリングアルゴリズム
- K-means法
- モデル推定pdf
- K-means の形式化
- 潜在変数を考慮する推論
- 経験ベイズ法
- EMアルゴリズム
- EMの適用例：混合正規分布
時間があれば以下も話します - KL-divergence
- 変分ベイズ法
- Expectation Propagation
- ノンパラメトリックベイズ推定pdf
- マルコフ連鎖モンテカルロ法:MCMCpdf
- Sampling法の必要性
- EMのQ計算をsamplingで置き換える方法
- 次元の呪い
- MCMC の基本アイデア
- Metropolis アルゴリズム
- Metropolis-Hastings アルゴリズム
- Gibbs Sampling
- 付録
- 数学のおさらいpdf
- 行列の微分
- 線形代数学の役立つ公式
- 評価方法pdf
- 一般的なデータ処理結果の状態と性能評価尺度
- 再現率 ｖｓ 適合率
- 順位つき結果の評価
- 平均適合率、平均逆順位、nDCG
- 学習と評価（教師あり／なしの場合）
- クラスタリングの評価：Purity
- 評価者の一致性の評価
- テストコレクション
- スムージングpdf
- 未出現事象の扱い
- Back-off smoothing
- Good-Turingの推定
- 大規模データの線形識別pdf
- データの性質
- 正則化項＋損失の最小化
- 双対化
- Pegasos
- Trust Region Newton Method(TRON)
- Coordinate Descent
- 機械学習の歴史pdf
- 計算機以前
- 計算機以後
- 1980年代以前
- 前世紀終盤
- 今世紀
- 近未来
- 数学のおさらいpdf