線形回帰の例

直線で表せない例として前回登場した，次のデータを使って，実際に線形回帰を解いてみましょう。

(x,t)=(0.0,4.0),(2.0,0.0),(3.9,3.0),(4.0,2.0)

このxとtの関係を，多項式基底の線形回帰で求めます。基底関数には φ₀=1, φ₁=x, φ₂=x² の3個の多項式を使いましょう。求めたい f(x) はその基底関数の線形和として表わされます。

w₀, w₁, w₂ を適切に決めるのがここの目的です。この f(x) と点列を使って，誤差関数を求めましょう。誤差関数には先ほど紹介した二乗誤差を用います。

後はこの式を平方完成すればいいのですが，項数が多すぎてちょっと計算が大変です。そこで，誤差関数が最小となる w_i では偏微分が0になることを使って（注2），最小値を与える w_i を求めることにしましょう。

同様に，

この連立方程式を解けば，w₀=3.98, w₁=-3.58, w₂=0.80 が求まります。

ここでは原理を見てもらうためにわざわざ泥臭い計算に落としていますが，実際には行列を使ってもっと機械的に計算ができる方法があります。そのあたりは次回の実践編で紹介されると思います。

求めた w_i を使って，f(x) のグラフを描いてみましょう。

このとおり，だいぶそれっぽい線が描けました。

注2

「偏微分が0」は最小値を与える必要条件でしかありません。厳密には二次形式が正定値であることを示す必要があります。

過学習（over-fitting）

先ほどの例では，多項式基底の個数を3個（つまり2次式）にしましたが，これは自由に選ぶことができます。

一般に基底関数の個数が多いほどモデルとしての表現力，つまり記述できる関数の幅は広がりますので，計算が大変でない範囲でできるだけ基底を増やせばいい気がしますが，残念ながら話はそう単純ではありません。

試しに先ほどの例題にて，基底関数を1個増やして1, x, x², x³ の4個で解いてみましょう。

誤差関数の偏微分は w₀ ～ w₃ のそれぞれで行うため，4元の連立方程式が得られます。

これを解くと，w₀=4.00, w₁=-16.91, w₂=10.81, w₃=-1.68 が求まりました。グラフを描いてみましょう。

どうでしょう，「それっぽい」と言えそうですか？　もちろん「そうそう，こういう答えが欲しかったんだ」という人がいないと断言はできませんが，やはり通常はこのような極端な答えは望ましくないでしょう。

関数がこのようになってしまうこと，より一般には「データに適合しすぎてしまうこと」により「都合の悪い答え」(都合いい悪いも仮定)が出てくることを「過学習（over-fitting）」と呼びます。