1. 機械学習に必要な数学の基礎¶

1.2.1. 2点間を通る直線の傾き¶

はじめに，微分の原理を理解していくために，下図に示す2点間を通る直線の傾き aa を求めてみましょう．

この時，傾きaa は，

と求まります．

1.2.2. 1点での接線の傾き¶

次に，与えられた関数の接線の傾きを求めていきます．そのためには，極限の考えが必要になります．極限では，変数がある値に限りなく近づくとき，その変数によって記述される関数がどのような振る舞いをするか考えます．極限を表すために，limlim という記号が一般的に用いられます．例えば，

は，xxという変数を00に近づけていったときに式の値がどのような値になるかを与えます．

それでは，下図のある点 xx における接線の傾きaaを求めていきましょう．

さきほど考えた2点を通る直線と極限を組み合わせて，接線を求めることができます．

はじめに，xx から hh だけ離れた点 x+hx+h を考え，2点を通る直線の傾きを求めてみます．次にhhをh→0h→0 のように小さくしていけば，直線の開始点と終了点の2点が1点に収束し，1点での接線として考えることができます．これを式でみると

となります．上の式は導関数とよび，f′(x)f′(x) で表されます．また導関数を求めることを微分するといいます．また，記号の使い方として，

のように表しても構いません．このddという記号は微分（differentiation）を表しており，d(⋅)d(⋅)が対象の値の変化量，dxdxがxxの変化量を表し，それらを小さくしていった時の極限を表します．この記法は煩雑ですが，変数がxx，yyなど複数ある場合に，xxを微分しているか，yyを微分しているかが明確になるため，正確な表現をすることができます．

1.2.3. 微分の公式¶

覚えておくと便利な微分の公式がありますので，以下に幾つか紹介していきます（ccは定数，xxは変数を表します）．

例えば，以下の微分を考えてみましょう．

このように，各項の和に対する微分の計算は，各項に対して微分した後に和をとるようにしても等式の関係が成立します．また，各項の微分を行う際に，定数の係数（変数にかかる数）は微分演算の外側に出すことができます．これらは微分の 線形性 とよばれる性質であり，この性質を使うことで，微分を簡単に計算できるようになります．

1.2.4. 合成関数の微分¶

後の章で詳しく述べますが，一般的に機械学習においては複雑な 合成関数の微分 を考える必要が出てきます．簡単な例として，

を計算することを考えます．この式は，3x+43x+4 という内側の部分と (⋅)2(⋅)2 という外側の部分で構成されています．この式を(9x2+24x+16)′(9x2+24x+16)′のように展開してから微分を計算してもよいのですが，3乗や4乗となってくると展開するのも大変になります．ここで役に立つ考え方が合成関数の微分です．先程紹介した微分の公式の最後に登場していた式です．合成関数の微分は，内側の微分と外側の微分をそれぞれ行い，その結果をかけ合わせることで求めることができます．外側の微分の際には関数の引数を入力とみなし，その入力について微分をとります．

それでは先程の(3x+4)2(3x+4)2という関数の微分を考えてみます．

まず内側の関数を u=(3x+4)u=(3x+4) とおいて，

とします．ここで，(⋅)′(⋅)′ をもう少し厳密に考える必要が出てきます．今は，xx と uu の2つの変数が登場しており，(⋅)′(⋅)′ では，xx で微分しているのか uu で微分しているのかの区別がつきません．そこで，多少複雑に見えますが，先程紹介したddを使った記法で微分する変数を厳密に記述すると，

となります．

ニューラルネットワークの学習では合成関数の微分を使用する場面が何度も登場するため，この計算方法をしっかりと覚えておきましょう．

1.2.5. 偏微分¶

機械学習では，1つの入力変数 xx から出力変数 yy を予測するケースは稀であり，基本的には，複数の入力変数 x1x1, x2x2, ……, xMxM を用いて出力変数 yy を予測する多変数関数を扱います．例えば，家賃を予測する場合，部屋の広さだけではなく，駅からの距離や犯罪発生率なども考慮した方がより正確に予測できると期待されます．複数の入力x1,x2,…,xMx1,x2,…,xMを考慮した関数f(x1,x2,…,xM)f(x1,x2,…,xM)を多変数関数とよびます．この多変数関数において，ある入力xmxmにのみ注目して微分することを 偏微分 とよび，

のように表します．微分を表す記号が，dd から ∂∂ に変わり，計算としては ∂∂xm∂∂xm の場合は xmxm 以外は定数と考え，xmxm にのみ着目して微分を行います．（ただし，入力変数が他の入力変数と独立ではない場合は定数と考えることはできません．本講義ではそのようなケースは出てきません）．

例題で具体的な計算の流れを確認していきましょう．

偏微分でも微分と同じ公式を適用できます．今回のケースでは，x1x1 にだけ着目するため，x2x2 は定数として扱うことを把握しておけば上記の計算の流れが理解できるはずです．

1.3.1. 線形代数とは¶

次に，線形代数 について解説します．ベクトル，行列，逆行列などが登場します．

線形代数を導入することで，複数の変数間の関係をシンプルに記述可能となるため，機械学習の中でも度々登場してきます．大変重要な概念ですので，ぜひ身に着けていきましょう．

1.3.2. スカラー，ベクトル，行列，テンソル¶

最初に線形代数で使われるスカラー，ベクトル，行列，テンソルの4つを解説します．

スカラーは，1つの値もしくは変数のことです．例えば，

のように表します．スカラーは例えば温度や身長といった単一の量を表すことに使われます．

ベクトルは，複数のスカラーを縦方向（もしくは横方向）に集めて並べたものであり，

のように表します．ベクトルの表記は太文字とする場合が多く，スカラーかベクトルかを区別できるようにしています．ベクトルを表現する際，縦方向に並べたものを列ベクトル，横方向に並べたものを行ベクトルとよびます．数学や機械学習では列ベクトルを利用する論文や参考書が多いため，特に明示しない限り，単にベクトルと表現した場合には列ベクトルを指すこととします．

行列は複数の同じサイズのベクトルを並べたものであり，

のように表します．行列のサイズは行と列で表現します．例えば，この X は3行2列であり，サイズが(3, 2)の行列と言います．多くの場合，行列は大文字，または大文字の太文字で表記されます．

テンソルはベクトルや行列を一般化した概念であり，ベクトルは1階のテンソル，行列は2階のテンソルと表現することができます．また，図のように行列を奥行き方向にさらに並べたものは3階のテンソルとなります．例えば，カラー画像をデジタル表現する場合，画像を構成する各ピクセルはRGB (Red Green Blue) などの色空間を用いるのが一般的であり，（行番号，列番号，色）の3つの軸で1つの値を指定するため，3階のテンソルで表現されます．本講座を含めて，単にテンソルと表現されている場合には，3階以上のテンソルを指すことが多いので，注意してください．

線形代数では y や X といった文字だけで式変形をしていくため，どのような形の数値が取り扱われているかわかりくいのですが，これはベクトルなどと常に意識しておくことでその形を見失わないように注意しましょう．

1.3.3. 足し算・引き算¶

行列やベクトルの演算について覚えていきましょう．足し算は同じサイズの行列，ベクトル間だけで成立し，次のように定義されます．

このように行列やベクトルの中の要素で対応する場所を足し合わせます．引き算も同様です．同じサイズでないと計算が成立しないということを覚えておきましょう．

1.3.4. 内積¶

同じサイズのベクトル間では内積が定義できます．内積は同じ位置の対応する値同士を掛けていき，それらを足し合わせたものです．

1.3.5. かけ算（行列積）¶

行列の掛け算には，行列積，外積，要素積（アダマール積）など複数種あります．ここではそのうち最もよく使われる行列積について説明します．以降では明示しない限り行列の掛け算は行列積を指すこととします．

行列Aと行列Bの行列積はAの各行とBの各列の内積を並べたものとして定義されます．例えば行列Aの2行目の行ベクトルと行列Bの3列目の列ベクトルの内積は結果の行列Cの2行3列目に対応します．

そして，内積が定義される条件はベクトルのサイズが等しいということでしたが，ここでもそれが成り立つために，Aの行のサイズ（=Aの列数）とBの列のサイズ（=Bの行数）が一致する必要があります．また，結果はAの行数とBの列数からなる行列となります．

また，行列積がスカラー積と大きく異なる性質のひとつとして，ABとBAが等しいとは限らないということが挙げられます．

行列積は線形代数や機械学習の多くの問題で使われます．また，行列では割り算に相当する演算はありませんが，後述する逆行列を使って4/2=4×12 のように割り算を逆数（逆行列）の掛け算として記述します．

それでは，計算条件の確認も踏まえて，下記の３つを練習問題として解いてください．

こちらが解答です．

この形の計算は，機械学習においてよく登場してきます．行列積は，演算後に形が変わることを覚えておきましょう．

1.3.6. 転置¶

ベクトルは縦向きの列ベクトルを基本としていましたが，横向きのベクトルを使いたい場合もあります．そこで縦向きのベクトルを横向きのベクトルに，横向きのベクトルを縦向きのベクトルに入れ替える演算を転置Transpose） とよび，Tで表記します．例えば，

のようになります．行列に対する転置では，サイズが(N,M)から(M,N)になり，i行j列目の値が転置後にはj行i列目の値になります．転置の公式として次を覚えておくとよいでしょう．

1.3.7. ベクトル，行列のサイズ¶

行列積を行った後は行列サイズが変わります．サイズが(L,M)の行列と(M,N)の行列の行列積の結果は(L,N)となります．例えば先ほどの３つの練習問題のサイズがどのように変化したかをまとめると，

となります．(3)は最初のベクトルと行列の結果が横方向のベクトルであり(1)に帰着することに注意してください．また，ある次元のサイズが1となった場合，その次元を削除しベクトルがスカラーに，行列がベクトルになる場合があります．

1.3.8. 単位行列¶

スカラー値の1は，10×1=10 といったように，その数を任意の数に乗じても変わらないという性質を持ちます．行列の演算において，これと同様の働きをする行列が単位行列です．

上記のような形をしており，記号 I で表されるのが一般的です．行列の斜めの要素を 対角要素 とよび，それ以外の要素を非対角要素とよびます．単位行列は，対角要素が1で，非対角要素が0であるような 正方行列 （行要素の数と列要素の数が一致する行列）です．例えば， 2x2行列の場合は，

であり，3x3行列の場合は，

となります．行列のサイズを明示したい場合は，In (n×n行列の場合)と添字を付けて区別します．

単位行列は任意の行列Aに対し，以下が成立します．

先程説明したように，行列の掛け算が成立するためには，IのサイズはAと同じである必要があります．

実際に計算して，元の行列と値が変わらないかを確認してみると，

のように，元の値と一致することが確認できます．

1.3.9. 逆行列¶

逆行列とは，元の行列にかけると単位行列になるような行列であり，スカラーにおける逆数(2×2−1=1)に対応するような行列です．行列Aに対し，その逆行列はA−1のように表記します．

逆行列の定義を数式で表すと，

となります．ここで，I は先程の単位行列です．サイズが2×2 や 3×3 といった小さな行列の場合には，逆行列計算に公式がありますが，機械学習ではより大きなサイズの行列( 1000×1000 など)を扱う必要が出てくるため，逆行列を効率的に求める計算手法が提案されています．

逆行列は常に存在するとは限りません．逆行列が存在するような行列のことを 正則行列 とよびます（行列が正則であるための条件については今回は説明しません）．

1.3.10. 線形結合と二次形式¶

機械学習の式によく出てくる形式として， bTx と xTAx の2つの形式があります．前者は線形結合もしくは一次結合，後者は二次形式とよばれています．スカラーの場合，一次式（ax+b）や二次式（ax2+bx+c）がありますが，それをベクトルに拡張したものです．

線形結合の計算の中身を見てみると，

のように x の要素である x1 もしくは x2 に関して，一次式となっていることがわかります．

また，二次形式も同様に計算の中身を確認してみると，

となり，各要素において二次式となっていることがわかります．

従って，任意の二次関数を

の形で表現できます．ここで，c はスカラーの定数項です．

1.3.11. ベクトルによる微分と勾配¶

微分は入力を変えた場合の関数値の変化量と説明しました．同様に関数の入力がベクトルである場合，ベクトルによる微分を考えることができます．関数のそれぞれのベクトルの成分毎に偏微分を計算し，それらを並べてベクトルにしたものを勾配とよびます．

勾配の計算を紹介する前に，下記の例題を計算しましょう．

この bTx を ベクトル x で微分したものを，

と表し．これをベクトルで微分すると言います．今回の例では，

のようになり，計算を進めると

となり，下記の計算結果が得られます．

もう一問，以下の例題を考えましょう．

偏微分を行う対象の変数が含まれていない場合，その偏微分は 0 となります．要素が 0 のみで構成されたベクトルを 零（ゼロ）ベクトル と言います．

これらを踏まえて，公式としてまとめておきましょう．

(1)と(2) はすでに導出済みです．(3) は導出が少し複雑なので省略しますが，数値を代入して確認してみてください．この3つの公式は機械学習を学んでいく上で非常に重要な公式となりますので，必ず覚えておきましょう．

こういった行列などにおける公式は他にもたくさんあり，論文などを読む際にはどういった公式があるのかを知っておくことも重要です．例えば，The Matrix Cookbookなどを参考にしてみてください．

また，今回は多入力単出力関数の微分として勾配まで紹介しましたが，多入力多出力関数の微分であるヤコビ行列（ヤコビアン）もニューラルネットワークの誤差逆伝播法を理解するために必要となります（ただし殆どの場合，行列を掛けた場合のヤコビ行列は，その転置行列だと覚えるだけで十分です）．さらに詳しく知りたい方は，例えばThe Matrix Calculus You Need For Deep Learningなどを参考にしてみてください．

1.4.1. 確率や統計は何に使えるのか¶

機械学習といえば確率や統計といったイメージで勉強する人も多いと思いますが，簡単なアルゴリズムであれば，微分と線形代数を理解しておくだけで説明することができ，確率や統計が出てくることはありません．それでは，確率，統計はなぜ必要なのでしょうか？

機械学習はデータを扱う手法です．データは個別の事象の集まりですが，学習の目的はそのデータの背後にある普遍性，法則を捉えることです．確率はデータの分布や不確実性といった概念を数式化することができます．また統計によって，ある集団に対する様々な統計量を得ることができ，それらを使ってデータを学習しやすいように正規化したり，モデルが妥当なのか，各データが外れ値ではないのかといった判断をすることができます．

1.4.2. 確率¶

確率は様々な可能性がある事象に対し，その事象が起こることが期待される度合いを表します．パラメータ推定の文脈では確率はどれくらい起きそうだという信念を表す場合もあります．確率はp(x)のような関数の形で表し，xを確率変数とよびます．確率変数は起きうる事象のいずれかの値をとるような変数です．さらにp(x=u)を確率変数xの値uだった時の確率を表すものとします．これを省略したp(u)の形で表します．確率は，「全ての事象の確率の和が1になる」，「全ての事象の確率は0以上である」という2つの制約を満たします．これを式で書くと，

となります．

2つの事象が同時に起きる確率を同時確率とよびp(x,y)のように表します．例えばサイコロを2回振り，1回目の目が0，2回目の目が5となる確率は同時確率で表すことができます．

同時確率のうち，特定の確率変数のみに注目し，それ以外の確率変数について和を取って消去する操作を周辺化とよびます（周辺化という言葉は，行を１つ目の確率変数，列を二つ目の確率変数に対応させて同時確率を表で書いた場合，その行の合計，列の合計を表の周辺に書いたことからそうよばれています）．周辺化の結果は，注目した確率変数の確率に一致します．

片方の確率変数がある値で固定されている条件下で，もう片方の確率がどうなるのかを表した確率分布を条件付き確率とよび，p(y|x)のように表します．例えばyを外で雨が降っているかを表す確率変数，xを部屋に入ってきた人が傘を持っていたかを表す確率変数とします（y=1を雨が振っている，y=0を雨が振っていない，のように割り当てます）．この時p(y|x)は，部屋に入ってきた人が傘をもっていた場合に外で雨が振っている条件付き確率を表します．

条件付き確率は，同時確率を条件の確率で割った値と一致します．

ここで，条件付確率の式を変形させたp(y|x)p(x)=p(x,y)に注意すると，

が得られます．これをベイズの定理とよびます．重要な定理なので，ぜひ覚えておきましょう．

例えば，ベイズの定理の応用事例として，スパム（迷惑）メールフィルターがあります．メールに単語iが含むか否かを表す確率変数を xi ，メールがスパムであるか否かを表す確率変数を y とおくと， p(xi=1) は「メールが単語iを含む確率」， p(y=1) は「メールがスパムである確率」， p(xi=1|y=1) は「メールがスパムであった場合に，その中に単語iが含まれる確率」となります．受信済みの大量のメールからそれぞれの割合を集計して求め，ベイズの定理を適用することで， p(y=1|xi=1) として，「メールに単語iが出現した場合に，そのメールがスパムである確率」を求めることができます．

1.4.3. 尤度と最尤推定¶

（パラメトリックな）確率モデルp(x;θ)はパラメータθで特徴付けられたような関数です．確率モデルp(x)上で事象uが観測される確率p(x=u;θ)を事象uの 尤度 とよびます．尤度の尤は「尤（もっと）もらしい」という意味であり，その事象の起きやすさを表します．

ここで，N個のデータX=(x(1),x(2),…,x(N))が与えられ，そのデータXを生成するような確率分布を推定する問題を考えます．この場合，最尤（さいゆう）推定とよばれる手法がよく使われます．最尤推定は観測データXを最も生成しそうなパラメータθを推定する手法です．観測するデータがそれぞれ独立に生成されている場合，その尤度は

のように表されます．この∏という記号は∑の掛け算版で全ての値を掛け合わせるという意味です．複数データに対する尤度は，1より小さな値の積となるため非常に小さな数になりコンピュータ上で扱うことが困難になります．また尤度を最大化したい場合，積の形の式の最大化は難しいことが知られています．そこで尤度の代わりにその対数をとった対数尤度を考えます．

この対数尤度を最大化するパラメータθを求めることができれば，その値がデータXを最も生成しそうな確率モデルのパラメータとなります．

ここで，わかりやすい具体例として，コインの表・裏が出る確率を推定する問題を考えてみます．コインの表・裏を表す確率変数をxとおき，x=1であれば表，x=0であれば裏とします．また，表(x=1)となる確率を表すパラメータをθとおきます．コインを10回投げた結果，以下の観測結果Xが得られたとします．

すると，その尤度は，

と計算され，その対数尤度は，

となります．これをθで微分して0になる条件を求めると，

より，θ=0.5が最尤推定により得られます．

回帰モデルの目的関数として真値と予測値の二乗誤差の和を使う場合（最小二乗法とよばれています），モデルの出力値に正規分布（後述）の誤差を仮定した最尤推定を行っているのと等価であることが知られています．