(cache) 線形代数の用語と意味まとめ（主に自分用）

恥ずかしながら，線形代数周りの用語って似たようなものが多くて，すぐにアレがどれだっけと混同してしまいがちになります．線形代数の手計算とかがんばってたのなってもう10年とか昔の話だし，チートシート的にまとめなおしておこうと思いました．内容的には，主に統計や機械学習で使うような内容が中心になっています．

概要

統計・機械学習で使う線形代数は，基本的には以下「計算の簡便化」と「データ変換」の2つがメインです．もちろん数学的に突っ込んでいったり，統計・機械学習でも応用的な手法を用いる場合はその限りではないですが，基本的には下の2つが大きいと思います*1．

計算の簡便化

（例えば固有値・固有ベクトルを用いて）行列を対角化することで，行列の乗算を高速に実施する
（LU分解を用いて）扱いやすい形に行列を分解することで，その後の計算を高速にする

データ変換

SVDを行うことでLSIやPCAといったデータ縮約を行うことができる
行列を用いてデータを抽象化することで，回帰係数の算出を統一的な形で記述できる*2

ということで，上のような目的に向けて順に用語と意味を並べました．できるだけ頭から順に読んでいけば理解できるように書き下したつもりです．またあくまで個人的な理解なので，数学的な厳密さについて欠ける箇所や，説明不足な所などあるかもしれません．

個別項目

ノルム

意味: ベクトルの大きさのようなもの
用例: $\vec{a}=(3,4,5)$ のとき $\left|\vec{a}\right|=\sqrt{3^2+4^2+5^2}$

内積

意味: ベクトルの要素同士のかけ算
用例: $\vec{x}=(3,4),\vec{y}=(2,5)$ のときの $\vec{x}\cdot \vec{y}=(\vec{x},\vec{y})=3 \times 2 + 2 \times 5 = 16$
備考: 図形的には $\vec{x}$ から $\vec{y}$ への正射影を意味するので， $\vec{x}$ と $\vec{y}$ のなす角を $\theta$ としたときに， $|\vec{x}||\vec{y}|cos\theta$ とも表せる

一次結合

意味: 複数のベクトルを実数倍したものの和
用例: $k\vec{a}+l\vec{b}$

基底

意味: 定義空間をベクトルの一次結合で一意に表せる場合に， $\{\vec{a}, \vec{b}\}$ はの基底という

標準基底

意味: 要素の1つだけが1で，それ以外が0のベクトル群で構成された基底
用例: 定義空間がのときの $\vec{e_{1}}=(1, 0),\vec{e_{2}}=(0, 1)$

正規直交基底

意味: 基底を構成するベクトルがすべてノルム1で，かつすべての要素ベクトルが互いに直交している((要素ベクトル同士の内積がゼロになる)もの
用例: $\vec{e_{1}}=(\frac{2}{\sqrt{5}},\frac{1}{\sqrt{5}}),\vec{e_{2}}=(-\frac{1}{\sqrt{5}},\frac{2}{\sqrt{5}})$ であれば． $|\vec{e_{1}}|=|\vec{e_{2}}|=1$ かつ $\vec{e_{1}} \cdot \vec{e_{2}}= 0$
備考: 標準基底は当然正規直交基底でもある．正規直交基底を用いたベクトル $\vec{a}=a_1\vec{e_{1}}+a_2\vec{e_{2}}, \vec{b}=b_1\vec{e_{1}}+b_2\vec{e_{2}}$ については， $|\vec{a}|=\sqrt{a_1+a_2}$ ， $\vec{a}\cdot \vec{b}=a_1 b_1+a_2 b_2$ と標準基底同様の簡便な計算でノルムや内積が計算できる

線形写像

意味: 次元ベクトル空間の1つの要素を定めると，別のベクトル空間のただ一つの要素が定まる場合，fを線形写像もしくは1次写像という
備考: 特に $f: R^n \rightarrow R^n$ の線形写像については，線形変換もしくは1次変換という．図形的には標準基底で $\vec{OP}=k\vec{e_1}+l\vec{e_2}$ と表される点を，基底 $\vec{a},\vec{b}$ で $\vec{OQ}=k\vec{a}+l\vec{b}$ と表される点に移す作業を意味する

単位行列

意味: 対角要素がすべてで，それ以外がすべてである行列
用例: $E=\begin{pmatrix}1&0&0\\0&1&0\\0&0&1\end{pmatrix}$

逆行列

意味: 行列に掛けると単位行列になる行列
用例: $AA^{-1}=E$

正則

意味: が逆行列を持つときは正則であり，持たない場合は正則ではない

行列式

意味: 行列の面積，体積のようなもの
用例: 2次の場合 $\rm{det} \begin{vmatrix}4&2\\3&7\end{vmatrix}=4\times7-2\times3=22$
備考: $\rm{det}|A|=0$ のときは，は逆行列を持たない

線形変換における基底の取替

意味: による線形変換 $f: X \rightarrow AX$ において，基底を $(\vec{e_1},\vec{e_2}) \rightarrow (\vec{a},\vec{b})=P$ に取替える場合， $A \rightarrow P^{-1}AP$ と表せる

対角行列

意味: 行列の対角要素に0以外の数が，それ以外の要素には0が並ぶ行列のこと
備考: 対角行列は累乗が $\begin{pmatrix}2&0&0\\0&3&0\\0&0&4\end{pmatrix}^n=\begin{pmatrix}2^n&0&0\\0&3^n&0\\0&0&4^n\end{pmatrix}$ と非常に簡単に求められる，といった計算上の扱いやすさがある

固有値と固有ベクトル

意味: に対して， $A\vec{p}=\lambda\vec{p}$ となるような $\lambda$ を固有値， $\vec{p}$ を固有ベクトルという
備考: 下に示すように固有値と固有ベクトルは，行列を対角化して扱いやすくするための道具と捉えることが可能

固有ベクトルによる対角化

意味: 固有ベクトルを基底とした行列を用いて，の基底を取替えると，固有値を要素とした対角行列に変換できる
用例: $P=(\vec{p_1},\vec{p_2},\vec{p_3})$ のとき， $P^{-1}AP=\begin{pmatrix}\lambda_1&0&0\\0&\lambda_2&0\\0&0&\lambda_3\end{pmatrix}=L$

スペクトル分解

意味: 対角行列を $E=\begin{pmatrix}1&0\\0&0\end{pmatrix}$ や $E=\begin{pmatrix}0&0\\0&1\end{pmatrix}$ の1次結合で表すこと
用例: 固有値行列と固有ベクトルを基底とした行列としたとき， $A=PLP^{-1}=P\begin{pmatrix}\lambda_1&0&0\\0&0&0\\0&0&0\end{pmatrix}P^{-1}+P\begin{pmatrix}0&0&0\\0&\lambda_2&0\\0&0&0\end{pmatrix}P^{-1}+P\begin{pmatrix}0&0&0\\0&0&0\\0&0&\lambda_3\end{pmatrix}P^{-1}=X+Y+Z$ と表せる
備考: 上のについては， $X^2=X\\Y^2=Y\\Z^2=Z\\XY=YZ=ZX=O\\X+Y=Y+Z=Z+X=E$ という性質がある

転置行列

意味: 行列の列要素と行要素を入れ替えたもの
用例: $B=\begin{pmatrix}2&7&0\\0&3&1\\0&0&4\end{pmatrix}$ のとき， $B^t=\begin{pmatrix}2&0&0\\7&3&0\\0&1&4\end{pmatrix}$

正方行列

意味: 行要素の数と列要素の数が等しい行列．要するに正方形の行列
用例: $B^t=\begin{pmatrix}2&0&0\\7&3&0\\0&1&4\end{pmatrix}$ は $3\times3$ の正方行列である

対称行列

意味: $\begin{pmatrix}2&7&0\\7&3&1\\0&1&4\end{pmatrix}$ のように，行列の上三角成分と下三角成分が対角成分を挟んで対称になっている正方行列
備考: 対称行列の場合，転置しても元の行列と等しくとなる．また対称行列の固有値を $\lambda=(\lambda_1,\lambda_2,\lambda_3)$ ，固有ベクトルを $P=(\vec{p_1},\vec{p_2},\vec{p_3})$ としたとき，異なる固有値に対する固有ベクトルは直交するため， $\vec{p_1}\cdot \vec{p_2}=\vec{p_2}\cdot \vec{p_3}=\vec{p_3}\cdot \vec{p_1}=0$ となる

直交行列

意味: 行列とその転置行列の積が単位行列になるもの
用例:
備考: 対称行列の固有ベクトルを正規化（ノルムが1になるように）した行列を $Q=(\vec{q_1},\vec{q_2},\vec{q_3})$ とすると， $Q^{-1}=Q^t$ が成り立つ．また任意の行列について，が成り立つとき，は直交行列で対角化可能となる

随伴行列

意味: 複素数を成分にとる行列に対して，転置を行った上で複素共役を取ったもの
用例: $\begin{pmatrix}2&2+i\\1&3\\-i&7\end{pmatrix} \rightarrow \begin{pmatrix}2&1&-i\\2+i&3&7\end{pmatrix} \rightarrow \begin{pmatrix}2&1&i\\2-i&3&7\end{pmatrix}$ のように，転置して，複素共役を取った最後の行列は，もとの行列の随伴行列となる

エルミート行列

意味: 複素数要素を持つ正方行列（=複素正方行列）のうち，随伴行列がもとの行列と一致するもの
用例: $B=\begin{pmatrix}2&2+i&3\\2-i&3&i\\3&-i&4\end{pmatrix}$ は $B_{1,2}=2+i$ の対称となる要素が $B_{2,1}=2-i$ となっている
備考: 複素数要素を持たない場合には，単なる対称行列になる

ユニタリ行列

意味: 複素正方行列のうち，随伴行列が逆行列と等しいもの（=掛け合わせると単位行列になる）
用例: $U=\begin{pmatrix} \frac{1}{\sqrt{2}}&\frac{i}{\sqrt{2}}\\\frac{i}{\sqrt{2}}&\frac{1}{\sqrt{2}} \end{pmatrix}, U^{*}=\begin{pmatrix} \frac{1}{\sqrt{2}}&\frac{-i}{\sqrt{2}}\\\frac{-i}{\sqrt{2}}&\frac{1}{\sqrt{2}} \end{pmatrix}$ のとき，より $U^*=U^{-1}$

正定値行列

意味: エルミート行列 or 対称行列について，すべての固有値の符号が正であるもの
用例: 固有値 $\lambda=2, 5$ を持つ $\begin{pmatrix}3&\sqrt{2}\\\sqrt{2}&4\end{pmatrix}$ は正定値行列となる
備考: 固有値が0と正の符号で構成されているときは半正定値行列という

三角行列

意味: 対角線の左下，または右上がすべてゼロであるような正方行列のこと．左下がゼロの場合は上三角行列，右上がゼロの場合は下三角行列という
用例: $U=\begin{pmatrix}2&3&5\\0&3&1\\0&0&4\end{pmatrix}$ は上三角行列， $U=\begin{pmatrix}2&0&0\\1&3&0\\4&5&4\end{pmatrix}$ は下三角行列
備考: 三角行列の行列式は，対角成分の積なので非常に簡便に求められる．下のLU分解は，この正方行列を三角行列に分解することで，計算を簡便化するための手法である

LU分解

意味: 正方行列を下三角行列と上三角行列の積に分解すること
用例: $A=\begin{pmatrix}2&4&0\\2&6&4\\3&9&8\end{pmatrix}$ のとき， $A=LU=\begin{pmatrix}1&0&0\\1&1&0\\\frac{3}{2}&\frac{3}{2}&1\end{pmatrix} \begin{pmatrix}2&4&0\\0&2&4\\0&0&2\end{pmatrix}$
備考: 計算しやすくするための対角成分をに揃えるのが慣習となっている．またもも対角成分を1にするかわりに，対角行列を加えてとしたLDU分解の形もある．LU分解を行うことで，もとの正方行列を用いた一次方程式が簡単に解けたり，行列式が簡単に求まったりするようになる

コレスキー分解

意味: LU分解の特殊な場合で，正定値エルミート行列を下三角行列とその随伴行列に分解すること
用例:

QR分解

意味: 行列を直交行列と上三角行列の積に分解すること
用例: $A=\begin{pmatrix}1&2&3\\-1&0&-3\\0&-2&3\end{pmatrix} = \begin{pmatrix}\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{6}}&\frac{1}{\sqrt{3}}\\\frac{-1}{\sqrt{2}}&\frac{1}{\sqrt{6}}&\frac{1}{\sqrt{3}}\\0&\frac{-2}{\sqrt{6}}&\frac{1}{\sqrt{3}}\end{pmatrix}\begin{pmatrix}\sqrt{2}&\sqrt{2}&\sqrt{18}\\0&\sqrt{6}&\sqrt{6}\\0&0&\sqrt{3}\end{pmatrix} =QR$
備考: QR分解を行うことによって，固有値を高速に求めることができるようになる

特異値分解(SVD)

意味: $m \times n$ 行列を， $m \times r$ の列直交行列と $r \times r$ 行列 $\Sigma$ ， $n \times r$ の列直交行列に分解すること
用例: $M=U\Sigma V^t$
備考: 列直交とは，が4行2列のとき $UU^t=\begin{pmatrix}1&0\\0&1\end{pmatrix}$ になることをいう．もちろんが正方行列であれば，はともに直交行列となる．LSI（潜在意味インデキシング）やPCA（主成分分析）を行う際に使われる