真の値 $X$ をもったある量の測定を多数回行うことを考える。この測定には系統誤差は含まれず、偶然誤差のみが発生するものとしよう。偶然誤差については経験にもとづく次のようなガウスの公理がある：

1. 大きさの等しい正と負の誤差は等しい確率で生じる。
2. 小さい誤差は大きな誤差より起こりやすい。
3. ある限界値より大きな誤差は実際上起こらない。

偶然誤差の起こる確率を誤差の大きさ $\epsilon$ の関数とし、その確率密度関数を $f\left(\epsilon \right)$ と置く。このとき誤差の大きさが $\epsilon$ と $\epsilon +d\epsilon$ の間にある確率は $$f\left(\epsilon \right)d\epsilon$$ である。具体的な測定によって得られた測定値が $x$ であったとき、$\epsilon =x-X$ であるから $$f(x-X)dx$$ と表すこともできる。この確率密度関数 $f$ の関数形を求めることがこのページの目的である。

同一の条件で $n$ 回の測定を行うことを考えよう。このとき $n$ 個の測定値が $x_1,x_2,\dots ,x_n$ という値から $dx$ 以内のところに入る確率は $$f(x_1-X)dxf(x_2-X)dx\cdots f(x_n-X)dx$$ で表される。この確率を $Pd{x}^n$ と置くことにすると $P$ は $$\begin{array}{}P=f(x_1-X)f(x_2-X)\cdots f(x_n-X)& \text{(1)}\end{array}$$ である。$x_1,x_2,\dots ,x_n$ を確率変数と見たとき、これを同時確率密度関数という。この関数は $n$ 回の測定の測定結果として $x_1,x_2,\dots ,x_n$ が得られる確率の確率密度を与えるものであるが、このような見方をした場合、ふつう真の値 $X$ には何か既知の値が与えられていることを想定する。ところが現実の測定においては話が逆で、我々の知ることができるのは測定値 $x_1,x_2,\dots ,x_n$ の方である。真の値 $X$ はふつう未知でありそれを求めるために測定を行うのである。そして我々はできるだけ偶然誤差の影響を減らそうと1回ではなく複数回の測定を行い、複数の測定値の相加平均 $$\begin{array}{}\overline{x}=\frac{x_1+x_2+\cdots +x_n}{n}& \text{(2)}\end{array}$$ によって真の値を推定する。

さて、ガウスの公理の最初の2つより $f(x-X)$ は $\epsilon =0$ すなわち $x=X$ において最大値をとるから、その積である同時確率密度関数 $f(x_1-X)f(x_2-X)\cdots f(x_n-X)$ も明らかに $x_1=x_2=\cdots =x_n=X$ で最大値をとる。では逆に $x_1,x_2,\dots ,x_n$ が既知の値として与えられているとき、$X$ を独立変数と見た場合の式$\text{(1)}$、すなわち $$\begin{array}{}P\left(X\right)=f(x_1-X)f(x_2-X)\cdots f(x_n-X)& \text{(3)}\end{array}$$ はどのような $X$ において最大値をとるだろう？ 実はこの答えは自明ではない。しかし $P$ は真の値において最大値をとる量であることと、偶然誤差に対しては式$\text{(2)}$の $\overline{x}$ から真の値を推定できるという経験則から次を仮定しよう： $$P\left(X\right)\text{は}X=\overline{x}\text{で最大値をとる}$$ すなわち $P^{\prime }\left(\overline{x}\right)=0$ を仮定する。

　　

以上で $f$ の関数形を求める準備が整った。まず式$\text{(3)}$の両辺の自然対数をとる： $$\ln P\left(X\right)=\sum _{i=1}^n\ln f(x_i-X)$$ そしてこれを $X$ で微分してみよう： $$\frac{P^{\prime }\left(X\right)}{P\left(X\right)}=-\sum _{i=1}^n\frac{f^{\prime }(x_i-X)}{f(x_i-X)}$$ ここで $X$ に $\overline{x}$ を代入すると $P^{\prime }\left(\overline{x}\right)=0$ より $$\begin{array}{}\sum _{i=1}^n\frac{f^{\prime }(x_i-\overline{x})}{f(x_i-\overline{x})}=0& \text{(4)}\end{array}$$ である。また、式$\text{(2)}$を少し変形すると $$\begin{array}{}\sum _{i=1}^n(x_i-\overline{x})=0& \text{(5)}\end{array}$$ となる。ここで次の補題を証明する。

補題　$\varphi (\cdot )$ をすべての実数で定義された微分可能な関数とする。$n$ を $3$ 以上の整数として、$n$ 個の変数 $x_1,x_2,\dots ,x_n$ が $$\begin{array}{}\sum _{i=1}^n{x}_i=0& \text{(6)}\end{array}$$ を満足するように動くとき、常に $$\begin{array}{}\sum _{i=1}^n\varphi \left(x_i\right)=0& \text{(7)}\end{array}$$ という関係式が成立しているならば、$\varphi$ の関数形は $a$ を任意の定数として $\varphi \left(x\right)=ax$ である。

証明　変数は $n$ 個あるが束縛条件$\text{(6)}$によって、独立に動かすことのできる変数は $n-1$ 個である。そこで最後の変数 $x_n$ を $$x_n=-\sum _{i=1}^{n-1}{x}_i$$ によって消去し $x_1,\dots ,x_{n-1}$ を独立に動かすことのできる変数とする。このとき式$\text{(7)}$の両辺を $x_1$ で偏微分してみると $${\varphi }^{\prime }\left(x_1\right)+{\varphi }^{\prime }\left(x_n\right)\frac{\partial x_n}{\partial x_1}=0$$ となるが、$\partial x_n/\partial x_1=-1$ より $${\varphi }^{\prime }\left(x_1\right)={\varphi }^{\prime }\left(x_n\right)$$ である。同様にして式$\text{(7)}$の両辺を $x_2$ で偏微分すると $${\varphi }^{\prime }\left(x_2\right)={\varphi }^{\prime }\left(x_n\right)$$ となるので、上の式とあわせて $${\varphi }^{\prime }\left(x_1\right)={\varphi }^{\prime }\left(x_2\right)$$ が言える。ところで $x_1$ と $x_2$ はまったく独立に動かすことのできる変数であったから、この等式が成り立つためには ${\varphi }^{\prime }\left(x\right)$ が $x$ によらずいつも同じ値をとらなければならない。すなわち $${\varphi }^{\prime }\left(x\right)=\text{定数}$$ である。これより $a,b$ を任意の定数として $$\varphi \left(x\right)=ax+b$$ となる。最後にこの $\varphi$ を式$\text{(7)}$へ代入し、そこに$\text{(6)}$を使えば $b=0$ であるとわかるので、$\varphi \left(x\right)=ax$ を得る。$■$

式$\text{(4)}$と$\text{(5)}$において $\left(f^{\prime }/f\right)\to \varphi ,(x_i-\overline{x})\to x_i$ という置き換えをすれば補題と同じ形になる。（今考えている問題の場合、$n$ は $2$ という値もとり得るのだが、$n=2$ の場合、上の補題は「 $\varphi$ の関数形は任意の（微分可能な）奇関数」という結果に変わる。$\varphi \left(x\right)=ax$ は奇関数だから、この関数形は $n=2$ の場合にも有効であることになる。なお $n=1$ の場合は、最初から $P\left(X\right)=f(x_1-X)$ が $X=x_1=\overline{x}$ において最大値をとっているので、$n=1$ の可能性は考えなくてよい。）したがって $$\frac{f^{\prime }\left(x\right)}{f\left(x\right)}=ax$$ でなければならず、これを積分して $$f\left(x\right)=A\exp (\frac{a{x}^2}{2})A:\text{定数}$$ を得る。さて、ガウスの公理の3つ目より $\underset{x\to \pm \infty }{lim}f\left(x\right)=0$ でなければならないから $a<0$ である。そこで $a=-1/{\sigma }^2$ と置くことにすると $$f\left(x\right)=A\exp (-\frac{x^2}{2{\sigma }^2})$$ となる。最後に全確率が $1$ となるように定数 $A$ の値を定めよう。$f\left(x\right)$ をすべての $x$ で積分すると $${\int }_{-\infty }^{\infty }f\left(x\right)dx={\int }_{-\infty }^{\infty }A\exp (-\frac{x^2}{2{\sigma }^2})dx=A\sqrt{2\pi {\sigma }^2}$$ になるため、これが $1$ となることより $$A=\frac{1}{\sqrt{2\pi {\sigma }^2}}$$ である。ただしガウス積分の公式 $${\int }_{-\infty }^{\infty }{e}^{-a{x}^2}dx=\sqrt{\frac{\pi }{a}}(a>0)$$ を使った。変数を本来の記号 $\epsilon$ に戻すと、最終的に偶然誤差の確率密度関数として $$f\left(\epsilon \right)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{{\epsilon }^2}{2{\sigma }^2})$$ あるいは $\epsilon =x-X$ より $$f(x-X)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-X{)}^2}{2{\sigma }^2})$$ を得る。以上の導出からわかるように、ガウス分布とはガウスの公理を満たす確率密度関数のうち、とくに $P^{\prime }\left(\overline{x}\right)=0$ という条件を満足するものである。