[toc]

 今回は、パターン認識と機械学習 上 1.2.4節で説明されているガウス分布が確率密度の満たすべき2つの条件を満たすことを式で追っていきたいと思います。

対象読者

  • 初学者

ガウス分布

確率密度 p(x) の満たすべき条件
p(x) \geq 0 \\ \int_{ -\infty }^{ \infty } p(x) dx = 1

まず、単一の実数値 x に対するガウス分布は以下の式で表されます。

\mathcal{N}(x|\mu,\sigma^2)= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} (x-\mu)^2 \right\}

\displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} は正であり、 \exp も正であるため、

\mathcal{N}(x|\mu,\sigma^2)>0

であることがわかります。

次に、ガウス分布が規格化されていることを確認していきます。規格化されていることは、全区間で積分して1になることを確認すればよいため、

\displaystyle \int_{  -\infty  }^{  \infty  } \mathcal{N}(x|\mu,\sigma^2) dx = 1

となることを示していきます。

I = \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2 }{ 2\sigma^2 } \right\} dx

とおく。

\begin {aligned} I \times I &= \displaystyle \int_{  -\infty  }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2 }{ 2\sigma^2 } \right\} dx \displaystyle \int_{  -\infty  }^{  \infty } \exp \left\{ -\displaystyle\frac{ y^2 }{ 2\sigma^2 } \right\}dy \\ &= \displaystyle \int_{  -\infty  }^{ \infty } \displaystyle \int_{  -\infty  }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2+y^2 }{ 2\sigma^2 } \right\} dxdy \end {aligned}

ここで、

x=rcos\theta ,y=rsin\theta

とおく。

\displaystyle\frac{ \partial (x,y) }{ \partial (r,\theta) } = \begin{vmatrix} \begin{array}{cc} { \frac{\partial x}{\partial r} } & { \frac{\partial x}{\partial \theta} } \\ { \frac{\partial y}{\partial r} } & { \frac{\partial y}{\partial \theta} } \end{array} \end{vmatrix} = \begin{vmatrix} \begin{array}{cc} { cos\theta } & { -rsin\theta } \\ { sin\theta } & { rcos\theta } \end{array} \end{vmatrix} = rcos ^2 \theta+rsin ^2 \theta = r \begin {aligned} I^2 &= \displaystyle \int_{  -\infty  }^{ \infty } \displaystyle \int_{  -\infty  }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2+y^2 }{ 2\sigma^2 } \right\} dxdy &= \displaystyle \int_{  0  }^{ 2\pi } \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ r^2 }{ 2\sigma^2 } \right\} rdrd\theta \end {aligned}

r^2 = uとおく。 \displaystyle\frac{du }{ dr } = 2r を代入すると、

\begin{aligned} \displaystyle \int_{ 0 }^{ 2\pi } \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ r^2 }{ 2\sigma^2 } \right\} rdrd\theta &= \displaystyle \int_{  0  }^{ 2\pi } \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} r \displaystyle\frac{du }{ 2r } d\theta \\ &= \pi \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} du \\ &= \left[ -2\sigma^2 \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} \right]^\infty_0 \\ &= 2 \pi \sigma^2 \\ \end{aligned} ※ \lim_{a \to \infty} \left[ -2\sigma^2 \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} \right]^a を \left[ -2\sigma^2 \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} \right]^\infty_0 としています。

I^2 = 2 \pi \sigma ^2 より、 I = ({ 2 \pi \sigma^2})^\frac{1}{2} \begin {aligned} \displaystyle \int_{  -\infty  }^{  \infty  } \mathcal{N}(x|\mu,\sigma^2) dx &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} (x-\mu)^2 \right\} dx \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{  -\infty  }^{ \infty } \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} z^2 \right\} dz \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \times I \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^{\frac{1}{2}}} \times ({ 2\pi \sigma^2})^\frac{1}{2} \\ &= 1 \end {aligned}

x-\mu = z とおき、 \displaystyle\frac{dz }{ dx } = 1 を代入している

よって、ガウス分布が確率分布の条件を満たすということが示せました。

ガウス分布の期待値と分散

ガウス分布の期待値と分散は次の記事で紹介しています。

参考文献

  1. C.M. ビショップ (2012):『パターン認識と機械学習 上』, 丸善出版

(著:笛木 正雄

関連記事