[toc]

 今回は、パターン認識と機械学習 上 1.2.4節で説明されているガウス分布の期待値と分散を求めていきます。

対象読者

  • 初学者

ガウス分布の期待値

ガウス分布の期待値が

\mathbb{E} [x] = \mu

となることの途中式を追ってみます。

\begin {aligned} \mathbb{E} [x] &= \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2)xdx \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} (x-\mu)^2 \right\}x dx \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} t^2 \right\} (t+\mu) dt \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } t\exp \left\{ -\displaystyle\frac{1}{2\sigma^2} t^2 \right\} dt + \mu \displaystyle \int_{  -\infty  }^{  \infty  } \mathcal{N}(t|\mu,\sigma^2) dt \end{aligned} ※ t=x-\muとおいた。

ここで、

t\exp \left\{ -\displaystyle\frac{1}{2\sigma^2} t^2 \right\} :奇関数 \displaystyle \int_{  -\infty  }^{  \infty  } \mathcal{N}(x|\mu,\sigma^2) dx = 1

を用いることで、

\mathbb{E} [x] = \mu

となります。

ガウス分布の分散

ガウス分布の分散が

\rm var[x] = \sigma^2

となることの途中式を追ってみます。

分散は、 \rm var[x] = \mathbb{E} [x^2] - (\mathbb{E} [x])^2 で求めることができるので、
まずは、計算に必要な \mathbb{E} [x^2] (二次モーメント) を求めていきます。

\begin {aligned} \mathbb{E} [x^2] &= \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2)x^2 dx \\ &= \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) \left\{ (x-\mu)^2-2\mu x+\mu^2 \right\}dx \\ &= \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) (x-\mu)^2dx  ① \\ &  + \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) (2\mu x) dx  ② \\ &   + \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) (-\mu^2)dx  ③ \\ &= ① + ② + ③ \\ &= \sigma^2 + 2\mu^2 - \mu^2 \\ &= \sigma^2 + \mu^2 \end{aligned}

\begin {aligned}① &= \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2)(x-\mu)^2dx \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } (x-\mu)^2 \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} (x-\mu)^2 \right\} dx \end{aligned}

ここで、 \displaystyle \frac{x-\mu}{\sigma}とおき、 \displaystyle\frac{dt }{ dx } = \frac{1}{\sigma} を代入する。

\begin{aligned}  &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } (t \sigma)^2 \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\} \sigma dt = \displaystyle\frac{\sigma^2}{(2\pi)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } t^2 \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\}dt ※1\\ &= \displaystyle\frac{\sigma^2}{(2\pi)^ {\frac{1}{2}}} \times (2\pi)^\frac{1}{2} = \sigma^2 \end{aligned}

※1

\begin{aligned} \displaystyle \int_{ -\infty }^{ \infty } t^2 \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\}dt &= \displaystyle \int_{ -\infty }^{ \infty } t \cdot t \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\}dt \\ &= \left[ t (- \exp \left\{ -\displaystyle\frac{ t^2 }{ 2} \right\} )\right]^\infty_{-\infty} + \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\}dt \\ &= \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ t^2 }{2} \right\}dt  ※2 ガウス積分を用いる \\ &= (2\pi)^\frac{1}{2}    \end{aligned}

\begin{aligned} ② = \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) (2\mu x) dx = 2\mu \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) dx &= 2\mu \mathbb{E} [x] = 2\mu \cdot \mu = 2\mu^2 \end{aligned}

③ = \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) (-\mu^2)dx = -\mu^2 \displaystyle \int_{  -\infty  }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) dx = -\mu^2

よって、 \mathbb{E} [x^2] (二次モーメント)は

\begin{aligned} \mathbb{E} [x^2] = \sigma^2 + \mu^2 \end{aligned}

となることがわかりました。

したがって、分散は

\begin{aligned} \rm var[x] &= \mathbb{E} [x^2] - ( \mathbb{E} [x])^2 \\ &= \sigma^2 + \mu^2 - \mu^2 \\ &= \sigma^2 \end{aligned}

となります。

まとめ

今回はガウス分布について、

期待値 \mathbb{E} [x] = \mu

分散 \rm var[x] = \sigma^2

を求めました。

参考文献

  1. C.M. ビショップ (2012):『パターン認識と機械学習 上』, 丸善出版

(著:笛木 正雄

関連記事