[toc]
今回は、パターン認識と機械学習 上 1.2.4節で説明されているガウス分布が確率密度の満たすべき２つの条件を満たすことを式で追っていきたいと思います。
PRML(1.2.4 ガウス分布)②
PRML(1.2.4 ガウス分布)③
対象読者
- 初学者
ガウス分布
確率密度 p(x) の満たすべき条件
p(x) \geq 0 \\ \int_{ -\infty }^{ \infty } p(x) dx = 1
まず、単一の実数値 x に対するガウス分布は以下の式で表されます。
\mathcal{N}(x|\mu,\sigma^2)= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} (x-\mu)^2 \right\}\displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} は正であり、 \exp も正であるため、
\mathcal{N}(x|\mu,\sigma^2)>0であることがわかります。
次に、ガウス分布が規格化されていることを確認していきます。規格化されていることは、全区間で積分して１になることを確認すればよいため、
\displaystyle \int_{ -\infty }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) dx = 1となることを示していきます。
I = \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2 }{ 2\sigma^2 } \right\} dxとおく。
\begin {aligned} I \times I &= \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2 }{ 2\sigma^2 } \right\} dx \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ y^2 }{ 2\sigma^2 } \right\}dy \\ &= \displaystyle \int_{ -\infty }^{ \infty } \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2+y^2 }{ 2\sigma^2 } \right\} dxdy \end {aligned}ここで、
x=rcos\theta ,y=rsin\thetaとおく。
\displaystyle\frac{ \partial (x,y) }{ \partial (r,\theta) } = \begin{vmatrix} \begin{array}{cc} { \frac{\partial x}{\partial r} } & { \frac{\partial x}{\partial \theta} } \\ { \frac{\partial y}{\partial r} } & { \frac{\partial y}{\partial \theta} } \end{array} \end{vmatrix} = \begin{vmatrix} \begin{array}{cc} { cos\theta } & { -rsin\theta } \\ { sin\theta } & { rcos\theta } \end{array} \end{vmatrix} = rcos ^2 \theta+rsin ^2 \theta = r \begin {aligned} I^2 &= \displaystyle \int_{ -\infty }^{ \infty } \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{ x^2+y^2 }{ 2\sigma^2 } \right\} dxdy &= \displaystyle \int_{ 0 }^{ 2\pi } \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ r^2 }{ 2\sigma^2 } \right\} rdrd\theta \end {aligned}r^2 = uとおく。 \displaystyle\frac{du }{ dr } = 2r を代入すると、
\begin{aligned} \displaystyle \int_{ 0 }^{ 2\pi } \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ r^2 }{ 2\sigma^2 } \right\} rdrd\theta &= \displaystyle \int_{ 0 }^{ 2\pi } \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} r \displaystyle\frac{du }{ 2r } d\theta \\ &= \pi \displaystyle \int_{ 0 }^{ \infty } \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} du \\ &= \left[ -2\sigma^2 \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} \right]^\infty_0 \\ &= 2 \pi \sigma^2 \\ \end{aligned} ※ \lim_{a \to \infty} \left[ -2\sigma^2 \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} \right]^a を \left[ -2\sigma^2 \exp \left\{ -\displaystyle\frac{ u }{ 2\sigma^2 } \right\} \right]^\infty_0 としています。 I^2 = 2 \pi \sigma ^2 より、 I = ({ 2 \pi \sigma^2})^\frac{1}{2} \begin {aligned} \displaystyle \int_{ -\infty }^{ \infty } \mathcal{N}(x|\mu,\sigma^2) dx &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} (x-\mu)^2 \right\} dx \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \displaystyle \int_{ -\infty }^{ \infty } \exp \left\{ -\displaystyle\frac{1}{2\sigma^2} z^2 \right\} dz \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^ {\frac{1}{2}}} \times I \\ &= \displaystyle\frac{1}{(2\pi\sigma^2)^{\frac{1}{2}}} \times ({ 2\pi \sigma^2})^\frac{1}{2} \\ &= 1 \end {aligned}※ x-\mu = z とおき、 \displaystyle\frac{dz }{ dx } = 1 を代入している
よって、ガウス分布が確率分布の条件を満たすということが示せました。
ガウス分布の期待値と分散
ガウス分布の期待値と分散は次の記事で紹介しています。
参考文献
- C.M. ビショップ (2012)：『パターン認識と機械学習 上』, 丸善出版
