MGF(Moment Generating Function) 정리

본격적으로 통계학을 공부하기에 앞서 지난 두 확률 과목에서 공부한 MGF를 정리하고 가고자한다.

$$M(t) = E(e^{tx})$$

 

위 수식을 MGF(Moment Generating Function)이라고 한다.

기본적으로 우리가 확률 변수의 기댓값은 아래와 같이 정의한다.

$$E(X) = \sum xP(x)$$

바로 확률 변수의 원소 값  x와 그에 대응하는 확률 p(x)를 곱한값을 더하는 식이다. 

이러한 기댓값은 즉, 확률분포의 중심이 어디인지를 알려주게 된다. 

그런데 이런 기댓값이 아닌 다른 어떤 값이 확률 변수의 특성을 알려줄 수 있을까? 

이때 나오는 개념이 Moment(적률)이다. 

원래 이 Moment라는 개념은 수학보다는 물리학에서 먼저 사용한 개념으로 알려져 있다. 

물리학에서 Moment는 질량의 분포에 관련된 정보를 제공한다. 

$$\frac{\sum M_{i}x_{i}}{\sum M_{i}}$$

위의 수식은 제 1 Moment인데, 물체의 질량분포의 중심을 나타낸다.

즉, 무게 중심을 의미한다.

어떤 물체 n개가 어떤 분포로 퍼져있다면, 이 전체에 대한 무게 중심 위치를 찾는다고 보면 된다. 

 

$$\sum M_{i}(x_{i}-k)^{2}$$

위의 수식은 제 2 Moment로, 회전 관성 모멘트라고도 하며 물체의 회전의 정도를 나타낸다.

회전 관성 모멘트는 어떤 물체가 회전축 k로 부터 떨어진 위치의 제곱을 질량에 곱한 값을 더한 것으로 

회적축에서 물체가 멀어질 수록 회전 관성 모멘트는 커지고, 이 때문에 회전에 들어가는 힘이 더 커진다고 볼 수 있다.

그래서 회전 관성 모멘트는 물체의 회전 정도를 나타낸다.

즉 물리학에서 모멘트는 어떤 물체들의 분포에 따른 어떤 지표를 나타내는 것으로 사용됨을 알 수 있다. 

 

이제 통계학에서의 Moment에 대해서 알아보자

$$\mu _{n}=E[X^{n}]$$

통계학에서는 이 Moment를 확률 분포의 특성을 설명하는 지표로써 사용한다. 

$$M(t) = E(e^{tx}) = \int_{\infty }^{\infty } e^{tx}f_{x}(x)dx$$

$$=E[1+tx+\frac{t^{2}x^{2}}{2!}+\cdot \cdot \cdot  ] \; \, \, \textit{by Taylor Expansion }$$

$$=E(1)+tE(x)+\frac{t^{2}}{2!}E(x^{2})+\cdot \cdot \cdot $$

$$=1+\mu _{1}t+\frac{1}{2!}\mu _{2}t^{2}+\cdot \cdot \cdot \, \, ;\mu _{k} : E(x^{k})$$

$$\frac{\partial M_{x}(t)}{\partial t}|_{t=0}=\mu _{1} = M_{x}^{'}(0)=E(X)$$

$$\frac{\partial^{2} M_{x}(t)}{\partial^{2} t}|_{t=0}=\mu _{2} = M_{x}^{''}(0)=E(X^{2})$$

$$In \; general, \, \, M_{x}^{(k)}(0)=\mu _{k},\; k=1,2,3...$$

위 수식 전개를 살펴보자. 

우선 MGF를 Taylor Expansion을 통해서 t = 0 부근에서 위와 같이 근사할 수 있다. 

위와 같이 정리한 근사식을 t = 0에서 t에 대해 1차 미분하면, 기댓값이 나오게 된다.

2차 미분을 하면, X의 제곱에 대한 기댓값을 갖게 된다. 

이런식으로 k번 미분하면 X의 k제곱에 대한 기댓값을 갖게 되는 것이다. 

따라서 이 함수를 MGF(Moment Generating Function)이라고 하는 것이다. 

추가로

$$E[(X-\mu )^{j}]$$

위 식은 j차 Central Moment라고 한다. 

그리고 여기서 한 가지 알 수 있는 것은 우리가 흔히 Variance라고 하는 것은 

$$E[(X-\mu )^{2}]$$

위 식과 같이 Second Central Moment라고 할 수 있다. 

 

위와 같이 정리하고나니 물리학과 통계학 사이에 유사성이 보인다.

가령 예를 들어 기댓값과 무게중심을 비교해보자.

$$\frac{\sum M_{i}x_{i}}{\sum M_{i}}$$

$$\frac{\sum p(x_{i})x_{i}}{\sum p(x_{i})}$$

여기서 확률의 총합은 1이므로, 위와 같이 기댓값을 쓸 수 있는데 무게중심식과 유사해 보인다.

 

즉, 확률 분포에서의 중심 경향을 나타내는 기댓값이, 무게 중심과 유사함을 이해할 수 있다. 

$$\sum M_{i}(x_{i}-k)^{2}$$

$$\sum p(x_{i})(x_{i}-\mu )^{2}$$

 

Variance는 기본적으로 평균으로부터 얼마나 떨어져 있는지를 의미한다고 했다. 

회전 관성 모멘트의 수식도 살펴 보면, 회전축(k)로 부터 얼마나 멀리 있는지를 나타낸다고 볼 수 있다. 

$$X,\: Y \, : \, R.V. \, with \, \mathbf{mgf}\, M_{x}(t),\: M_{y}(t)$$

$$Then \, \: F_{X}(\mathbb{Z})= F_{Y}(\mathbb{Z}), \, \forall_{\mathbb{Z}}\in \mathbb{R}$$

$$\ll \equiv \gg \mathbf{iff},\, M_{X}(t) = M_{Y}(t), \, \forall _{t}\in (-h,h),\: h>0$$

$$\textbf{Uniqueness of MGF}$$

MGF를 갖는 R.V. X, Y가 있을 때, 이 두 R.V.의 cdf가 동일하다면 두 R.V.의 MGF 또한 동일하다.