Leo's Garage

Double Expectation 조건부 기댓값의 기댓값이 기댓값이다. 이게 무슨 말일까? 실제로 조건부 기댓값을 h(X)로 치환하고 LOTUS를 이용하여 기댓값을 계산해보면 원래의 기댓값이 나온다. 핵심은 조건부 확률을 치환할 수 있고, 그 치환된 값을 이용해서 Jointly RV를 만든 뒤에 다시 Marginal Distribution 공식으로 정리할 수 있다는 것이다. 조건부 기댓값은 f(x,y)/fx(X)로 치환한 뒤 y를 곱하고, y의 범위인 x^2부터 1까지 적분을 통해서 구할 수 있다. 해법 1의 경우에는 기존에 방식대로 기댓값을 구하는 과정이며, 해법2는 위에서 말한 것과 같이 조건부 기댓값의 기댓값을 구하여 값을 얻어내는 과정이다.

Conditional Expectation 위의 예시는 X가 어떤 x일 때의 Y의 조건부 기댓값을 표현한 것이다. 위의 경우, 일반적인 Y의 기댓값이다. 따라서 Y가 각 조건일 경우 X에 관계없이 확률을 전부 더한 뒤 계산한다. 하지만 조건부 기댓값은 그 계산이 다르다. 우선 f(y|x=3)의 Conditional Random Variable을 다시 계산 한 뒤에 그 기댓값을 게산해야 한다. 연속 확률 변수에서는 위와 같이 계산할 수 있다.

Random Samples 이러한 Random Sample을 IID(Independent and Identically distributed)라고 한다. Random Sample은 결국 Random Variable의 일종이라고 볼 수 있다. Sample mean은 이러한 Random Sample n개를 더한 뒤에 n으로 나눈 값이다. 이 값은 Random Variable의 평균과 동일하다. 그렇다면 분산은 어떨까? Sample Variance는 Variance보다 작아진다. 이것을 우리는 "큰 수의 법칙"이라고 하며, 좀 더 많은 시행을 할 수록 어떤 기댓값에 가까워진다는 것을 의미한다. 가령 6면 주사위를 10번 던질 때와 100000번 던질 때, 각 숫자가 나올 확률은 1/6을 향해 가까워지지 않는가.

Consequences of Independence LOTUS의 증명을 확장하면 위와 같이 전개할 수 있다. 만약에 X와 Y가 독립적이라면 XY 곱의 기대값은 각각의 기대값의 곱과 같다. X와 Y의 합의 분산은 각각의 분산의 합과 같다.

Independent Random Variables 독립사건을 다시 상기시켜보자. 독립사건의 정의는 위와 같다. 만약에 두 사건이 독립이면, 조건부 확률은 그 사건의 확률과 동일하다. 자 이제 두 개의 독립적인 RV가 있다고 할 때, 두 RV는 서로 영향을 주지 못한다. 만약에 독립이 아니면 두 RV는 의존적이라고 볼 수 있다. 각각 x와 y에 대한 함수로 분리가 가능하다면 우리는 두 RV가 독립적이라고 볼 수 있을 것 이다. 위의 경우에는 독립적이라고 볼 수 없다. 왜냐면 x와 y로 분리할 수 없기 때문이다.

Conditional Distributions 조건부 확률을 다시 기억해보자. P(A|B)는 사건 B가 일어났을 때, 사건 A와 B의 교집합이 일어날 확률을 의미한다. 이와 동일하게 생각해보면, Jointly discrete RV 간에 관계에서도 이를 적용할 수 있다. f(y|x) = f(x,y) / fx(x) 이다. 이 관계식을 이용하면 f(x,y) = fx(x) * f(y|x)이다. 그리고 fy(y) 는 f(x,y)를 x 전체에 대해 적분하면 구할 수 있다.

Marginal Distributions 바로 직전 예제와 비교해보면, marginal 값은 동일하다. 하지만 joint distribution은 서로 다른 분포를 보이고 있다. 그래서 사실 joint distribution이 marginal보다 더 많은 정보를 가지고 있다고 볼 수 있다.

Bivariate or joint random variables 2개의 랜덤 변수를 동시에 고려하면 무슨일이 생길까? 한 사람을 무작위로 고르자. 그리고 그의 키와 몸무게를 (X,Y)라고 하자. 말 그대로 cdf를 두 가지 랜덤변수에 대해서 구하는 것이다. 차원이 하나 늘었다고 생각하면 된다.

Honors Bonus Results 역변환을 이용하여 Y의 pmf를 구한다. 역변환(Inverse Transform)을 이용하여 LOTUS를 증명할 수 있다.

Inverse Transform Theorem Inverse Transform이란 먼저 cdf를 구한 다음에 역변환을 취하고, 이때 역변환 인자로 Unif[0,1] 값을 넣는 것을 의미한다. 이러한 단계를 통해서 해당 확률밀도함수(pdf)를 따르는 확률 표본을 추출할 수 있다. 이러한 역변환의 일반화 방법은 다음과 같다. 1. cdf Y = Fx(X)는 Unif[0,1] 균등분포를 따르게 된다. 2. 이런 성질을 이용하여 역함수 Fx^-1(Y) = X가 되고 3. Unif[0,1]을 대입시키게 되면 Fx^-1(U)로 부터 X 표본을 추출할 수 있다.