Leo's Garage

Conditional Expectation 위의 예시는 X가 어떤 x일 때의 Y의 조건부 기댓값을 표현한 것이다. 위의 경우, 일반적인 Y의 기댓값이다. 따라서 Y가 각 조건일 경우 X에 관계없이 확률을 전부 더한 뒤 계산한다. 하지만 조건부 기댓값은 그 계산이 다르다. 우선 f(y|x=3)의 Conditional Random Variable을 다시 계산 한 뒤에 그 기댓값을 게산해야 한다. 연속 확률 변수에서는 위와 같이 계산할 수 있다.

Random Samples 이러한 Random Sample을 IID(Independent and Identically distributed)라고 한다. Random Sample은 결국 Random Variable의 일종이라고 볼 수 있다. Sample mean은 이러한 Random Sample n개를 더한 뒤에 n으로 나눈 값이다. 이 값은 Random Variable의 평균과 동일하다. 그렇다면 분산은 어떨까? Sample Variance는 Variance보다 작아진다. 이것을 우리는 "큰 수의 법칙"이라고 하며, 좀 더 많은 시행을 할 수록 어떤 기댓값에 가까워진다는 것을 의미한다. 가령 6면 주사위를 10번 던질 때와 100000번 던질 때, 각 숫자가 나올 확률은 1/6을 향해 가까워지지 않는가.

Consequences of Independence LOTUS의 증명을 확장하면 위와 같이 전개할 수 있다. 만약에 X와 Y가 독립적이라면 XY 곱의 기대값은 각각의 기대값의 곱과 같다. X와 Y의 합의 분산은 각각의 분산의 합과 같다.

Independent Random Variables 독립사건을 다시 상기시켜보자. 독립사건의 정의는 위와 같다. 만약에 두 사건이 독립이면, 조건부 확률은 그 사건의 확률과 동일하다. 자 이제 두 개의 독립적인 RV가 있다고 할 때, 두 RV는 서로 영향을 주지 못한다. 만약에 독립이 아니면 두 RV는 의존적이라고 볼 수 있다. 각각 x와 y에 대한 함수로 분리가 가능하다면 우리는 두 RV가 독립적이라고 볼 수 있을 것 이다. 위의 경우에는 독립적이라고 볼 수 없다. 왜냐면 x와 y로 분리할 수 없기 때문이다.

Conditional Distributions 조건부 확률을 다시 기억해보자. P(A|B)는 사건 B가 일어났을 때, 사건 A와 B의 교집합이 일어날 확률을 의미한다. 이와 동일하게 생각해보면, Jointly discrete RV 간에 관계에서도 이를 적용할 수 있다. f(y|x) = f(x,y) / fx(x) 이다. 이 관계식을 이용하면 f(x,y) = fx(x) * f(y|x)이다. 그리고 fy(y) 는 f(x,y)를 x 전체에 대해 적분하면 구할 수 있다.

Marginal Distributions 바로 직전 예제와 비교해보면, marginal 값은 동일하다. 하지만 joint distribution은 서로 다른 분포를 보이고 있다. 그래서 사실 joint distribution이 marginal보다 더 많은 정보를 가지고 있다고 볼 수 있다.

Bivariate or joint random variables 2개의 랜덤 변수를 동시에 고려하면 무슨일이 생길까? 한 사람을 무작위로 고르자. 그리고 그의 키와 몸무게를 (X,Y)라고 하자. 말 그대로 cdf를 두 가지 랜덤변수에 대해서 구하는 것이다. 차원이 하나 늘었다고 생각하면 된다.

Honors Bonus Results 역변환을 이용하여 Y의 pmf를 구한다. 역변환(Inverse Transform)을 이용하여 LOTUS를 증명할 수 있다.

Inverse Transform Theorem Inverse Transform이란 먼저 cdf를 구한 다음에 역변환을 취하고, 이때 역변환 인자로 Unif[0,1] 값을 넣는 것을 의미한다. 이러한 단계를 통해서 해당 확률밀도함수(pdf)를 따르는 확률 표본을 추출할 수 있다. 이러한 역변환의 일반화 방법은 다음과 같다. 1. cdf Y = Fx(X)는 Unif[0,1] 균등분포를 따르게 된다. 2. 이런 성질을 이용하여 역함수 Fx^-1(Y) = X가 되고 3. Unif[0,1]을 대입시키게 되면 Fx^-1(U)로 부터 X 표본을 추출할 수 있다.

Functions of a Random Variable 우리가 어떤 확률변수 X에 대한 pmf/pdf를 알고 있다고 하자. 이 때 어떤 확률변수 Y = h(X)에 대한 pmf/pdf를 구해보자. LOTUS를 사용하면 E[h(X)]를 구할 수 있다. 하지만 우리는 단순히 기댓값을 구하려는 것이 아니라 h(x)의 전체 분포를 얻고자 하는 것이다. pdf의 경우는 아래와 같다. pmf case 는 아래와 같다.