Leo's Garage

Consequences of Independence LOTUS의 증명을 확장하면 위와 같이 전개할 수 있다. 만약에 X와 Y가 독립적이라면 XY 곱의 기대값은 각각의 기대값의 곱과 같다. X와 Y의 합의 분산은 각각의 분산의 합과 같다.

Independent Random Variables 독립사건을 다시 상기시켜보자. 독립사건의 정의는 위와 같다. 만약에 두 사건이 독립이면, 조건부 확률은 그 사건의 확률과 동일하다. 자 이제 두 개의 독립적인 RV가 있다고 할 때, 두 RV는 서로 영향을 주지 못한다. 만약에 독립이 아니면 두 RV는 의존적이라고 볼 수 있다. 각각 x와 y에 대한 함수로 분리가 가능하다면 우리는 두 RV가 독립적이라고 볼 수 있을 것 이다. 위의 경우에는 독립적이라고 볼 수 없다. 왜냐면 x와 y로 분리할 수 없기 때문이다.

Conditional Distributions 조건부 확률을 다시 기억해보자. P(A|B)는 사건 B가 일어났을 때, 사건 A와 B의 교집합이 일어날 확률을 의미한다. 이와 동일하게 생각해보면, Jointly discrete RV 간에 관계에서도 이를 적용할 수 있다. f(y|x) = f(x,y) / fx(x) 이다. 이 관계식을 이용하면 f(x,y) = fx(x) * f(y|x)이다. 그리고 fy(y) 는 f(x,y)를 x 전체에 대해 적분하면 구할 수 있다.

Marginal Distributions 바로 직전 예제와 비교해보면, marginal 값은 동일하다. 하지만 joint distribution은 서로 다른 분포를 보이고 있다. 그래서 사실 joint distribution이 marginal보다 더 많은 정보를 가지고 있다고 볼 수 있다.

Bivariate or joint random variables 2개의 랜덤 변수를 동시에 고려하면 무슨일이 생길까? 한 사람을 무작위로 고르자. 그리고 그의 키와 몸무게를 (X,Y)라고 하자. 말 그대로 cdf를 두 가지 랜덤변수에 대해서 구하는 것이다. 차원이 하나 늘었다고 생각하면 된다.

Honors Bonus Results 역변환을 이용하여 Y의 pmf를 구한다. 역변환(Inverse Transform)을 이용하여 LOTUS를 증명할 수 있다.

Inverse Transform Theorem Inverse Transform이란 먼저 cdf를 구한 다음에 역변환을 취하고, 이때 역변환 인자로 Unif[0,1] 값을 넣는 것을 의미한다. 이러한 단계를 통해서 해당 확률밀도함수(pdf)를 따르는 확률 표본을 추출할 수 있다. 이러한 역변환의 일반화 방법은 다음과 같다. 1. cdf Y = Fx(X)는 Unif[0,1] 균등분포를 따르게 된다. 2. 이런 성질을 이용하여 역함수 Fx^-1(Y) = X가 되고 3. Unif[0,1]을 대입시키게 되면 Fx^-1(U)로 부터 X 표본을 추출할 수 있다.

Functions of a Random Variable 우리가 어떤 확률변수 X에 대한 pmf/pdf를 알고 있다고 하자. 이 때 어떤 확률변수 Y = h(X)에 대한 pmf/pdf를 구해보자. LOTUS를 사용하면 E[h(X)]를 구할 수 있다. 하지만 우리는 단순히 기댓값을 구하려는 것이 아니라 h(x)의 전체 분포를 얻고자 하는 것이다. pdf의 경우는 아래와 같다. pmf case 는 아래와 같다.

Some Probability Inequalities 음이 아닌 확률변수가 어떤 양의 실수 이상일 확률의 최소 상계(least upper bound)를 제시하는 부등식이다. 확률과 기댓값의 관계를 설명하고, 확률 변수의 cdf(누적 분포 함수)에 대해 느슨한 경우가 많지만 유용한 한계를 제공한다. 즉, 어떤 양의 실수 이상의 확률 변수에 대해서는 어떤 확률의 이상을 항상 가진다고 말할 수 있다. 체비쇼프 부등식 확률 분포에서 그 어떠한 데이터 샘플 혹은 확률 분포에서 거의 모든 값이 평균 (mean value)에 근접하며 "거의 모든"과 "근접하는"의 양적 설명을 제공한다. 예를 들어, 값 들 중 평균값으로부터 2 표준편차 이상 떨어진 것들은 1/4 이상을 차지하지 않는다. 3 표준 편차 이상 떨어진 것..

Moment Generating Functions 여기서 중요한 건 Mx(t)는 X의 함수가 아니다. t에 대한 함수이다. 예제는 X가 베르누이 분포일 때, mgf(moment generating function)을 구하면 위와 같다는 의미이다. 위의 수식 증명은 아래와 같다. 우리는 이러한 mgf를 이용해서 여러가지 응용을 할 수 있는데, 만약에 같은 mgf를 가지는 서로 다른 두 개의 확률변수가 있다면, 이들은 서로 같은 분포를 가지게 된다. 따라서 하나의 mgf는 하나의 확률분포에 대응된다.