Leo's Garage

Conditional Distributions 조건부 확률을 다시 기억해보자. P(A|B)는 사건 B가 일어났을 때, 사건 A와 B의 교집합이 일어날 확률을 의미한다. 이와 동일하게 생각해보면, Jointly discrete RV 간에 관계에서도 이를 적용할 수 있다. f(y|x) = f(x,y) / fx(x) 이다. 이 관계식을 이용하면 f(x,y) = fx(x) * f(y|x)이다. 그리고 fy(y) 는 f(x,y)를 x 전체에 대해 적분하면 구할 수 있다.

Marginal Distributions 바로 직전 예제와 비교해보면, marginal 값은 동일하다. 하지만 joint distribution은 서로 다른 분포를 보이고 있다. 그래서 사실 joint distribution이 marginal보다 더 많은 정보를 가지고 있다고 볼 수 있다.

Bivariate or joint random variables 2개의 랜덤 변수를 동시에 고려하면 무슨일이 생길까? 한 사람을 무작위로 고르자. 그리고 그의 키와 몸무게를 (X,Y)라고 하자. 말 그대로 cdf를 두 가지 랜덤변수에 대해서 구하는 것이다. 차원이 하나 늘었다고 생각하면 된다.

Honors Bonus Results 역변환을 이용하여 Y의 pmf를 구한다. 역변환(Inverse Transform)을 이용하여 LOTUS를 증명할 수 있다.

Inverse Transform Theorem Inverse Transform이란 먼저 cdf를 구한 다음에 역변환을 취하고, 이때 역변환 인자로 Unif[0,1] 값을 넣는 것을 의미한다. 이러한 단계를 통해서 해당 확률밀도함수(pdf)를 따르는 확률 표본을 추출할 수 있다. 이러한 역변환의 일반화 방법은 다음과 같다. 1. cdf Y = Fx(X)는 Unif[0,1] 균등분포를 따르게 된다. 2. 이런 성질을 이용하여 역함수 Fx^-1(Y) = X가 되고 3. Unif[0,1]을 대입시키게 되면 Fx^-1(U)로 부터 X 표본을 추출할 수 있다.

Functions of a Random Variable 우리가 어떤 확률변수 X에 대한 pmf/pdf를 알고 있다고 하자. 이 때 어떤 확률변수 Y = h(X)에 대한 pmf/pdf를 구해보자. LOTUS를 사용하면 E[h(X)]를 구할 수 있다. 하지만 우리는 단순히 기댓값을 구하려는 것이 아니라 h(x)의 전체 분포를 얻고자 하는 것이다. pdf의 경우는 아래와 같다. pmf case 는 아래와 같다.

Some Probability Inequalities 음이 아닌 확률변수가 어떤 양의 실수 이상일 확률의 최소 상계(least upper bound)를 제시하는 부등식이다. 확률과 기댓값의 관계를 설명하고, 확률 변수의 cdf(누적 분포 함수)에 대해 느슨한 경우가 많지만 유용한 한계를 제공한다. 즉, 어떤 양의 실수 이상의 확률 변수에 대해서는 어떤 확률의 이상을 항상 가진다고 말할 수 있다. 체비쇼프 부등식 확률 분포에서 그 어떠한 데이터 샘플 혹은 확률 분포에서 거의 모든 값이 평균 (mean value)에 근접하며 "거의 모든"과 "근접하는"의 양적 설명을 제공한다. 예를 들어, 값 들 중 평균값으로부터 2 표준편차 이상 떨어진 것들은 1/4 이상을 차지하지 않는다. 3 표준 편차 이상 떨어진 것..

Moment Generating Functions 여기서 중요한 건 Mx(t)는 X의 함수가 아니다. t에 대한 함수이다. 예제는 X가 베르누이 분포일 때, mgf(moment generating function)을 구하면 위와 같다는 의미이다. 위의 수식 증명은 아래와 같다. 우리는 이러한 mgf를 이용해서 여러가지 응용을 할 수 있는데, 만약에 같은 mgf를 가지는 서로 다른 두 개의 확률변수가 있다면, 이들은 서로 같은 분포를 가지게 된다. 따라서 하나의 mgf는 하나의 확률분포에 대응된다.

Approximations to E[h(x)] and Var[h(x)] 미지의 함수 Y를 Taylor 급수 형태로 전개하여 E[Y]와 Var[Y]를 정의하는 과정 예를 들어 pdf X에 대한 수식과 h(X) 정의를 아래와 같이 두면 우리는 Y에 대한 기댓값과 분산을 아래와 같이 구할 수 있다. 물론 위와 같이 구할 수도 있지만, 우리가 처음에 제시한 방법대로 한 번 전개 해보자 위와 같이 기존의 X에 대한 기대값과 분산을 정의할 수 있다. 이를 이용해서 처음에 제시한 방법으로 계산을 해보면, 아주 근사한 값이 도출됨을 알 수 있다.

LOTUS, Moments, and Variance 통계학에서 확률변수 x의 함수 h(x)의 분포를 모르는 상황에서도 h(x)의 기대값 E[h(x)]를 구할 수 있게 해주는 theorem. 보통 X의 기대값을 구할 때 X의 확률함수를 이용하여 구했는데, X의 함수인 g(X)도 하나의 확률변수로 기대값을 구할 때, g(X)를 알아야만 구할 수 있을 것 같지만 X의 확률함수만 알아도 기대값 식에서 무의식적으로 x 대신에 g(x)를 써서 구할 수 있다는 점에서 의의를 가진다. moment는 물리에서 온 용어인데, 여러가지 물리량을 의미하기도 한다. 하지만 여기서는 간단히 말하면, 0차 moment는 pdf, pmf를 의미하고 1차 moment는 기대값, 2차 moment는 분산, 3차 moment는 비틀림, ..