Leo's Garage

Random Samples 이러한 Random Sample을 IID(Independent and Identically distributed)라고 한다. Random Sample은 결국 Random Variable의 일종이라고 볼 수 있다. Sample mean은 이러한 Random Sample n개를 더한 뒤에 n으로 나눈 값이다. 이 값은 Random Variable의 평균과 동일하다. 그렇다면 분산은 어떨까? Sample Variance는 Variance보다 작아진다. 이것을 우리는 "큰 수의 법칙"이라고 하며, 좀 더 많은 시행을 할 수록 어떤 기댓값에 가까워진다는 것을 의미한다. 가령 6면 주사위를 10번 던질 때와 100000번 던질 때, 각 숫자가 나올 확률은 1/6을 향해 가까워지지 않는가.

Consequences of Independence LOTUS의 증명을 확장하면 위와 같이 전개할 수 있다. 만약에 X와 Y가 독립적이라면 XY 곱의 기대값은 각각의 기대값의 곱과 같다. X와 Y의 합의 분산은 각각의 분산의 합과 같다.

Independent Random Variables 독립사건을 다시 상기시켜보자. 독립사건의 정의는 위와 같다. 만약에 두 사건이 독립이면, 조건부 확률은 그 사건의 확률과 동일하다. 자 이제 두 개의 독립적인 RV가 있다고 할 때, 두 RV는 서로 영향을 주지 못한다. 만약에 독립이 아니면 두 RV는 의존적이라고 볼 수 있다. 각각 x와 y에 대한 함수로 분리가 가능하다면 우리는 두 RV가 독립적이라고 볼 수 있을 것 이다. 위의 경우에는 독립적이라고 볼 수 없다. 왜냐면 x와 y로 분리할 수 없기 때문이다.

Conditional Distributions 조건부 확률을 다시 기억해보자. P(A|B)는 사건 B가 일어났을 때, 사건 A와 B의 교집합이 일어날 확률을 의미한다. 이와 동일하게 생각해보면, Jointly discrete RV 간에 관계에서도 이를 적용할 수 있다. f(y|x) = f(x,y) / fx(x) 이다. 이 관계식을 이용하면 f(x,y) = fx(x) * f(y|x)이다. 그리고 fy(y) 는 f(x,y)를 x 전체에 대해 적분하면 구할 수 있다.

Marginal Distributions 바로 직전 예제와 비교해보면, marginal 값은 동일하다. 하지만 joint distribution은 서로 다른 분포를 보이고 있다. 그래서 사실 joint distribution이 marginal보다 더 많은 정보를 가지고 있다고 볼 수 있다.

Bivariate or joint random variables 2개의 랜덤 변수를 동시에 고려하면 무슨일이 생길까? 한 사람을 무작위로 고르자. 그리고 그의 키와 몸무게를 (X,Y)라고 하자. 말 그대로 cdf를 두 가지 랜덤변수에 대해서 구하는 것이다. 차원이 하나 늘었다고 생각하면 된다.

Honors Bonus Results 역변환을 이용하여 Y의 pmf를 구한다. 역변환(Inverse Transform)을 이용하여 LOTUS를 증명할 수 있다.

Inverse Transform Theorem Inverse Transform이란 먼저 cdf를 구한 다음에 역변환을 취하고, 이때 역변환 인자로 Unif[0,1] 값을 넣는 것을 의미한다. 이러한 단계를 통해서 해당 확률밀도함수(pdf)를 따르는 확률 표본을 추출할 수 있다. 이러한 역변환의 일반화 방법은 다음과 같다. 1. cdf Y = Fx(X)는 Unif[0,1] 균등분포를 따르게 된다. 2. 이런 성질을 이용하여 역함수 Fx^-1(Y) = X가 되고 3. Unif[0,1]을 대입시키게 되면 Fx^-1(U)로 부터 X 표본을 추출할 수 있다.

Functions of a Random Variable 우리가 어떤 확률변수 X에 대한 pmf/pdf를 알고 있다고 하자. 이 때 어떤 확률변수 Y = h(X)에 대한 pmf/pdf를 구해보자. LOTUS를 사용하면 E[h(X)]를 구할 수 있다. 하지만 우리는 단순히 기댓값을 구하려는 것이 아니라 h(x)의 전체 분포를 얻고자 하는 것이다. pdf의 경우는 아래와 같다. pmf case 는 아래와 같다.

Some Probability Inequalities 음이 아닌 확률변수가 어떤 양의 실수 이상일 확률의 최소 상계(least upper bound)를 제시하는 부등식이다. 확률과 기댓값의 관계를 설명하고, 확률 변수의 cdf(누적 분포 함수)에 대해 느슨한 경우가 많지만 유용한 한계를 제공한다. 즉, 어떤 양의 실수 이상의 확률 변수에 대해서는 어떤 확률의 이상을 항상 가진다고 말할 수 있다. 체비쇼프 부등식 확률 분포에서 그 어떠한 데이터 샘플 혹은 확률 분포에서 거의 모든 값이 평균 (mean value)에 근접하며 "거의 모든"과 "근접하는"의 양적 설명을 제공한다. 예를 들어, 값 들 중 평균값으로부터 2 표준편차 이상 떨어진 것들은 1/4 이상을 차지하지 않는다. 3 표준 편차 이상 떨어진 것..