Leo's Garage

Experiments, Sample Spaces, and Events 어떤 실험 E에 대해서 가능한 outcome들의 집합을 Sample space라고 한다. 가령 동전 던지기에 대한 Sample space는 S = {H, T}로 정의할 수 있는데 여기서 H는 Head, T는 Tail이라고 볼 수 있다. 하지만 실험을 어떻게 하냐에 따라 같은 실험을 다르게 표현할 수도 있는데 동전을 3번 연속 던지는 실험에 대한 Simple space는 다음과 같이 표현할 수 있다. S = {HHH, HHT, HTH, HTT, THH, THT, TTH, TTT} S' = {0, 1, 2, 3} 두번째 Simple space는 Head나 Tail의 갯수로 표현될 수 있다. Simple space의 어떠한 부분집합을 eve..

Honors Bivariate Functions of Random Variables 우리가 이 과정을 통해 알고 싶은 것은 새로운 2차원 랜덤 변수 (V, W)의 어떤 사건에 대해서 기존의 2차원 랜덤 변수 (X,Y)의 확률로 표현하는 것이다. 여기서, k1과 k2는 식을 위해 적절히 구해진 역 함수이다. J는 jacobian이다. jacobian을 사용하는 이유는 change of variable을 하기 위해서 이다. * 랜덤변수의 변환에 대해서 사전 지식이 있어야 한다. 위 식은 랜덤변수의 변환을 다변수로 확장시킨 개념이다. 우리는 임의로 V = X + Y로 두고, W = X로 둘 수 있다. X = W = k1(V,W) 그리고 Y = V - W = k2(V,W)로 둘 수 있다. 즉, X와 Y를 V와 ..

Moment Generating Functions, Revisited 랜덤변수 X가 베르누이 혹은 지수 분포를 가질 때, moment generating function은 위와 같이 구할 수 있다. 베르누이 분포의 경우에는 랜덤변수가 0과 1뿐이고 그에 대한 확률값도 p, q(1-p) 뿐이므로 위와 같이 전개될 수 있다. 지수 분포의 경우 연속확률분포이므로 적분을 통해서 기댓값을 계산하게 된다. 여기서 Sigma 기호는 각 index에 해당하는 수를 더하는 것이지만, Pi 연산은 각 index에 해당하는 수를 전부 곱하는 연산을 해야한다. Make Sense하다. mgf는 X의 선형방정식이다. 가령 Y = aX + b이면, My(t) = e^tb * Mx(at). 이런 경우에 Y 또한 3X - 2와 동일..

Some Useful Covariance / Correlation Theorems Var(X + Y) = E[(X + Y)^2] - (E[X + Y])^2를 이용해서 전개할 수 있다. 기본적으로 각 RV 자체의 Variance를 구하고, 서로 다른 두 RV간의 Covariance도 계산하여 더한다. 기본저적으로 Var(X) + Var(Y) + 2Cov(X,Y)를 n개로 확장 전개한 것으로 이해하면된다. Cov 내에 각 RV의 비례상수의 경우 Cov 계산 시 밖으로 빼서 곱할 수 있다. n개의 RV에 대한 Variance를 계산할 때도 위와 같이 응용할 수 있다.

A Couple of Worked Correlation Examples

Correlation and Causation 이게 무슨 말일까? Correlation과 인과율은 서로 따라오는 관계는 아니라는 의미이다. 시사하는 바는 Correlation과 Causality는 반드시 필요로 하는 것은 아니라는 점이다.

Covariance and Correlation Covariance는 의미에서 보다시피 번역하면 "공분산"이다. 이전에 학습했듯이 Var(X) = E[(X - u)^2]이다. 따라서 Cov(X,X) = E[(X - E[X])^2] = Var(X)이 된다. Cov(X,Y) = E[(X - E[X])(Y - E[Y])]가 된다. 만약에 X와 Y가 독립사건이라면, E[XY] = E[X]E[Y]가 되므로, Covariance는 0이 된다. 즉, X 와 Y가 독립사건이라면 반드시 Covariance가 0이지만 그 역은 성립하지 않을 수 있다는 것이다. Correlation은 차원이 없는 값이다. Covariance를 각 RV의 분산곱의 제곱근으로 나눈값이다. 그 값이 1에 가깝다면 상관관계가 높다는 뜻이고, 0에..

Standard Conditioning Argument E[Y] = P(A)인데, 이때 어떤 RV X에 대해서 E[Y|X = x] = P(Y = 1 | X = x) = P(A|X = x). 로 정리가 될 수 있다. 뭔가 더 복잡하게 만든 것처럼 보인다. 이 경우에 위에서 전개한 Standard Conditioning Argument를 이용하여 위와 같이 정리할 수 있다. 중요한건 P(Y

Random Sums of Random Variables 여기서 주의해야하는 것은 아랫줄의 식에서 왼쪽과 오른쪽은 같지 않은데 왼쪽은 숫자이고 오른쪽은 랜덤이다. 왜냐하면 여기서 말하는 N 자체 또한 RV라고 했기 때문이다. (X와 독립적인....)

First-Step Analysis Y는 Geom 분포를 가지는데 동전을 던져서 첫 Head가 나올 사건의 기댓값을 구해야 한다. X를 첫 토스해서 Head나 Tail이 나올 사건이라고 가정하면, X = T인 경우에는 첫 시도는 실패이므로, 1을 더해야하므로 E[Y|X] = 1 + E[Y], X = H인 경우에는 1회만에 성공이므로, E[Y|X]는 1이다. 우리는 Y의 기댓값을 구하고 싶으므로, 앞 서 이야기한 Double Expectation 원리를 사용하면 조건부 기댓값의 기댓값으로 Y의 기댓값을 도출할 수 있다. Head가 나올 확률은 P, Tail이 나올 확률이 1-p라고 할 때, 위의 공식대로 계산하면 1/p가 나오게 된다. 이 경우에 쉽게 말해서 Y = A + B인데, A는 처음으로 H가 나올..