Leo's Garage

Honors Bivariate Functions of Random Variables 우리가 이 과정을 통해 알고 싶은 것은 새로운 2차원 랜덤 변수 (V, W)의 어떤 사건에 대해서 기존의 2차원 랜덤 변수 (X,Y)의 확률로 표현하는 것이다. 여기서, k1과 k2는 식을 위해 적절히 구해진 역 함수이다. J는 jacobian이다. jacobian을 사용하는 이유는 change of variable을 하기 위해서 이다. * 랜덤변수의 변환에 대해서 사전 지식이 있어야 한다. 위 식은 랜덤변수의 변환을 다변수로 확장시킨 개념이다. 우리는 임의로 V = X + Y로 두고, W = X로 둘 수 있다. X = W = k1(V,W) 그리고 Y = V - W = k2(V,W)로 둘 수 있다. 즉, X와 Y를 V와 ..

Moment Generating Functions, Revisited 랜덤변수 X가 베르누이 혹은 지수 분포를 가질 때, moment generating function은 위와 같이 구할 수 있다. 베르누이 분포의 경우에는 랜덤변수가 0과 1뿐이고 그에 대한 확률값도 p, q(1-p) 뿐이므로 위와 같이 전개될 수 있다. 지수 분포의 경우 연속확률분포이므로 적분을 통해서 기댓값을 계산하게 된다. 여기서 Sigma 기호는 각 index에 해당하는 수를 더하는 것이지만, Pi 연산은 각 index에 해당하는 수를 전부 곱하는 연산을 해야한다. Make Sense하다. mgf는 X의 선형방정식이다. 가령 Y = aX + b이면, My(t) = e^tb * Mx(at). 이런 경우에 Y 또한 3X - 2와 동일..

Some Useful Covariance / Correlation Theorems Var(X + Y) = E[(X + Y)^2] - (E[X + Y])^2를 이용해서 전개할 수 있다. 기본적으로 각 RV 자체의 Variance를 구하고, 서로 다른 두 RV간의 Covariance도 계산하여 더한다. 기본저적으로 Var(X) + Var(Y) + 2Cov(X,Y)를 n개로 확장 전개한 것으로 이해하면된다. Cov 내에 각 RV의 비례상수의 경우 Cov 계산 시 밖으로 빼서 곱할 수 있다. n개의 RV에 대한 Variance를 계산할 때도 위와 같이 응용할 수 있다.

Covariance and Correlation Covariance는 의미에서 보다시피 번역하면 "공분산"이다. 이전에 학습했듯이 Var(X) = E[(X - u)^2]이다. 따라서 Cov(X,X) = E[(X - E[X])^2] = Var(X)이 된다. Cov(X,Y) = E[(X - E[X])(Y - E[Y])]가 된다. 만약에 X와 Y가 독립사건이라면, E[XY] = E[X]E[Y]가 되므로, Covariance는 0이 된다. 즉, X 와 Y가 독립사건이라면 반드시 Covariance가 0이지만 그 역은 성립하지 않을 수 있다는 것이다. Correlation은 차원이 없는 값이다. Covariance를 각 RV의 분산곱의 제곱근으로 나눈값이다. 그 값이 1에 가깝다면 상관관계가 높다는 뜻이고, 0에..

Standard Conditioning Argument E[Y] = P(A)인데, 이때 어떤 RV X에 대해서 E[Y|X = x] = P(Y = 1 | X = x) = P(A|X = x). 로 정리가 될 수 있다. 뭔가 더 복잡하게 만든 것처럼 보인다. 이 경우에 위에서 전개한 Standard Conditioning Argument를 이용하여 위와 같이 정리할 수 있다. 중요한건 P(Y

Random Sums of Random Variables 여기서 주의해야하는 것은 아랫줄의 식에서 왼쪽과 오른쪽은 같지 않은데 왼쪽은 숫자이고 오른쪽은 랜덤이다. 왜냐하면 여기서 말하는 N 자체 또한 RV라고 했기 때문이다. (X와 독립적인....)

First-Step Analysis Y는 Geom 분포를 가지는데 동전을 던져서 첫 Head가 나올 사건의 기댓값을 구해야 한다. X를 첫 토스해서 Head나 Tail이 나올 사건이라고 가정하면, X = T인 경우에는 첫 시도는 실패이므로, 1을 더해야하므로 E[Y|X] = 1 + E[Y], X = H인 경우에는 1회만에 성공이므로, E[Y|X]는 1이다. 우리는 Y의 기댓값을 구하고 싶으므로, 앞 서 이야기한 Double Expectation 원리를 사용하면 조건부 기댓값의 기댓값으로 Y의 기댓값을 도출할 수 있다. Head가 나올 확률은 P, Tail이 나올 확률이 1-p라고 할 때, 위의 공식대로 계산하면 1/p가 나오게 된다. 이 경우에 쉽게 말해서 Y = A + B인데, A는 처음으로 H가 나올..

Double Expectation 조건부 기댓값의 기댓값이 기댓값이다. 이게 무슨 말일까? 실제로 조건부 기댓값을 h(X)로 치환하고 LOTUS를 이용하여 기댓값을 계산해보면 원래의 기댓값이 나온다. 핵심은 조건부 확률을 치환할 수 있고, 그 치환된 값을 이용해서 Jointly RV를 만든 뒤에 다시 Marginal Distribution 공식으로 정리할 수 있다는 것이다. 조건부 기댓값은 f(x,y)/fx(X)로 치환한 뒤 y를 곱하고, y의 범위인 x^2부터 1까지 적분을 통해서 구할 수 있다. 해법 1의 경우에는 기존에 방식대로 기댓값을 구하는 과정이며, 해법2는 위에서 말한 것과 같이 조건부 기댓값의 기댓값을 구하여 값을 얻어내는 과정이다.

Conditional Expectation 위의 예시는 X가 어떤 x일 때의 Y의 조건부 기댓값을 표현한 것이다. 위의 경우, 일반적인 Y의 기댓값이다. 따라서 Y가 각 조건일 경우 X에 관계없이 확률을 전부 더한 뒤 계산한다. 하지만 조건부 기댓값은 그 계산이 다르다. 우선 f(y|x=3)의 Conditional Random Variable을 다시 계산 한 뒤에 그 기댓값을 게산해야 한다. 연속 확률 변수에서는 위와 같이 계산할 수 있다.

Discrete Random Variables probability mass function (pmf) Definition: If X is discrete RV, its probability mass function(pmf) is f(x) = P(X = x). Note that 0