Leo's Garage

Counting Techniques: Combinations Combination은 순서에 관계가 없다. Permutation의 경우에는 순서가 중요하다. Binomial Distribution이라는 걸 나중에 배우게 되는데 이 분포는 베르누이 시행을 n번 하여 성공할 횟수를 X라고 하면, 이 X 확률 변수의 모수가 (n, p)이 분포이다. (여기서 p는 성공할 확률을 의미한다.)

Counting Techniques: Permutations n개의 기호를 어떤 순서에 따라 배열한 것을 Permutation이라고 한다. n개 중 r개를 순서에 따라 고르는 것을 Pn,r로 표현한다.

Counting Techniques: Baby Examples 아주 간단한 예제들이다. 한 번씩 훑어보고 지나가자

Finite Sample Space Sample space의 사건들의 확률이 전부 동일할 때 Simple sample space라고 한다.

Basic Probability Results 사건 A의 여집합은 전체집합에서 A집합을 뺀 집합을 의미한다. 전체집합의 여집합은 null로 정의할 수 있다. A 사건의 확률이 0이라고 해서 A가 null 사건이지는 않는다. 일반적으로는 A와 B의 합집합의 확률은 A와 B의 확률의 합에 A와 B의 교집합의 확률을 뺀 값과 같다. 이전에 언급했던 A와 B가 disjoint인 경우는 특별한 케이스이다. n개 사건의 합집합에 대해서 짝수개의 사건의 교집합은 빼고, 홀수개의 사건의 교집합은 더하는 식으로 전개할 수 있다.

What is Probability 어떤 event A의 확률 P(A)는 Sample space에서 event A를 나눈 값으로 표현할 수 있다. 어떤 사건 A의 확률은 0과 1 사이에서 정의된다. P(S) = 1, 왜냐면 전체 사건 집합이므로 만약에 사건 A, B가 서로 disjoint라면 A와 B의 교집합은 null로 표기된다. 이 경우에 P(A U B) = P(A) + P(B)로 표현될 수 있다. 그리고 마지막 식의 경우에는 모든 event가 서로 disjoint라면 그 전체 합이 전체의 합집합과 동일하다고 볼 수 있다. 마지막의 식은 결국, 동전던지기 횟수가 1회 증가할 때마다 확률은 절반씩 줄기 때문에 위와 같이 표현할 수 있다.

Experiments, Sample Spaces, and Events 어떤 실험 E에 대해서 가능한 outcome들의 집합을 Sample space라고 한다. 가령 동전 던지기에 대한 Sample space는 S = {H, T}로 정의할 수 있는데 여기서 H는 Head, T는 Tail이라고 볼 수 있다. 하지만 실험을 어떻게 하냐에 따라 같은 실험을 다르게 표현할 수도 있는데 동전을 3번 연속 던지는 실험에 대한 Simple space는 다음과 같이 표현할 수 있다. S = {HHH, HHT, HTH, HTT, THH, THT, TTH, TTT} S' = {0, 1, 2, 3} 두번째 Simple space는 Head나 Tail의 갯수로 표현될 수 있다. Simple space의 어떠한 부분집합을 eve..

Honors Bivariate Functions of Random Variables 우리가 이 과정을 통해 알고 싶은 것은 새로운 2차원 랜덤 변수 (V, W)의 어떤 사건에 대해서 기존의 2차원 랜덤 변수 (X,Y)의 확률로 표현하는 것이다. 여기서, k1과 k2는 식을 위해 적절히 구해진 역 함수이다. J는 jacobian이다. jacobian을 사용하는 이유는 change of variable을 하기 위해서 이다. * 랜덤변수의 변환에 대해서 사전 지식이 있어야 한다. 위 식은 랜덤변수의 변환을 다변수로 확장시킨 개념이다. 우리는 임의로 V = X + Y로 두고, W = X로 둘 수 있다. X = W = k1(V,W) 그리고 Y = V - W = k2(V,W)로 둘 수 있다. 즉, X와 Y를 V와 ..

Moment Generating Functions, Revisited 랜덤변수 X가 베르누이 혹은 지수 분포를 가질 때, moment generating function은 위와 같이 구할 수 있다. 베르누이 분포의 경우에는 랜덤변수가 0과 1뿐이고 그에 대한 확률값도 p, q(1-p) 뿐이므로 위와 같이 전개될 수 있다. 지수 분포의 경우 연속확률분포이므로 적분을 통해서 기댓값을 계산하게 된다. 여기서 Sigma 기호는 각 index에 해당하는 수를 더하는 것이지만, Pi 연산은 각 index에 해당하는 수를 전부 곱하는 연산을 해야한다. Make Sense하다. mgf는 X의 선형방정식이다. 가령 Y = aX + b이면, My(t) = e^tb * Mx(at). 이런 경우에 Y 또한 3X - 2와 동일..

Some Useful Covariance / Correlation Theorems Var(X + Y) = E[(X + Y)^2] - (E[X + Y])^2를 이용해서 전개할 수 있다. 기본적으로 각 RV 자체의 Variance를 구하고, 서로 다른 두 RV간의 Covariance도 계산하여 더한다. 기본저적으로 Var(X) + Var(Y) + 2Cov(X,Y)를 n개로 확장 전개한 것으로 이해하면된다. Cov 내에 각 RV의 비례상수의 경우 Cov 계산 시 밖으로 빼서 곱할 수 있다. n개의 RV에 대한 Variance를 계산할 때도 위와 같이 응용할 수 있다.