Leo's Garage

Functions of a Random Variable 우리가 어떤 확률변수 X에 대한 pmf/pdf를 알고 있다고 하자. 이 때 어떤 확률변수 Y = h(X)에 대한 pmf/pdf를 구해보자. LOTUS를 사용하면 E[h(X)]를 구할 수 있다. 하지만 우리는 단순히 기댓값을 구하려는 것이 아니라 h(x)의 전체 분포를 얻고자 하는 것이다. pdf의 경우는 아래와 같다. pmf case 는 아래와 같다.

Some Probability Inequalities 음이 아닌 확률변수가 어떤 양의 실수 이상일 확률의 최소 상계(least upper bound)를 제시하는 부등식이다. 확률과 기댓값의 관계를 설명하고, 확률 변수의 cdf(누적 분포 함수)에 대해 느슨한 경우가 많지만 유용한 한계를 제공한다. 즉, 어떤 양의 실수 이상의 확률 변수에 대해서는 어떤 확률의 이상을 항상 가진다고 말할 수 있다. 체비쇼프 부등식 확률 분포에서 그 어떠한 데이터 샘플 혹은 확률 분포에서 거의 모든 값이 평균 (mean value)에 근접하며 "거의 모든"과 "근접하는"의 양적 설명을 제공한다. 예를 들어, 값 들 중 평균값으로부터 2 표준편차 이상 떨어진 것들은 1/4 이상을 차지하지 않는다. 3 표준 편차 이상 떨어진 것..

Moment Generating Functions 여기서 중요한 건 Mx(t)는 X의 함수가 아니다. t에 대한 함수이다. 예제는 X가 베르누이 분포일 때, mgf(moment generating function)을 구하면 위와 같다는 의미이다. 위의 수식 증명은 아래와 같다. 우리는 이러한 mgf를 이용해서 여러가지 응용을 할 수 있는데, 만약에 같은 mgf를 가지는 서로 다른 두 개의 확률변수가 있다면, 이들은 서로 같은 분포를 가지게 된다. 따라서 하나의 mgf는 하나의 확률분포에 대응된다.

Approximations to E[h(x)] and Var[h(x)] 미지의 함수 Y를 Taylor 급수 형태로 전개하여 E[Y]와 Var[Y]를 정의하는 과정 예를 들어 pdf X에 대한 수식과 h(X) 정의를 아래와 같이 두면 우리는 Y에 대한 기댓값과 분산을 아래와 같이 구할 수 있다. 물론 위와 같이 구할 수도 있지만, 우리가 처음에 제시한 방법대로 한 번 전개 해보자 위와 같이 기존의 X에 대한 기대값과 분산을 정의할 수 있다. 이를 이용해서 처음에 제시한 방법으로 계산을 해보면, 아주 근사한 값이 도출됨을 알 수 있다.

LOTUS, Moments, and Variance 통계학에서 확률변수 x의 함수 h(x)의 분포를 모르는 상황에서도 h(x)의 기대값 E[h(x)]를 구할 수 있게 해주는 theorem. 보통 X의 기대값을 구할 때 X의 확률함수를 이용하여 구했는데, X의 함수인 g(X)도 하나의 확률변수로 기대값을 구할 때, g(X)를 알아야만 구할 수 있을 것 같지만 X의 확률함수만 알아도 기대값 식에서 무의식적으로 x 대신에 g(x)를 써서 구할 수 있다는 점에서 의의를 가진다. moment는 물리에서 온 용어인데, 여러가지 물리량을 의미하기도 한다. 하지만 여기서는 간단히 말하면, 0차 moment는 pdf, pmf를 의미하고 1차 moment는 기대값, 2차 moment는 분산, 3차 moment는 비틀림, ..

Great Expectations 평균 혹은 기대값은 확률함수에서 어떤 값이 나올 확률을 각각 곱한 뒤 합치면 알 수 있다. 베르누이 분포는 어떤 값의 확률이 p이면, 나머지 확률은 1 - p 이다. 이를 활용해서 구한다. geometric 분포는 베르누이 분포에서 각 시도를 해서 처음으로 성공하는 확률에 대한 분포이다.

Cumulative Distribution Functions cdf (cumulative distribution function, 누적분포함수)은 이산확률함수나 연속확률함수의 특정 누적값을 의미한다. pdf나 pmf 전부 확률 함수이므로 특정 범위를 확률을 계산한다고 생각하면된다. cdf를 통해서 median을 찾을 수 있다.

Continuous Random Variables 연속적인 구간에서의 RV pdf : 확률 밀도 함수 확률 밀도 함수에서 어떤 특정 포인트를 찍어서 해당 확률을 살펴보면 0 이다. pmf와 pdf는 성질이 전혀 다르다. pmf는 특정 부분에 대해서 확률을 가지고 있지만, pdf는 그렇지 않다. 오로지 확률을 계산할 수 있는 가능성을 가지고 있을 뿐이다.

Discrete Random Variables probability mass function (pmf) Definition: If X is discrete RV, its probability mass function(pmf) is f(x) = P(X = x). Note that 0

RV : Random Variable (랜덤 변수, 확률 변수) Definition: A random variable (RV) is a function from the sample space to the real line X : S -> R. Example : Flip 2 coins. S = {HH, HT, TH, TT}. X(TT) = 0, X(HT) = X(TH) = 1, X(HH) = 2. P(X = 0) = 1/4, P(X = 1) = 1/2, P(X = 2) = 1/4 Random이란 RV { x1 < X < x2} 는 실험 시행 전 표본 공간 내 가능한 실험 결과 중 임의의 값 Variable이란 RV가 어떤 값을 취하느냐가 '확률적으로 결정되는 변수'를 의미한다. 즉, RV는 함수의 일종인데..