Probability and Statistics II: Random Variables – Great Expectations to Bell Curves - 9

Some Probability Inequalities

Markov's Inequality

음이 아닌 확률변수가 어떤 양의 실수 이상일 확률의 최소 상계(least upper bound)를 제시하는 부등식이다.

확률과 기댓값의 관계를 설명하고, 확률 변수의 cdf(누적 분포 함수)에 대해 느슨한 경우가 많지만 유용한 한계를 제공한다. 

즉, 어떤 양의 실수 이상의 확률 변수에 대해서는 어떤 확률의 이상을 항상 가진다고 말할 수 있다. 

Chebychev's Inequality

체비쇼프 부등식 

확률 분포에서 그 어떠한 데이터 샘플 혹은 확률 분포에서 거의 모든 값이 평균 (mean value)에 근접하며 "거의 모든"과 "근접하는"의 양적 설명을 제공한다.

예를 들어, 

• 값 들 중 평균값으로부터 2 표준편차 이상 떨어진 것들은 1/4 이상을 차지하지 않는다.
• 3 표준 편차 이상 떨어진 것들은 1/9 이상 차지하지 않는다.
• 5 표준 편차 이상 떨어진 것들은 1/25 이상 차지하지 않는다.

등등이 있고, 일반적으로는

• 값들 중 평균값으로부터 k 표준 편차 이상 떨어진 것들은 1/k^2 이상 차지하지 않는다.

 

체르노프 부등식은 확률 변수가 그 기댓값으로부터 벗어날 확률이 항상 크지 않음을 보여준다. 

확률 변수의 분포를 알고 있을 때 사용이 가능하고, 체비셰프 부등식에 비해 필요한 정보가 많다. 

그리고 mgf를 이용하여 구할 수 있다. 

다만, 마르코프 부등식이나 체비셰프 부등식에 비해서 확률변수의 상한값을 오차 없이 제공한다는 장점이 있다.